Por otra parte, TPU Ironwood está siendo utilizado por organizaciones de todos los tamaños y en todos los sectores.

“Nuestra misión en Lightricks es definir la vanguardia de la creatividad abierta, lo que exige una infraestructura de IA que elimine la fricción y los costos a gran escala. Nos basamos en las TPU de Google Cloud y su enorme dominio ICI para lograr la revolucionaria eficiencia de entrenamiento de LTX-2, nuestro modelo generativo multimodal de código abierto líder. Ahora, al entrar en la era de la inferencia, nuestras primeras pruebas nos generan un gran entusiasmo por Ironwood. Creemos que Ironwood nos permitirá crear imágenes y videos con mayor precisión, fidelidad y matices para nuestros millones de clientes en todo el mundo», agregó Yoav HaCohen, PhD, Director de Investigación Fundamental en IA Generativa, Lightricks.

El diseño a nivel de sistema maximiza el rendimiento de la inferencia, la confiabilidad y el costo. 

Las TPU son un componente clave de AI Hypercomputer, el sistema integrado de supercomputación que combina capacidad de cómputo, redes, almacenamiento y software para mejorar el rendimiento y la eficiencia del sistema. A nivel macro, según un informe reciente de IDC, los clientes de AI Hypercomputer lograron, en promedio, un retorno de la inversión del 353 % en tres años, una reducción del 28 % en los costos de TI y una mayor eficiencia de sus equipos de TI en un 55 %.

Las TPU de Ironwood ayudarán a los clientes a superar los límites de escalabilidad y eficiencia. Al implementar las TPU, el sistema conecta cada chip individual con los demás, creando un módulo, lo que permite que las TPU interconectadas funcionen como una sola unidad.

Con TPU Ironwood, la plataforma de Google puede escalar hasta 9216 chips en un supermódulo conectado mediante la innovadora red de interconexión entre chips (ICI) a 9,6 Tb/s. Esta conectividad masiva permite que miles de chips se comuniquen rápidamente entre sí y accedan a la asombrosa cantidad de 1,77 petabytes de memoria compartida de alto ancho de banda (HBM), superando los cuellos de botella de datos incluso para los modelos más exigentes.

A esa escala, los servicios exigen disponibilidad ininterrumpida. Por eso, Google ofrece una tecnología de conmutación de circuitos ópticos (OCS) actúa como una estructura dinámica y reconfigurable, redirigiendo instantáneamente el tráfico para evitar interrupciones y restaurar la carga de trabajo mientras sus servicios siguen funcionando. Y cuando necesita más potencia, Ironwood escala entre pods en clústeres de cientos de miles de TPU.

La ventaja de la hipercomputadora de IA: Hardware y software diseñados conjuntamente para obtener resultados más rápidos y eficientes.

Sobre este hardware se encuentra una capa de software codiseñada, cuyo objetivo es maximizar la enorme potencia de procesamiento y memoria de Ironwood, y facilitar su uso a lo largo de todo el ciclo de vida de la IA. 

• Para mejorar la eficiencia y las operaciones de las flotas, Google anunció que los clientes de TPU ahora pueden beneficiarse de las capacidades de Cluster Director en Google Kubernetes Engine. Esto incluye mantenimiento avanzado y conocimiento de la topología para una programación inteligente y clústeres de alta resiliencia.
• Para el preentrenamiento y el postentrenamiento, también disponen de nuevas mejoras en MaxText , un marco LLM de código abierto y alto rendimiento, para facilitar la implementación de técnicas de optimización de entrenamiento y aprendizaje por refuerzo, como el ajuste fino supervisado (SFT) y la optimización de políticas relativas de grupo (GRPO).
• Ahora bien, para la inferencia, anunciaron una compatibilidad mejorada con TPU en vLLM , lo que permite a los desarrolladores alternar entre GPU y TPU, o ejecutar ambas, con solo unos pocos cambios de configuración menores, y GKE Inference Gateway, que realiza un equilibrio de carga inteligente entre los servidores TPU para reducir la latencia del tiempo hasta el primer token (TTFT) hasta en un 96 % y los costos de servicio hasta en un 30 %.

Axion: Redefiniendo la computación de propósito general 

El desarrollo y la implementación de aplicaciones modernas requieren tanto aceleradores altamente especializados como una capacidad de cómputo de propósito general potente y eficiente.

Esta fue la visión para Axion, las nuevas CPU personalizadas basadas en Arm Neoverse, diseñadas para ofrecer un rendimiento, una rentabilidad y una eficiencia energética excepcionales para las cargas de trabajo cotidianas. 

En esta línea ampliaron su cartera de productos Axion con:

• N4A ( vista previa ), segunda máquina virtual Axion de propósito general, es ideal para microservicios, aplicaciones en contenedores, bases de datos de código abierto, procesamiento por lotes, análisis de datos, entornos de desarrollo, experimentación, preparación de datos y tareas de servidor web que hacen posibles las aplicaciones de IA.
• C4A Metal (próximamente en versión preliminar), primera instancia bare-metal basada en Arm, proporciona servidores físicos dedicados para cargas de trabajo especializadas como el desarrollo de Android, sistemas para automóviles, software con estrictos requisitos de licencia, entornos de pruebas a gran escala o la ejecución de simulaciones complejas. Obtenga más información sobre C4A Metal aquí .

Finalmente la eficiencia inherente de Axion también lo convierte en una valiosa opción para los flujos de trabajo modernos de IA.

Mientras que aceleradores especializados como Ironwood se encargan de la compleja tarea de servir modelos, Axion destaca en la infraestructura operativa: admite la preparación e ingesta de grandes volúmenes de datos y la ejecución de servidores de aplicaciones que alojan sus aplicaciones inteligentes. Axion ya está generando un impacto positivo en los clientes.

Puedes revisar más información relativa a noticias de tecnología | Instagram | YouTube | Suscríbete a nuestro Newsletter | Patrocina Bytes and Bits