Trillium, el TPU (Tensor Processing Unit) más potente de Google, ya está disponible para los clientes de Google Cloud. Esta nueva generación de aceleradores de IA ofrece mejoras significativas en rendimiento, eficiencia y escalabilidad para una amplia gama de cargas de trabajo de IA.
Google Cloud ha anunciado la disponibilidad general de Trillium, su sexta generación de TPU (Tensor Processing Unit). Este nuevo acelerador de IA representa un avance significativo en la infraestructura de computación en la nube de Google para soportar modelos de IA de gran escala y de múltiples modalidades.
Trillium ofrece una serie de mejoras clave en comparación con las generaciones anteriores de TPU
- Más de 4 veces mejor rendimiento de entrenamiento
- Hasta 3 veces más rendimiento de inferencia
- 67% más eficiencia energética
- 4.7 veces más rendimiento de cálculo pico por chip
- El doble de capacidad de memoria de alta ancho de banda (HBM)
- El doble de ancho de banda de interconexión entre chips (ICI)
- Hasta 100,000 chips Trillium en una única red de centro de datos
Estas mejoras en rendimiento, eficiencia y escalabilidad permiten que Trillium destaque en una amplia gama de cargas de trabajo de IA, como el escalado de entrenamientos de modelos grandes, el entrenamiento de modelos de lenguaje de gran tamaño (LLM) incluyendo modelos densos y de Mezcla de Expertos (MoE), el rendimiento de inferencia, y el despliegue rentable de entrenamiento e inferencia.
Trillium es un componente clave del «AI Hypercomputer» de Google Cloud, una arquitectura de supercomputadora revolucionaria que combina hardware optimizado, software abierto, marcos de aprendizaje automático líderes y modelos de consumo flexibles.
Esto permite a los clientes sacar el máximo provecho de esta implementación sin precedentes de más de 100.000 chips Trillium.
Uno de los clientes que ya está aprovechando los beneficios de Trillium es AI21 Labs, que lo está utilizando para acelerar el desarrollo de sus modelos de lenguaje Mamba y Jamba.
Según Barak Lenz, CTO de AI21 Labs, «los avances en escala, velocidad y eficiencia en costos son significativos, y creemos que Trillium será esencial para acelerar el desarrollo de nuestra próxima generación de modelos de lenguaje sofisticados».
Con sus capacidades de escalado casi lineal, rendimiento de entrenamiento e inferencia mejorados, y una mejor relación precio-rendimiento, Trillium posiciona a Google Cloud a la vanguardia de la infraestructura de IA, permitiendo a investigadores y desarrolladores impulsar más rápido la innovación en inteligencia artificial.
