El retraso en el lanzamiento del modelo Grok 3 de xAI se suma a una larga lista de modelos insignia de IA que no han cumplido con sus fechas de lanzamiento. ¡Faltan recursos o es un indicio de las limitaciones de los enfoques de escalamiento de IA?
La lista de modelos insignia de IA que no cumplieron con sus ventanas de lanzamiento prometidas sigue creciendo.
El verano pasado, el multimillonario Elon Musk, fundador y CEO de la empresa de IA xAI, dijo que Grok 3, el próximo modelo importante de IA de su compañía, llegaría para «finales de 2024».
Grok, la respuesta de xAI a modelos como GPT-4 de OpenAI y Gemini de Google, puede analizar imágenes, responder preguntas y alimenta una serie de funciones en X, la red social de Musk.
«Grok 3 a finales de año después de entrenarlo con 100.000 H100 debería ser algo realmente especial», escribió Musk en una publicación en X en julio, refiriéndose al enorme clúster de GPU ubicado en Memphis que utiliza xAI. «Grok 3 será un gran avance», dijo en una publicación de seguimiento a mediados de diciembre.
Sin embargo, estamos a 2 de enero y Grok 3 aún no ha llegado, ni hay señales de que su lanzamiento esté cerca.
De hecho, cierto código en el sitio web de xAI detectado por el informante de IA Tibor Blaho sugiere que podría llegar primero un modelo intermedio, «Grok 2.5».
Cabe señalar que no es la primera vez que Musk establece una meta ambiciosa y la pierde. Es bien sabido que sus pronósticos sobre el momento del lanzamiento de los productos a menudo son poco realistas.
Y para ser justos, en una entrevista con el podcaster Lex Fridman en agosto, Musk dijo que Grok 3 «con suerte» estaría disponible en 2024 «si tenemos suerte».
Pero la ausencia de Grok 3 es interesante porque es parte de una tendencia creciente.
El año pasado, la startup de IA Anthropic no pudo entregar un sucesor de su modelo de alta gama Claude 3 Opus. Meses después de anunciar que un modelo de próxima generación, Claude 3.5 Opus, se lanzaría para fines de 2024, Anthropic eliminó toda mención del modelo de su documentación para desarrolladores.
Según informes, Google y OpenAI también habrían sufrido reveses con sus modelos insignia en los últimos meses.
Esto podría ser una evidencia de las limitaciones de las leyes de escalamiento de IA actuales, los métodos que las empresas utilizan para aumentar las capacidades de sus modelos. En un pasado no tan lejano, era posible lograr aumentos de rendimiento sustanciales entrenando modelos utilizando cantidades masivas de potencia de cálculo y conjuntos de datos cada vez más grandes.
Pero las ganancias con cada generación de modelos han comenzado a reducirse, lo que lleva a las empresas a buscar técnicas alternativas.
El mismo Musk aludió a esto en la entrevista con Fridman.
«¿Esperas que [Grok 3] sea el estado del arte?», preguntó Fridman.
«Con suerte», respondió Musk. «Quiero decir, este es el objetivo. Podemos fallar en este objetivo. Esa es la aspiración».
Puede haber otras razones para el retraso de Grok 3. xAI tiene un equipo mucho más pequeño que muchos de sus rivales. Sin embargo, el retraso en el marco de lanzamiento agrega más evidencia de que los enfoques convencionales de entrenamiento de IA se están topando con un muro.