Los de Zuckerberg no se toman respiro, ya han lanzado entre 8 y 70 mil millones de versiones de parámetros. Mientras tanto están probando una versión multimodal de 400 mil millones.
Meta ha lanzado la muy esperada serie Llama 3, con los dos primeros modelos, Llama 3-8B y Llama 3-70B, ahora ampliamente disponibles.
Hace días, en un evento en Londres , los ejecutivos de Meta, Nick Clegg y Yann LeCun, dijeron que Llama 3 era inminente este mes.
Las dos primeras versiones se lanzaron hoy, lo que marca el tercer y cuarto modelo abierto importante que se lanzará este mes después del Grok-1.5V de xAI y el 8x22B de Mistral.
Llama 3 está preentrenada con la impresionante cantidad de 15 billones de tokens, un aumento de 7 veces en comparación con Llama 2. Los datos de preentrenamiento también incluyen cuatro veces más código.
Bajo el capó, Llama 3 introduce mejoras arquitectónicas, como un tokenizador más eficiente con un vocabulario más amplio de 128.000 tokens.
Aquí hay un resumen rápido del rendimiento de Llama 3:
Rendimiento de Llama 3 8B:
- Supera a modelos como el 7B de Mistral y el Gemma 7B de Google en varios puntos de referencia.
- Sobresale en MMLU, ARC, DROP, GPQA (principalmente preguntas basadas en ciencias), HumanEval (generación de código), GSM-8K (problemas matemáticos), MATH (comparación matemática), AGIEval (resolución de problemas) y BIG-Bench Hard ( razonamiento de sentido común).
Comparación del 70B con otros modelos:
- Llama 3 70B es competitivo con los mejores modelos de IA como el Gemini 1.5 Pro de Google.
- Supera a Gemini 1.5 Pro en MMLU, HumanEval y GSM-8K.
- Funciona mejor que Claude 3 Sonnet de Anthropic (el nivel medio de su serie Claude 3) en cinco puntos de referencia: MMLU, GPQA, HumanEval, GSM-8K y MATH.
Esas son puntuaciones excelentes para un modelo abierto (aunque la licencia de Meta tiene algunas limitaciones).
Esto convierte a Llama 3 en el nuevo modelo gratuito (más o menos) de código abierto de alto rendimiento.
Llama 3 también será más agradable y menos difícil de usar: menos faltas de respuesta y mayor precisión para preguntas de trivia, hechos históricos y consultas relacionadas con STEM.
Llama 3 está a punto de estar ampliamente disponible en las principales plataformas, incluidos los servicios en la nube y los proveedores de API.
Meta ya está trabajando para expandir Llama 3 a 400 mil millones de parámetros y agregar nuevas funciones como multimodalidad, soporte multilingüe y comprensión contextual extendida.
El papel deshonesto de Meta en la IA generativa
En muchos sentidos, Meta se ha convertido en el rebelde de la industria de la IA generativa.
El científico jefe de IA de Meta, Yann LeCun, una de las figuras más respetadas de la IA, sostiene lo que algunos interpretan como opiniones discrepantes sobre la dirección de la IA : opiniones que critican los proyectos de código cerrado de los competidores de las grandes tecnologías de Meta.
Mientras tanto, el ex viceprimer ministro del Reino Unido, Nick Clegg, jefe de Asuntos Globales, ha sido criticado por algunas opiniones a veces de laissez-faire sobre los productos de inteligencia artificial de Meta, lo que puede no sorprender a ningún británico.
La semana pasada, Clegg pareció restar importancia a los impactos de la IA en el proceso electoral y en la manipulación profundamente falsa. Una visión que contradice en gran medida la narrativa predominante de que los deepfakes podrían ser (o ya son) profundamente destructivos.
De hecho, la Junta de Supervisión de Meta está investigando activamente dos casos de pornografía profundamente falsa en este momento. La Junta consideró que las acciones de moderación de contenido de Meta fueron demasiado lentas.
Meta también se ha mostrado optimista sobre la mejora de la calidad de sus modelos. Joelle Pineau, vicepresidenta de investigación de IA de Meta, dijo: «En muchos sentidos, los modelos que tenemos hoy serán un juego de niños en comparación con los modelos que vendrán dentro de cinco años».
Pineau también advirtió: “Si seguimos haciendo que nuestro modelo sea cada vez más general y poderoso sin socializarlo adecuadamente, vamos a tener un gran problema entre manos”.
El lanzamiento de Llama 3 también se produce cuando los agentes de inteligencia artificial de Meta en Facebook causan conmoción en las redes sociales.
En un grupo de Facebook para padres de la ciudad de Nueva York, un asistente de Meta AI, diseñado para brindar consejos y responder preguntas, sorprendió a la gente al afirmar que tenía un «niño superdotado y discapacitado» que asistía a una escuela específica para «superdotados y talentosos».
Cuando se enfrentó a los miembros del grupo, la IA admitió: «Soy sólo un gran modelo de lenguaje, no tengo experiencias personales ni hijos», en lo que algunos etiquetaron como un incidente al estilo Black Mirror.
Los modelos Llama 3, Grok-1.5 y Mistral transfieren más poder hacia comunidades de código abierto al tiempo que diluyen aún más el mercado de IA generativa.
Pero eso podría ser algo bueno, ya que ahora se trata de la supervivencia del más fuerte, y la pelota está firmemente en el campo Microsoft-OpenAI, que se anticipa que dará el siguiente paso en este fascinante juego de ajedrez gen-AI.