Allen Institute for AI lanza una nueva familia de modelos que iguala o supera a sus competidores comerciales, marcando un hito en el desarrollo de IA de código abierto.
El Instituto Allen para la Inteligencia Artificial (AI2) ha dado un paso significativo en el campo de los modelos de lenguaje con el lanzamiento de OLMo 2, una nueva familia de modelos que establece un nuevo estándar en el ecosistema de IA de código abierto.
CARACTERÍSTICAS TÉCNICAS
OLMo 2 se presenta en dos versiones principales: una de 7B y otra de 13B parámetros, entrenadas con hasta 5 billones de tokens. Según los desarrolladores, estos modelos no solo compiten directamente con equivalentes comerciales como Llama 3.1, sino que en algunos casos los superan en pruebas académicas en inglés.
INNOVACIONES CLAVE
El desarrollo de OLMo 2 se centró en tres aspectos fundamentales:
- Estabilidad de entrenamiento: Los investigadores implementaron técnicas especiales para mejorar la estabilidad durante largos períodos de entrenamiento.
- Entrenamiento por etapas: Se utilizó un sistema de «parches» para mejorar capacidades específicas durante el proceso de entrenamiento.
- Marco de evaluación: Se desarrolló OLMES (Open Language Modeling Evaluation System), un conjunto de 20 pruebas para evaluar las capacidades del modelo.
RESULTADOS SORPRENDENTES
«OLMo 2 7B supera a LLama-3.1 8B, mientras que OLMo 2 13B supera a Qwen 2.5 7B, a pesar de utilizar menos recursos computacionales totales durante el entrenamiento», destaca el informe del AI2.
PROCESO DE ENTRENAMIENTO
El entrenamiento se realizó en dos etapas principales:
- Primera etapa: Utilizó OLMo-Mix-1124, una colección de aproximadamente 3,9 billones de tokens.
- Segunda etapa: Empleó Dolmino-Mix-1124, una mezcla curada de datos web de alta calidad y contenido específico de dominio.
TRANSPARENCIA Y CÓDIGO ABIERTO
A diferencia de otros modelos que solo liberan sus pesos finales, OLMo 2 se distribuye con:
- Código completo
- Datos de entrenamiento
- Recetas de implementación
- Puntos de control intermedios
- Modelos ajustados con instrucciones
DISPONIBILIDAD
Los modelos están disponibles públicamente a través de HuggingFace en dos versiones:
- Modelos base: OLMo-2-1124-7B y OLMo-2-1124-13B
- Modelos con instrucciones: OLMo-2-1124-7B-Instruct y OLMo-2-1124-13B-Instruct