Magic avanza en el desarrollo de modelos de IA con memoria a largo plazo, colaborando con Google Cloud y asegurando nueva financiación para potenciar la síntesis de código en el desarrollo de software.
Magic ha dado un paso significativo en la evolución de modelos de inteligencia artificial al entrenar su primer modelo de contexto ultra-largo, el LTM-2-mini, capaz de razonar con hasta 100 millones de tokens durante la inferencia.
Este enfoque permite a los modelos acceder y utilizar vastos volúmenes de datos simultáneamente, mejorando la calidad de la síntesis de código al tener en cuenta código, documentación y bibliotecas que no están disponibles en internet.
Evaluación de Contextos Extensos
Tradicionalmente, las evaluaciones de contexto largo como «Needle In A Haystack» han demostrado ser ineficaces, ya que los modelos pueden identificar la «aguja» en un «pajar» de información sin procesar realmente el contexto completo.
Magic ha diseñado una nueva evaluación llamada HashHop, que utiliza pares de hashes aleatorios para medir la capacidad de almacenamiento y recuperación de información del modelo sin pistas semánticas explícitas.
Avances y Desafíos
El modelo LTM-2-mini de Magic, entrenado en hashes con un enfoque de «cadena de pensamiento», ha demostrado resultados prometedores, aunque el rendimiento disminuye al intentar más de dos saltos sin este enfoque.
Un prototipo del modelo fue capaz de crear una calculadora mediante un marco de GUI personalizado en tiempo real, demostrando su capacidad de aprendizaje en tiempo real.
Colaboración y Financiamiento
Magic está construyendo sus próximos supercomputadores, Magic-G4 y Magic-G5, en asociación con Google Cloud y NVIDIA, lo que permitirá escalar el entrenamiento y despliegue de modelos de IA.
Eric Steinberger, CEO de Magic, destacó la importancia de esta colaboración para mejorar la eficiencia de inferencia y entrenamiento.
Además, Magic ha asegurado una inversión de U$S 320 millones de nuevos inversores como Eric Schmidt y Sequoia, elevando el total de financiación a U$S 465 millones.
Esta inversión fortalecerá su compromiso con el desarrollo de IA segura y su infraestructura de supercomputación.
Futuro de la IA
Magic está en busca de ingenieros y investigadores para acelerar su trabajo en modelos de contexto ultra-largo, con el objetivo de transformar la computación de inferencia en la próxima frontera de la IA.
Con un equipo de 23 personas y 8000 H100s, Magic planea expandirse para aprovechar al máximo el potencial de sus innovaciones en IA.