Desveló dos modelos compactos de IA diseñados para la convocatoria de funciones, vienen en formas de parámetros de 1 y 7 mil millones, superan a modelos mucho más grandes como el PT-4 en tareas de llamadas a funciones que tiene billones de parámetros.
Salesforce, una empresa de software empresarial, ha desvelado dos modelos compactos de IA que desafía el paradigma de IA en IA.
A pesar de su tamaño compacto, los modelos de xLAM de 1 y 7 mil millones de parámetros superan a muchos modelos más grandes en tareas de llamada de funciones.
Estas tareas implican que un sistema de IA interprete y traduzca una solicitud de lenguaje natural a llamadas de funciones específicas o solicitudes de API.
Por ejemplo, si le pides a un sistema de IA que encude vuelos a Nueva York para el próximo fin de semana por debajo de $500, el modelo necesita entender esta solicitud, identificar las funciones relevantes (por ejemplo, búsqueda-flights, filter-by-price), y ejecutarlos con los parámetros correctos.
Demostramos que los modelos entrenados con nuestros conjuntos de datos comisariados, incluso con sólo parámetros 7B, pueden lograr un rendimiento de vanguardia en el Benchmark de Berkeley Function-Calling, superando a varios modelos GPT-4, los investigadores escriben en su trabajo.
Además, nuestro modelo 1B logra un rendimiento excepcional, superando a GPT-3.5-Turbo y Claude-3-3 Haiku.
El Benchmark de Llamar Función de Berkeley, referenciado en el estudio, es un marco de evaluación diseñado para evaluar las capacidades de llamadas de funciones de los modelos de IA.
Las estadísticas clave del estudio incluyen::
- El modelo xLAM-7B (7.000 millones de parámetros) ocupó el sexto lugar en el aderno de Llamo de Función de Berkeley, superando a GPT-4 y Gemini-1.5-Pro.
- El modelo xLAM-1B más pequeño superó a modelos más grandes como Claude-3 Haiku y GPT-3.5-Turbo, demostrando una eficiencia excepcional.
Lo que hace que este logro sea particularmente impresionante es el tamaño del modelo en comparación con sus competidores:
- xLAM-1B: 1 billar de parámetros
- xLAM-7B : 7 mil millones de parámetros
- GPT-3 : 175 mil millones de parámetros
- GPT-4 : Parámetros estimados de 1,7 billones de dólares
- Claude-3 Opus: No revelado, pero probablemente cientos de miles de millones
- Géminis Ultra: No revelado, estimado similar a GPT-4
Esto demuestra que el diseño eficiente y los datos de entrenamiento de alta calidad pueden ser más importantes que el tamaño.
Para entrenar el modelo específicamente para la llamada a funciones, el equipo de Salesforce desarrolló APIGen, un oleoducto para la creación de conjuntos de datos diversos de alta calidad para tareas de llamadas a la función.
APIGen trabaja mediante muestreo de una vasta biblioteca de 3.673 API ejecutables en 21 categorías, creando escenarios realistas para que la IA aprenda.
Las aplicaciones potenciales de las capacidades de xLAM-1B incluyen sistemas mejorados de gestión de relaciones con los clientes (CRM), que Salesforce desarrolla, asistentes digitales más capaces, interfaces mejoradas para dispositivos inteligentes para el hogar, procesamiento eficiente de IA para vehículos autónomos y traducción de idiomas en tiempo real en dispositivos de borde.
Estos modelos xLAM desafían a los investigadores a repensar sus enfoques de arquitectura y entrenamiento de IA demostrando que modelos más pequeños y eficientes pueden competir con los más grandes.
Como explicó el CEO de Salesforce, Marc Benioff, Tiny Giant destaca el potencial de la IA agente de dispositivos, perfecta para teléfonos inteligentes y dispositivos IoT.
El futuro de la IA no sólo implicará modelos cada vez más grandes, sino más inteligentes y eficientes que pueden llevar características avanzadas a una gama más amplia de dispositivos y aplicaciones.
Fuente: Daily AI