CAIS y Scale AI invitan a expertos a participar en el desarrollo del examen más riguroso para sistemas de inteligencia artificial, con un premio total de U$S 500.000 para las mejores preguntas.
La inteligencia artificial avanza a pasos agigantados, y medir su progreso es crucial para entender su potencial y limitaciones.
Con este objetivo en mente, CAIS (Center for AI Safety) y Scale AI han lanzado «Humanity’s Last Exam», un proyecto que busca reunir expertos de diversas disciplinas para crear el examen de IA más desafiante del mundo.
Este esfuerzo se centra en evaluar qué tan cerca estamos de alcanzar sistemas de IA a nivel de expertos.
Participación y Premios
El examen no solo está diseñado para evaluar las capacidades actuales de la IA, sino también para ofrecer una oportunidad única a aquellos que contribuyan con preguntas exitosas.
Los participantes cuyos cuestionarios sean seleccionados tendrán la oportunidad de ser coautores del documento que acompañará al conjunto de datos y competirán por premios monetarios significativos.
El fondo de premios asciende a U$S 500.000, distribuidos de la siguiente manera: las 50 mejores preguntas recibirán U$S 5.000 cada una, mientras que las siguientes 500 mejores preguntas obtendrán U$S 500 cada una.
Motivaciones para Participar
La razón detrás de este examen es clara. Los actuales benchmarks, como el popular MMLU, se han vuelto demasiado fáciles para las IA avanzadas.
Recientemente, el modelo más nuevo de OpenAI ha alcanzado puntuaciones máximas en estas pruebas y en olimpiadas STE
M de alto prestigio.
No obstante, las IA todavía están lejos de resolver preguntas de investigación complejas y otros desafíos intelectuales.
«Humanity’s Last Exam» busca cerrar esta brecha y proporcionar una medida precisa de las capacidades de las IA.
Directrices de Envío
Para asegurar la calidad y dificultad del examen, las preguntas deben ser difíciles para no expertos y no deben tener respuestas fácilmente accesibles a través de búsquedas rápidas en línea.
Se alienta a los creadores de preguntas a tener más de cinco años de experiencia en la industria técnica o ser estudiantes de doctorado o niveles superiores.
Las preguntas deben ser objetivas, originales y no deben tratar temas relacionados con armas o virología.
El plazo para enviar las preguntas es el 1 de noviembre de 2024. Para obtener instrucciones detalladas y ejemplos de preguntas, los interesados pueden visitar agi.safe.ai/submit.
Con esta iniciativa, CAIS y Scale AI no solo buscan evaluar las capacidades actuales de los sistemas de IA, sino también inspirar a la comunidad científica a contribuir al desarrollo de herramientas que nos permitan entender y guiar el futuro de la inteligencia artificial.
Bases del Concurso, haciendo clic acá
Fecha límite: 1 de noviembre de 2024
Para obtener una lista detallada de instrucciones y ejemplos de preguntas, visite agi.safe.ai/submit .