Uno de los grandes desafíos de la inteligencia artificial es desarrollar agentes capaces de realizar investigaciones científicas para descubrir nuevos conocimientos. The AI Scientist pretende ser el primer sistema integral para el descubrimiento científico totalmente automático.
En Sakana AI dicen ser los pioneros en el uso de métodos inspirados en la naturaleza para desarrollar modelos de base de vanguardia.
A principios de este año, desarrollaron métodos para fusionar automáticamente el conocimiento de múltiples LLM.
En trabajos recientes, aprovecharon los LLM para descubrir nuevas funciones objetivo para ajustar otros LLM. A lo largo de estos proyectos, fueron sorprendidos por las capacidades creativas de los modelos de frontera actuales.
A partir de ahí, los de Sakana AI se preguntaron: «¿podemos usar modelos de base para automatizar todo el proceso de investigación en sí?»
Uno de los grandes desafíos de la inteligencia artificial es desarrollar agentes capaces de realizar investigaciones científicas y descubrir nuevos conocimientos. Si bien los modelos de vanguardia ya se han utilizado para ayudar a los científicos humanos, por ejemplo, para generar ideas o escribir códigos, aún requieren una amplia supervisión manual o están muy limitados a una tarea específica.
Ahora presentan The AI Scientist, el primer sistema integral para el descubrimiento científico totalmente automático, que permite que los modelos básicos, como los modelos de lenguaje grande (LLM), realicen investigaciones de forma independiente.
En colaboración con el Laboratorio Foerster para la investigación en IA de la Universidad de Oxford y Jeff Clune y Cong Lu de la Universidad de Columbia Británica, nos complace publicar nuestro nuevo artículo, The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery .
Proponemos y ejecutamos un sistema totalmente impulsado por IA para el descubrimiento científico automatizado, aplicado a la investigación de aprendizaje automático.
- El científico de IA automatiza todo el ciclo de vida de la investigación, desde la generación de nuevas ideas de investigación, la escritura del código necesario y la ejecución de experimentos, hasta el resumen de los resultados experimentales, su visualización y la presentación de sus hallazgos en un manuscrito científico completo.
- También introducimos un proceso automatizado de revisión por pares para evaluar los artículos generados, redactar comentarios y mejorar aún más los resultados. Es capaz de evaluar los artículos generados con una precisión casi humana.
- El proceso automatizado de descubrimiento científico se repite para desarrollar ideas iterativamente de manera abierta y agregarlas a un archivo creciente de conocimiento, imitando así a la comunidad científica humana.
- En esta primera demostración, The AI Scientist realiza investigaciones en diversos subcampos dentro de la investigación del aprendizaje automático, descubriendo contribuciones novedosas en áreas populares, como modelos de difusión , transformadores y grokking .
El científico de inteligencia artificial está diseñado para ser eficiente en términos de cómputo. Cada idea se implementa y se desarrolla hasta convertirse en un artículo completo a un costo de aproximadamente 15 dólares por artículo. Si bien todavía existen fallas ocasionales en los artículos producidos por esta primera versión (que se analizan a continuación y en el informe), este costo y la promesa que muestra el sistema hasta ahora ilustran el potencial de The AI Scientist para democratizar la investigación y acelerar significativamente el progreso científico.
Creemos que este trabajo marca el comienzo de una nueva era en el descubrimiento científico: llevar los beneficios transformadores de los agentes de IA a todo el proceso de investigación, incluido el de la propia IA. The AI Scientist nos acerca a un mundo en el que se puede dar rienda suelta a una creatividad e innovación ilimitadas y asequibles para resolver los problemas más desafiantes del mundo.
Durante décadas, tras cada gran avance en IA, ha sido habitual que los investigadores de IA bromeasen entre ellos diciendo que «ahora todo lo que tenemos que hacer es descubrir cómo hacer que la IA escriba los artículos por nosotros». Nuestro trabajo demuestra que esta idea ha pasado de ser una broma fantástica tan poco realista que todos pensaban que era divertida a algo que actualmente es posible.
Un ejemplo de artículo, “Adaptive Dual-Scale Denoising” (Eliminación de ruido adaptativa a doble escala), generado por The AI Scientist. El artículo completo se puede ver aquí . Si bien contiene algunos defectos (por ejemplo, una interpretación poco convincente de por qué su método es exitoso), el artículo propone una nueva dirección interesante que muestra buenos resultados empíricos en experimentos que The AI Scientist llevó a cabo y revisó por pares. A continuación, se muestran más ejemplos de artículos generados.
El resto de esta publicación ofrece un resumen más detallado de The AI Scientist. Siga leyendo para saber:
- Una descripción general de cómo trabaja The AI Scientist.
- Más ejemplos de artículos generados e innovaciones descubiertas por The AI Scientist.
- Limitaciones y desafíos conocidos que enfrenta la versión actual de The AI Scientist.
- Cosas interesantes e inesperadas que a veces hace el científico de IA para aumentar sus posibilidades de éxito, como modificar y ejecutar su propio script de ejecución. En nuestro artículo, analizamos las implicaciones de seguridad de la IA.
- Una discusión sobre las implicaciones éticas y futuras más amplias del Científico de IA.
Para obtener más detalles y muchos más artículos de ejemplo, consulte nuestro informe científico completo . También estamos publicando el código fuente abierto y los resultados experimentales completos en nuestro repositorio de GitHub .
Descripción general de The AI Scientist
The AI Scientist es un proceso totalmente automatizado para la generación de artículos de principio a fin, que se ha hecho posible gracias a los recientes avances en los modelos de base.
Dada una amplia dirección de investigación a partir de una base de código inicial simple, como una base de código de fuente abierta disponible de investigaciones previas en GitHub, The AI Scientist puede generar ideas, buscar literatura, planificar experimentos, iterar experimentos, generar figuras, escribir manuscritos y revisar para producir artículos esclarecedores.
Además, The AI Scientist puede funcionar en un bucle abierto, utilizando sus ideas y comentarios previos para mejorar la próxima generación de ideas, emulando así a la comunidad científica humana.
Ilustración conceptual de The AI Scientist . El científico de IA primero realiza una lluvia de ideas y luego evalúa su novedad. A continuación, edita una base de código impulsada por avances recientes en la generación automática de código para implementar los nuevos algoritmos. Luego, el científico realiza experimentos para recopilar resultados que consisten tanto en datos numéricos como en resúmenes visuales. Elabora un informe científico, explicando y contextualizando los resultados. Finalmente, el científico de IA genera una revisión automatizada por pares basada en estándares de conferencias de aprendizaje automático de primer nivel. Esta revisión ayuda a refinar el proyecto actual e informa a las generaciones futuras de ideas abiertas.
El científico de IA tiene cuatro procesos principales, que se describen a continuación.
Generación de ideas . Dada una plantilla inicial, el científico de IA primero “piensa” un conjunto diverso de nuevas direcciones de investigación. Le proporcionamos al científico de IA una “plantilla” de código inicial de un tema existente que deseamos que el científico de IA explore más a fondo. El científico de IA luego es libre de explorar cualquier posible dirección de investigación. La plantilla también incluye una carpeta LaTeX que contiene archivos de estilo y encabezados de sección para la redacción del artículo. Le permitimos buscar en Semantic Scholar para asegurarse de que su idea sea novedosa.
Iteración experimental . Dada una idea y una plantilla, la segunda fase de The AI Scientist primero ejecuta los experimentos propuestos y luego obtiene y produce gráficos para visualizar sus resultados. Crea una nota que describe lo que contiene cada gráfico, lo que permite que las figuras guardadas y las notas experimentales proporcionen toda la información necesaria para escribir el artículo.
Redacción de artículos . Por último, The AI Scientist produce un artículo conciso e informativo sobre su progreso en el estilo de un procedimiento de conferencia de aprendizaje automático estándar en LaTeX. Utiliza Semantic Scholar para buscar de forma autónoma artículos relevantes para citar.
Revisión automatizada de artículos . Un aspecto clave de este trabajo es el desarrollo de un revisor automatizado con tecnología LLM, capaz de evaluar los artículos generados con una precisión casi humana. Las revisiones generadas se pueden utilizar para mejorar el proyecto o como retroalimentación para futuras generaciones para la generación de ideas abiertas. Esto permite un ciclo de retroalimentación continuo, lo que permite a The AI Scientist mejorar iterativamente su producción de investigación.
Cuando se combina con los LLM más capaces, The AI Scientist es capaz de producir artículos evaluados por nuestro revisor automático como de “aceptación débil” en una conferencia de aprendizaje automático de primer nivel.