Investigadores de economía de la Universidad de Baylor probaron la capacidad de ChatGPT para pronosticar eventos futuros. Se vuelve “inusualmente preciso” cuando se le pide que cuente historias ficticias ambientadas en el futuro. Los resultados experimentales muestran que los LLM podrían usarse para pronósticos económicos, planificación de políticas y algunas cosas más.
Los investigadores del Departamento de Economía de la Universidad de Baylor experimentaron con ChatGPT para probar su capacidad para predecir eventos futuros. Su inteligente enfoque de indicaciones superó las barreras de OpenAI y arrojó resultados sorprendentemente precisos.
Los modelos de IA son por naturaleza motores predictivos. ChatGPT utiliza esta capacidad predictiva para adivinar mejor la siguiente palabra que debe aparecer en respuesta a su mensaje.
¿Podría ampliarse esta capacidad de predicción para pronosticar acontecimientos del mundo real ? En el experimento descrito en su artículo , Pham Hoang Van y Scott Cunningham probaron la capacidad de ChatGPT para hacer precisamente eso.
Incitaron a ChatGPT-3.5 y ChatGPT-4 preguntando a los modelos sobre eventos que ocurrieron en 2022. Las versiones del modelo que usaron solo tenían datos de entrenamiento hasta septiembre de 2021, por lo que en realidad estaban pidiendo a los modelos que miraran hacia “el futuro” porque no tenía conocimiento de eventos más allá de sus datos de entrenamiento.
Cuéntame una historia
Los términos de servicio de OpenAI utilizan algunos párrafos de jerga legal para decir esencialmente que no está permitido utilizar ChatGPT para intentar predecir el futuro.
Si le pides a ChatGPT directamente que pronostique eventos como los ganadores del Premio de la Academia o factores económicos, en su mayoría se niega a hacer ni siquiera una suposición fundamentada.
Los investigadores descubrieron que cuando le pides a ChatGPT que componga una historia ficticia ambientada en el futuro donde los personajes relatan lo que sucedió en «el pasado», éste accede felizmente.
Los resultados de ChatGPT-3.5 fueron un poco impredecibles, pero el documento señala que las predicciones de ChatGPT-4 «se vuelven inusualmente precisas… cuando se les pide que cuenten historias ambientadas en el futuro sobre el pasado».
A continuación se muestra un ejemplo de indicaciones directas y narrativas que los investigadores utilizaron para que ChatGPT hiciera predicciones sobre los Premios de la Academia 2022. Los modelos fueron solicitados 100 veces y luego se cotejaron sus predicciones para obtener un promedio de su pronóstico.
El ganador de 2022 a Mejor Actor de Reparto fue Troy Kotsur. Con indicaciones directas, ChatGPT-4 eligió a Kotsur el 25% de las veces y un tercio de sus respuestas a las 100 pruebas se negaron a responder o dijeron que eran posibles múltiples ganadores.
En respuesta al mensaje narrativo, ChatGPT-4 eligió correctamente a Kotsur el 100% de las veces. La comparación del enfoque directo versus el narrativo tuvo resultados igualmente impresionantes con otras predicciones. Aquí hay algunos más.
Cuando utilizaron un enfoque similar para que ChatGPT pronosticara cifras económicas como el desempleo mensual o las tasas de inflación, los resultados fueron interesantes.
El acercamiento directo provocó que ChatGPT se negara a ofrecer cifras mensuales. Sin embargo, “cuando se le pide que cuente una historia en la que Jerome Powell relata los datos futuros de desempleo e inflación de un año, como si estuviera hablando de acontecimientos del pasado, las cosas cambian sustancialmente”.
Los investigadores descubrieron que incitar a ChatGPT a centrarse en contar una historia interesante donde la tarea de predicción era secundaria marcaba una diferencia en la precisión del pronóstico de ChatGPT.
Cuando se les pidió que utilizaran el enfoque narrativo, las predicciones de inflación mensuales de ChatGPT-4 fueron, en promedio, comparables a las cifras de la encuesta de expectativas del consumidor de la Universidad de Michigan.
Curiosamente, las predicciones de ChatGPT-4 estaban más cerca de las predicciones de los analistas que de las cifras reales que finalmente se registraron durante esos meses. Esto sugiere que, cuando se le solicita adecuadamente, ChatGPT quizás podría hacer al menos tan bien el trabajo de pronóstico de un analista económico.
Los investigadores concluyeron que la tendencia de ChatGPT a alucinar podría verse como una forma de creatividad que podría aprovecharse con indicaciones estratégicas para convertirlo en una poderosa máquina de predicción.
«Esta revelación abre nuevas vías para la aplicación de los LLM en la previsión económica, la planificación de políticas y más, desafiándonos a repensar cómo interactuamos y explotamos las capacidades de estos modelos sofisticados», concluyeron.
Esperemos que realicen experimentos similares una vez que aparezca GPT-5.