La investigación sobre el desempeño de GPT-4 en el análisis financiero es prometedora, existen varios desafíos prácticos y éticos que deben abordarse antes de su adopción generalizada en la industria.
Un estudio innovador realizado por investigadores de la Universidad de Chicago ha revelado que GPT-4 de OpenAI puede superar a los analistas humanos en la predicción de ganancias futuras basadas en el análisis de estados financieros.
Este descubrimiento tiene implicaciones importantes para el futuro del análisis y la toma de decisiones financieras, ya que demuestra el potencial de los grandes modelos de lenguaje para aumentar y agilizar el trabajo de los profesionales financieros.
Precisión de predicción de GPT-4
- GPT-4 logró una precisión de predicción del 60,35 % para determinar la dirección de las ganancias futuras, superando la precisión del 52,71 % de los analistas humanos. El modelo también superó a los analistas en términos de puntuación F1, que equilibra la precisión y la recuperación, con GPT-4 con una puntuación del 60,90% en comparación con el 54,48% de los analistas humanos.
- El estudio utilizó datos financieros anónimos de la base de datos Compustat, que abarcan desde 1968 hasta 2021, y comparó el rendimiento de GPT-4 con las predicciones de analistas humanos procedentes de la base de datos IBES.Al eliminar los nombres de las empresas y las fechas de los estados financieros estandarizados proporcionados a GPT-4, los investigadores aseguraron una comparación justa entre el modelo y los analistas humanos.
Comparación con las RNA
- El rendimiento de GPT-4 fue acorde con los modelos avanzados de aprendizaje automático, como las redes neuronales artificiales (ANN), diseñadas específicamente para predicciones de ganancias. En ciertos aspectos, GPT-4 incluso superó a estos modelos especializados, lo que demuestra su solidez en el análisis financiero.
- Los investigadores compararon GPT-4 con ANN de última generación y descubrieron que el modelo de lenguaje generaba un rendimiento a la par de estas aplicaciones estrechamente especializadas. Este hallazgo resalta el potencial de la IA de propósito general para rivalizar o superar a los modelos diseñados específicamente en tareas analíticas complejas.
Metodología de la cadena de pensamiento
- Los investigadores emplearon un enfoque de razonamiento de «Cadena de Pensamiento» (CoT) con GPT-4, imitando los pasos analíticos que tomaría un analista humano. Este método implicó identificar cambios en los estados financieros, calcular índices financieros clave y sintetizar esta información para predecir tendencias de ganancias.
- Las indicaciones de CoT desempeñaron un papel fundamental para ayudar a GPT-4 a identificar tendencias, calcular índices financieros y sintetizar información similar a un analista humano. Este enfoque permitió a GPT-4 analizar y generar predicciones precisas incluso cuando se les proporcionaban datos financieros sin procesar y sin contexto.
Escepticismo y desafíos
- A pesar de los resultados prometedores, persiste cierto escepticismo. Los críticos han cuestionado la validez de comparar el desempeño de GPT-4 con el de analistas humanos y RNA especializadas, señalando diferencias potenciales en la complejidad de las tareas y los modelos utilizados para la comparación.
- El estudio reconoce la dificultad de identificar exactamente cómo y por qué GPT-4 funciona bien, destacando los desafíos para comprender el funcionamiento interno de grandes modelos de lenguaje. Como señaló el investigador de IA Matt Holden, es poco probable que GPT-4 pueda seleccionar acciones que superen a índices más amplios como el S&P 500.