La mayoría de los lectores sabrán que el Departamento de Defensa de EE. UU. ha firmado un contrato con OpenAI para utilizar sus modelos en el desarrollo de sistemas de armas basados en la inteligencia artificial. Al mismo tiempo, se descartó a Anthropic por sus estrictas líneas rojas. Parece que el contrato con OpenAI es mucho más permisivo. Pero, ¿hasta qué punto podemos confiar en que el modelo de OpenAI sea capaz de predecir las acciones de un adversario en el campo de batalla si ni siquiera es capaz de predecir la inflación?

A menudo se critica a los economistas por utilizar modelos lineales simples para predecir fenómenos dinámicos no lineales como la inflación, los tipos de interés o el crecimiento económico. Además, los modelos econométricos utilizan datos históricos, por lo que son como conducir mirando por el retrovisor. Sin embargo, mi objeción habitual es que, por mucho que la gente se queje de las previsiones de la Reserva Federal u otras instituciones, es difícil encontrar mejores previsiones.

Entra en escena la IA y su promesa de revolucionar todo tipo de modelos. Los complementos de Anthropic para fines legales, de seguros y fiscales han generado el temor entre los inversores de que las grandes empresas de software y los proveedores de datos puedan verse afectados y sus acciones pierdan miles de millones en valor. Pero cuando la IA general intenta sustituir al software contable, fiscal o legal, debe ser al menos tan precisa como los modelos existentes; de lo contrario, los usuarios que confían en la IA se enfrentarán a pérdidas cuantiosas y otras graves consecuencias.

Aquí entran en escena Huiyi Li, de la Fed de San Francisco, y sus colaboradores, que pusieron a prueba ChatGPT. Dejaron que ChatGPT pronosticara la inflación de EE. UU. y compararon estos pronósticos con los del modelo de la Fed de Cleveland, que está disponible públicamente.

La competición consistió en pronósticos de inflación fuera de la muestra utilizando únicamente datos disponibles en el momento del pronóstico en el pasado…

Por desgracia, hay un problema. ChatGPT está entrenado con toda la web disponible hasta abril de 2023 o incluso abril de 2024. Por lo tanto, aunque los investigadores proporcionaran a ChatGPT en la solicitud datos que solo abarcaran, por ejemplo, hasta enero de 2021, es posible que esta no sea una verdadera prueba fuera de la muestra, ya que el modelo se entrenó con el comportamiento real de la inflación hasta abril de 2023 o 2024 (dependiendo del modelo GPT utilizado).

Solo una vez que se realizaron previsiones de inflación para fechas posteriores a la fecha límite de los datos de entrenamiento del modelo, los investigadores pudieron estar seguros de que se trataba de una verdadera previsión fuera de la muestra realizada por ChatGPT. 

Pero, ¿para qué molestarse con todos estos detalles, si las previsiones de inflación de ChatGPT eran tan desastrosas? El gráfico siguiente muestra el error de previsión de ChatGPT en comparación con el modelo de previsión inmediata de inflación de la Fed de Cleveland. El primer periodo abarca hasta abril de 2023, momento en el que ChatGPT llevaba meses realizando previsiones fuera de la muestra, mientras que el modelo sí se había entrenado con datos de ese periodo. Este es el periodo del repunte de la inflación de 2021 y 2022, y el gráfico muestra que el error de previsión de ChatGPT fue más del doble que el del modelo de la Fed.

Luego, estuvo el periodo comprendido entre mayo de 2023 y abril de 2024, cuando los investigadores no estaban seguros de si el modelo GPT que utilizaron se había entrenado con esos datos o no. Este fue el periodo de desinflación tras el repunte de los dos años anteriores. En este periodo, el error de predicción de ChatGPT fue más de 12 (¡!) veces mayor que el de la Fed. Eso ni siquiera se acerca a la inflación real de aquel momento.

Por último, está el periodo a partir de mayo de 2024, que constituye la verdadera prueba fuera de la muestra, en la que ChatGPT no podía basarse en ningún dato de entrenamiento ni en ningún dato prospectivo proporcionado por la solicitud. En este periodo, la inflación se comportó en general muy bien y fue muy fácil de predecir, como lo demuestra el minúsculo error de predicción del modelo de la Fed. Sin embargo, ChatGPT generó previsiones con un error más de siete veces superior al del modelo de la Fed.

ChatGPT y otros modelos de IA generativa pueden ser capaces de predecir gran parte de las decisiones que toman los gestores de fondos de inversión, pero, lo que es más importante, no aquellas que generan alfa. Este resultado es aún peor. Demuestra que ChatGPT es absolutamente inútil para la economía.

Error de predicción de ChatGPT frente a las previsiones de inflación de la Reserva Federal

Fuente / Autor: Klement on Investing, Alam et al. (2026)

Artículos relacionados:

La IA solo es humana

Pros y contras de la inteligencia artificial

Considere este y otros artículos como marcos de aprendizaje y reflexión, no son recomendaciones de inversión. Si este artículo despierta su interés en el activo, el país, la compañía o el sector que hemos mencionado, debería ser el principio, no el final, de su análisis.

Lea los informes sectoriales, los informes anuales de las compañías, hable con la dirección, construya sus modelos, reafirme sus propias conclusiones, ponga a prueba nuestras suposiciones y forme las suyas propias. 

Por favor, haga su propio análisis.

Joachim Klement es un estratega de inversiones con sede en Londres que trabaja en Liberum Capital. A lo largo de su carrera profesional, Joachim se ha centrado en la asignación de activos, la economía, las acciones y las inversiones alternativas. Pero sin importar el enfoque, siempre miró a los mercados con la lente de un físico entrenado que se obsesionó con el lado humano de los mercados financieros. Comparte sus amplios conocimientos en su blog Klement on Investing.

Fuente / Autor: Klement on Investing / Joachim Klement

https://klementoninvesting.substack.com/p/more-than-you-think

Imagen: MarketWatch