Las conclusiones de un nuevo estudio de Apple podrían hacer que los consumidores reconsideren el uso de ChatGPT y otras herramientas de IA generativa para obtener asesoramiento financiero. Además, deberían moderar los planes de los ejecutivos de bancos y cooperativas de crédito que buscan usar la inteligencia artificial para ofrecer orientación financiera a los consumidores.

Los estadounidenses utilizan la IA generativa para recibir asesoramiento financiero

Una encuesta realizada por Motley Fool reveló estadísticas sorprendentes y, francamente, difíciles de creer sobre el uso que los estadounidenses hacen de la herramienta de ChatGPT para obtener recomendaciones financieras. El estudio encontró que:

• El 54% de los estadounidenses utilizó ChatGPT para recibir recomendaciones financieras. Seis de cada diez integrantes de la Generación Z y Millennials, la mitad de los integrantes de la Generación X, y un tercio de los Baby Boomers recibieron recomendaciones sobre al menos uno de los ocho productos financieros evaluados. Las tarjetas de crédito y las cuentas corrientes, mencionadas por el 26% y el 23% de los encuestados respectivamente, fueron los productos más consultados.
• La mitad de los consumidores dijo que usaría ChatGPT para obtener una recomendación. Dicho esto, pocos expresaron interés en recibir recomendaciones para la mayoría de los productos. Por ejemplo, solo el 25% indicó que querría una recomendación para una tarjeta de crédito, y los porcentajes disminuyen para otros productos.
• Los encuestados se mostraron "algo satisfechos" con las recomendaciones de ChatGPT. En una escala de 5 puntos (1 = no satisfecho, 5 = muy satisfecho), la calificación promedio de satisfacción fue de 3,7, variando desde 3,6 entre los integrantes de la Generación Z y Baby Boomers, hasta 3,8 entre los Millennials y 3,9 en la Generación X.

Según el estudio, los factores más importantes que determinaron el uso de esta herramienta por parte de los consumidores para encontrar productos financieros fueron: el rendimiento y la precisión de las recomendaciones, la capacidad de entender la lógica detrás de dichas recomendaciones, y la posibilidad de verificar la información en la que se basan.

La IA generativa no destaca en razonamiento matemático

Las herramientas de IA generativa pueden hacer muchas cosas asombrosas, pero, como demostró un nuevo informe de investigadores de Apple, los modelos de lenguaje de gran tamaño (LLM) tienen limitaciones preocupantes en cuanto al "razonamiento matemático". 

Los investigadores de Apple concluyeron: "Los LLM actuales no son capaces de realizar un razonamiento lógico genuino; en su lugar, intentan replicar los pasos de razonamiento observados en sus datos de entrenamiento. Cuando agregamos una sola cláusula que parece relevante para la pregunta, observamos caídas significativas en el rendimiento de todos los modelos. Esto sugiere problemas más profundos en sus procesos de razonamiento que no pueden mitigarse fácilmente con el aprendizaje de pocos ejemplos o ajustes finos".

Un artículo reciente de TechCrunch documentó algunos cálculos matemáticos aparentemente simples que los LLM no lograron resolver correctamente. Según el artículo, "Claude no puede resolver problemas básicos de palabras, Gemini no entiende ecuaciones cuadráticas, y Llama tiene dificultades con sumas simples".

¿Por qué los LLM no pueden realizar cálculos básicos? El problema, según TechCrunch, radica en la tokenización: el proceso de dividir los datos en partes más pequeñas. Sin embargo, los tokenizadores no comprenden los números como tales, lo que a menudo destruye las relaciones entre los dígitos.

El aprendizaje automático también tiene problemas

Molestamente, muchas personas usan el término "aprendizaje automático" cuando se refieren al análisis de regresión u otras formas de análisis estadístico. Según la Universidad de California en Berkeley, el aprendizaje automático tiene tres componentes:

1. Un proceso de decisión: en general, los algoritmos de aprendizaje automático se utilizan para hacer una predicción o clasificación. Basado en algunos datos de entrada, que pueden estar etiquetados o no, el algoritmo producirá una estimación sobre un patrón en los datos.
2. Una función de error: evalúa la predicción del modelo. Si hay ejemplos conocidos, una función de error puede hacer una comparación para evaluar la precisión del modelo.
3. Un proceso de optimización del modelo: si el modelo puede ajustarse mejor a los puntos de datos del conjunto de entrenamiento, entonces se ajustan los pesos para reducir la discrepancia entre el ejemplo conocido y la estimación del modelo. El algoritmo repetirá este proceso iterativo de "evaluar y optimizar", actualizando los pesos de manera autónoma hasta que se alcance un umbral de precisión.

El análisis de regresión y la mayoría de las otras formas de análisis estadístico carecen de un proceso de optimización del modelo.

El problema en el mundo real

Mientras que los resultados de "inversión" generalmente son rastreables, los resultados de "gastos" no lo son. Sin embargo, para la gran mayoría de las personas, la forma en que gastan es un mayor determinante de su desempeño financiero que la inversión. El otro desafío es que no gastamos simplemente para optimizar nuestro rendimiento financiero. Gastamos para optimizar nuestro rendimiento emocional. ¿Cómo va un modelo de aprendizaje automático a rastrear eso?

La IA no está lista para ofrecer asesoramiento financiero

Proporcionar asesoramiento financiero no es una tarea sencilla: las instrucciones necesarias para hacerlo implican muchas cláusulas. En otras palabras, los objetivos para establecer un buen asesoramiento financiero no son simples ni directos y son precisamente estas preguntas complejas las que las herramientas de IA generativa no pueden abordar de manera adecuada (según Apple).

Conclusión

Los bancos y cooperativas de crédito no deberían depender de la IA para brindar asesoramiento financiero, al menos, no por ahora. Tal vez en cinco o diez años, pero no en este momento. Si los proveedores aseguran utilizar aprendizaje automático, pregúntales sobre su proceso de optimización de modelos. Si afirman tener un modelo de lenguaje grande, pregúntales cómo superan las limitaciones en cálculos matemáticos.

*Con información de Forbes US.