Entrenar una inteligencia artificial generativa no es sencillo. Hubo varios años de experiencia en entender cómo los algoritmos debían trozar los datos para que de ellos saliera algo potable. El primer avance crucial sucedió en 2017 cuando en OpenAI vieron cómo a partir del uso de signos de puntuación pudieron predecir si un review de Amazon iba a ser bueno o malo. "Fue un antes y un después. Vimos que desde la sintáctica podíamos deducir la semántica", revela Greg Brockman, co-Founder de OpenAI.
Tener los algoritmos correctos es sólo una parte del problema, después hay que entrenar al modelo y para eso se requieren centros de cómputo de centenares de millones de dólares. Una vez que se tiene el modelo entrenado, se pueden crear APIs (son interfases que se comunican con otros programas) para que terceras partes hagan uso de ese modelo de múltiples formas.
Hasta ahí parecía todo muy lindo y se crearon muchas startups haciendo usos innovadores del núcleo de Chat GPT. Uno de los problemas de estos sistemas es que dan resultados pero no pueden explicar cómo los obtuvieron. Los datos ofrecidos son el resultado de la experiencia de su entrenamiento y puede incluso con el tiempo cambiar su respuesta a partir de más entrenamiento.
La inteligencia artificial generativa se aleja de la ciencia en el sentido del entendimiento, no le preocupa el porqué es así sino el resultado práctico. El sistema fue entrenado para predecir cuáles son los caracteres más probables que aparezcan. Y logró de esa forma hablar muy bien emulando el lenguaje natural.
Hasta fue capaz de encontrar muchas reglas matemáticas sin que nadie se las enseñara. "Si se le pide escribir un número de 40 dígitos lo hará perfectamente. Eso para nosotros fue alucinante. O sea probando de a uno el tiempo era infinito, de alguna forma entendió la sintáctica y puede escribir un número de esos dígitos. Pero si se le pedimos que sume ese número a otro de 35 dígitos falla. O sea no se dio cuenta cómo encolumnar los números para realizar la suma, a veces sí lo hace bien otras no", aclara Sam Altman, CEO de OpenAI.
El problema es que dará una linda explicación del resultado, además contestará un número, no es que dará un poema. Los resultados pueden ser falsos pero son verídicos. Y eso hace que se confíe en su respuesta. Es así cómo se generan fake news aún sin quererlo, el usuario mismo viralizará esa respuesta sobre todo si coincide con sus sesgos. A este tipo de respuestas se le llama alucinación en los terrenos de la IA.
En los entornos organizaciones donde la empresa puede ser parte de los resultados que entregue el sistema esto agranda el problema. No es sólo quedar mal con los clientes, también hay temas legales a tener en cuenta. Es por eso que las organizaciones se enfrentan a dos tipos de decisión.
Por un lado se encuentra el fine-tuning del LLM, esto implica aprovechar toda la semántica del modelo generalista, y sobre eso hacer un entrenamiento intenso con los datos corporativos. La otra opción es decidirse por un SLM o Smal Language Model, donde le modelo actúa sobre una porción menor del lenguaje lo que la ayuda a no crear tantas relaciones y por lo tanto alucinar menos.
En ambos casos la clave son los testeos. Sin embargo no hay una regla universal, la tecnología es muy nueva. Por eso las organizaciones deben entender muy bien los casos de uso que le ofrecerán a sus clientes para antes realizar una buena cantidad de testeos. La alucinación es un tema intrínseco a la tecnología. Los niños alucinan cuando están aprendiendo el lenguaje. Afortunadamente recordamos más cuandos esas alucinaciones son creativas. Llegar a ese punto es el gran desafío que deben resolver las empresas.
