ChatGPT y otros chatbots similares basados en los últimos y mejores Large Language Models siguen sin conseguirlo: no superan la prueba de ambigüedad semántica.
En una nota anterior sobre Yehoshua Bar-Hillel, pionero de la traducción automática a principios de los años 50, relaté las historias que contó sobre cómo domar leones y computadoras en el Primer Simposio Anual de la Sociedad Americana de Cibernética en 1967.
En su charla, Bar-Hillel también enumeró tres requisitos para la "inteligencia de las máquinas": La capacidad de manipular el lenguaje; tener conocimientos previos sobre el mundo; y capacidades de razonamiento y cálculo, todas ellas al nivel de un graduado de secundaria. El esfuerzo necesario para lograr estos prerrequisitos de la inteligencia artificial, dijo Bar-Hillel, "sería incomparablemente mayor que el requerido para poner al hombre en Venus"
Quince años antes, en su discurso de estreno de la conferencia sobre traducción automática que organizó en el MIT en junio de 1952, Bar-Hillel se mostraba mucho más optimista: "Incluso si resultara que ninguna de las posibles asociaciones máquina-cerebro fuera más eficaz que un traductor humano, en el sentido de que no serían ni más rápidas ni más baratas ni más exactas que el traductor humano, en las condiciones existentes hoy o en un futuro próximo, yo abogaría firmemente por la continuación de esta investigación. Las máquinas electrónicas serán sin duda más baratas, los cerebros humanos probablemente más caros".
En 1955, sin embargo, Bar-Hillel se volvió muy pesimista. En "A Demonstration of the Nonfeasibility of Fully Automatic High-Quality Translation" escribió que la traducción de alta calidad por computadora "es sólo un sueño que no se hará realidad en un futuro previsible".
Los investigadores de la traducción automática que no reconocen la "inutilidad práctica de este objetivo", escribió Bar-Hillel, engañaron a sus patrocinadores al "no darse por satisfechos con un sistema de traducción parcialmente automatizado cuyos principios se comprenden bien hoy en día", y pedirles en cambio que esperaran a "la cosa real que se creía, y se hacía creer, que estaba a la vuelta de la esquina".
A la vuelta de la esquina, o como dijo OpenAI en un anuncio reciente, la IA superinteligente, "la tecnología más impactante que la humanidad haya inventado jamás", podría llegar esta década y "podría llevar al desempoderamiento de la humanidad o incluso a la extinción humana".
El ejemplo que Bar-Hillel utilizó en su artículo para demostrar la inutilidad de perseguir el sueño de la traducción automática de alta calidad fue la siguiente frase:
Y he aquí el contexto lingüístico del que procede esta frase:
El pequeño Juan buscaba su caja de juguetes. Por fin la encontró. La caja estaba en el corral. Juan estaba muy contento.
Bar-Hillel explica este ejemplo de ambigüedad semántica:
Supongamos, para simplificar, que en inglés pen sólo tiene los dos significados siguientes: (1) cierto utensilio para escribir, (2) un recinto donde pueden jugar los niños pequeños. Ahora afirmo que ningún programa existente o imaginable permitirá a un ordenador electrónico determinar que la palabra pen en la frase dada dentro del contexto dado tiene el segundo de los significados anteriores, mientras que todo lector con un conocimiento suficiente del inglés lo hará "automáticamente".
Al hablar de las soluciones propuestas por otros investigadores de la traducción automática, Bar-Hillel dice: "Es un viejo prejuicio, pero no deja de ser un prejuicio, que tomar en consideración un entorno lingüístico suficientemente amplio como tal bastará para reducir la ambigüedad semántica de una palabra dada."
Pues bien, ese era el estado del procesamiento del lenguaje natural (PLN) en los años cincuenta. Sin embargo, estaba completamente seguro de que los Grandes Modelos Lingüísticos (LLM) actuales, entrenados en un número incalculable de textos y capaces de procesarlos (en paralelo), captarían el "contexto lingüístico" y siempre acertarían.
Para entender mejor el estado de la traducción automática BC (antes de ChatGPT), le pedí a Google Translate (que supongo que ahora mismo no es compatible con los últimos LLM) que tradujera el ejemplo de Bar-Hillel a dos idiomas, hebreo y ruso. Google Translate traduce "la pluma" en el sentido de instrumento de escritura, en ambos idiomas. "La caja estaba en el instrumento de escritura" es lo que se perdió en la traducción.
Pero, ¿qué hay de la reciente "revolución" en lo que la IA puede hacer ahora (y lo que la AGI hará "a la vuelta de la esquina")?
Bard, la respuesta de Google a ChatGPT, era sólo ligeramente "mejor" que Google Translate. Para Bard, la caja estaba en el corral en el sentido de recinto de un animal.
Le proporcioné a Bard el contexto completo de la frase del artículo de Bar-Hillel, pero seguía obteniendo "recinto para animales". Cuando protesté, Bard me proporcionó esto:
Es correcto. La palabra hebrea מכלאה (mikhla'ah) significa "recinto, corral, redil". Puede referirse a un pequeño recinto para animales, como un gallinero o una pocilga. También puede referirse a un recinto más grande, como un zoo o una reserva natural. En el contexto de la frase, la palabra מכלאה se utiliza para referirse a un pequeño recinto para animales. La caja se encontró en este recinto, por lo que la traducción utiliza la palabra hebrea מכלאה.
El uso de "bolígrafo" como pequeño espacio de almacenamiento (es la segunda acepción de la palabra en el diccionario Merriam-Webster, siendo la cuarta la de instrumento de escritura), y específicamente para juguetes infantiles, queda claro en el contexto lingüístico completo que proporcioné a Bard. Aun así, pensando que quizá esta acepción era más frecuente en los años cincuenta que en la actualidad y que quizá Bard era perezoso y se fijaba sólo en textos recientes, le pedí a Bard ejemplos de la literatura de "pen" como "un recinto donde pueden jugar los niños pequeños".
En segundos, obtuve tres imágenes, las portadas de El jardín secreto, Mujercitas y Las aventuras de Tom Sawyer, y citas relevantes de estos libros. Y esta explicación:
En estos ejemplos, la palabra "corral" se utiliza para referirse a un área pequeña y cerrada donde los niños pueden jugar. El corral suele estar rodeado por una valla u otro tipo de barrera, y con frecuencia está lleno de juguetes, juegos u otras actividades que los niños disfrutan.
El conocimiento está ahí, pero Bard no ha conectado los puntos.
¿Por qué? Acá lo que dijo Bar-Hillel en 1955:
Lo que hace que un lector humano inteligente capte este significado tan sin vacilar es.... su conocimiento de que los tamaños relativos de los bolígrafos, en el sentido de utensilios de escritura, cajas de juguetes, y plumas, en el sentido de corralitos, son tales que cuando alguien escribe en circunstancias ordinarias y en algo parecido al contexto dado, "La caja estaba en el corralito", casi con toda seguridad se refiere a un corralito y con toda seguridad no a un bolígrafo para escribir. Este conocimiento no está a disposición del ordenador electrónico y ninguno de los diccionarios o programas para la eliminación de la polisemia pone este conocimiento a su disposición.
La IA actual todavía no tiene un conocimiento del mundo al nivel de un niño de tres años. Los LLM son un pequeño paso para el hombre, pero están lejos de ser un gran salto para la humanidad.
Un hombre, Terry Winograd, hizo un pequeño paso a finales de los años 60 en el larguísimo y difícil camino del procesamiento del lenguaje natural. Al igual que Bar-Hillel, pocos años después de domesticar un ordenador para que participara en una conversación, se convirtió en un "desertor de alto nivel del mundo de la IA", en palabras de John Markoff.
