A medida que Alphabet Inc mira más allá de un error de chatbot que ayudó a borrar US$ 100 mil millones de su valor de mercado, surge otro desafío de sus esfuerzos para agregar inteligencia artificial generativa a su popular Búsqueda de Google: los costos.
Los ejecutivos de todo el sector de la tecnología están hablando sobre cómo operar IA como ChatGPT mientras se tiene en cuenta el alto gasto. El chatbot tremendamente popular de OpenAI, que puede redactar prosa y responder consultas de búsqueda, tiene costos informáticos "alucinantes" de un par de centavos o más por conversación, dijo el presidente ejecutivo de la startup, Sam Altman, en Twitter.
En una entrevista, el presidente de Alphabet, John Hennessy, dijo a Reuters que tener un intercambio con IA conocido como un modelo de lenguaje grande probablemente cueste 10 veces más que una búsqueda de palabras clave estándar, aunque el ajuste fino ayudará a reducir el gasto rápidamente.
Incluso con los ingresos de los posibles anuncios de búsqueda basados en chat, la tecnología podría contribuir al resultado final de Alphabet, con sede en Mountain View, California, con varios miles de millones de dólares en costos adicionales, dijeron los analistas. Su ingreso neto fue de casi US$ 60 mil millones en 2022.
Cuánto cuesta sostener una IA
Morgan Stanley estimó que las 3.3 billones de consultas de búsqueda de Google el año pasado costaron aproximadamente una quinta parte de un centavo cada una, una cifra que aumentaría según la cantidad de texto que la IA deba generar. Google, por ejemplo, podría enfrentar un aumento de US$ 6 mil millones en gastos para 2024 si la IA similar a ChatGPT manejara la mitad de las consultas que recibe con respuestas de 50 palabras, proyectaron los analistas. Es poco probable que Google necesite un chatbot para manejar las búsquedas de navegación en sitios como Wikipedia.
Otros llegaron a un proyecto de ley similar de diferentes maneras. Por ejemplo, SemiAnalysis, una firma de investigación y consultoría enfocada en la tecnología de chips, dijo que agregar IA estilo ChatGPT a la búsqueda podría costarle a Alphabet US$ 3 mil millones, una cantidad limitada por los chips internos de Google llamados Unidades de procesamiento de tensor o TPU, junto con otras optimizaciones. .
Lo que hace que esta forma de IA sea más costosa que la búsqueda convencional es la potencia informática involucrada. Dicha IA depende de miles de millones de dólares en chips, un costo que debe distribuirse a lo largo de su vida útil de varios años, dijeron los analistas. La electricidad también agrega costos y presión a las empresas con objetivos de huella de carbono.
Qué es la inferencia en IA
El proceso de manejo de consultas de búsqueda impulsadas por IA se conoce como "inferencia", en el que una "red neuronal" modelada libremente en la biología del cerebro humano infiere la respuesta a una pregunta a partir de un entrenamiento previo.
En una búsqueda tradicional, por el contrario, los rastreadores web de Google escanean Internet para compilar un índice de información. Cuando un usuario escribe una consulta, Google ofrece las respuestas más relevantes almacenadas en el índice.
Hennessy de Alphabet dijo a Reuters: "Son los costos de inferencia los que tienes que reducir", y lo calificó como "un problema de un par de años en el peor de los casos".
Alphabet enfrenta presiones para asumir el desafío a pesar de los gastos. A principios de este mes, su rival Microsoft Corp realizó un evento de alto perfil en su sede de Redmond, Washington, para mostrar los planes para integrar la tecnología de chat de IA en su motor de búsqueda Bing, con altos ejecutivos apuntando a la participación en el mercado de búsqueda de Google. del 91%, según la estimación de Similarweb.
Un día después, Alphabet habló sobre los planes para mejorar su motor de búsqueda, pero un video promocional de su chatbot de inteligencia artificial Bard mostró que el sistema respondió una pregunta de manera incorrecta, fomentando una caída de acciones que recortó US$ 100 mil millones de su valor de mercado .
Más tarde, Microsoft atrajo su propio escrutinio cuando, según los informes, su IA hizo amenazas o profesó amor por evaluar a los usuarios, lo que llevó a la compañía a limitar las largas sesiones de chat que, según dijo, "provocaron" respuestas no deseadas.
La directora financiera de Microsoft, Amy Hood, ha dicho a los analistas que la ventaja de ganar usuarios e ingresos por publicidad superó los gastos a medida que el nuevo Bing se lanza a millones de consumidores. “Eso es un margen bruto incremental en dólares para nosotros, incluso al costo del servicio que estamos discutiendo”, dijo.
Y otro competidor de Google, el CEO del motor de búsqueda You.com Richard Socher, dijo que agregar una experiencia de chat de IA, así como aplicaciones para gráficos, videos y otra tecnología generativa, aumentó los gastos entre un 30% y un 50%. "La tecnología se vuelve más barata a escala y con el tiempo", dijo.
Una fuente cercana a Google advirtió que es pronto para precisar exactamente cuánto podrían costar los chatbots porque la eficiencia y el uso varían ampliamente según la tecnología involucrada, y la IA ya impulsa productos como la búsqueda.
Aún así, pagar la factura es una de las dos razones principales por las que los gigantes de las búsquedas y las redes sociales con miles de millones de usuarios no han lanzado un chatbot de IA de la noche a la mañana, dijo Paul Daugherty, director de tecnología de Accenture. "Uno es la precisión, y el segundo es que tienes que escalar esto de la manera correcta", dijo.
Modelos de lenguaje a bajo costo
Durante años, los investigadores de Alphabet y otros lugares han estudiado cómo entrenar y ejecutar modelos de lenguaje grandes de forma más económica.
Los modelos más grandes requieren más chips para la inferencia y, por lo tanto, cuestan más. La IA que deslumbra a los consumidores por su autoridad similar a la humana se ha disparado en tamaño, alcanzando los 175 mil millones de los llamados parámetros, o diferentes valores que el algoritmo tiene en cuenta, para el modelo OpenAI actualizado en ChatGPT. El costo también varía según la longitud de la consulta de un usuario, medida en "tokens" o fragmentos de palabras.
Un alto ejecutivo de tecnología dijo a Reuters que dicha IA seguía teniendo un costo prohibitivo para ponerla en manos de millones de consumidores.
"Estos modelos son muy costosos, por lo que el próximo nivel de invención será reducir el costo de entrenar estos modelos y la inferencia para que podamos usarlos en todas las aplicaciones", dijo el ejecutivo bajo condición de anonimato.
Por ahora, los científicos informáticos dentro de OpenAI han descubierto cómo optimizar los costos de inferencia a través de un código complejo que hace que los chips funcionen de manera más eficiente, dijo una persona familiarizada con el esfuerzo. Un portavoz de OpenAI no hizo comentarios de inmediato. Un problema a más largo plazo es cómo reducir la cantidad de parámetros en un modelo de IA 10 o incluso 100 veces, sin perder precisión.
"La forma en que elimina (los parámetros) de manera más efectiva, sigue siendo una pregunta abierta", dijo Naveen Rao, quien anteriormente dirigió los esfuerzos de chips de IA de Intel Corp y ahora trabaja para reducir los costos de cómputo de IA a través de su startup MosaicML.
Mientras tanto, algunos han considerado cobrar por el acceso, como la suscripción de US$ 20 por mes de OpenAI para un mejor servicio de ChatGPT. Los expertos en tecnología también dijeron que una solución es aplicar modelos de IA más pequeños a tareas más simples, que Alphabet está explorando.
La compañía dijo este mes que una versión de "modelo más pequeño" de su tecnología LaMDA AI masiva impulsará su chatbot Bard, que requiere "significativamente menos potencia de cómputo, lo que nos permitirá escalar a más usuarios".
Cuando se le preguntó acerca de chatbots como ChatGPT y Bard, Hennessy dijo en una conferencia llamada TechSurge la semana pasada que modelos más enfocados, en lugar de un sistema que haga todo, ayudarían a "controlar el costo".
*Nota publicada originalmente en Reuters.