En 2013, May Habib estaba navegando por GitHub cuando se encontró con un trabajo sobre Machine Learning para grandes bloques de información, por entonces un campo nuevo, de Waseem Alshikh, un ejecutivo de tecnología basado en Dubai.
Habib, que creció en un pequeño pueblo del Líbano antes de emigrar a Canadá en los años 90 para huir de la guerra civil, quedó inmediatamente impresionada por las similitudes que compartía con Alshikh, quien también se vio obligado a abandonar su país natal, Siria, pero por una razón diferente: cuando era adolescente, había pirateado ilegalmente el Ministerio del Interior del país.
Diez años y dos nuevas empresas más tarde, el dúo está a la vanguardia de una ola de compañías de IA generativa que se han fusionado con la corriente principal a medida que las técnicas rudimentarias con las que Alshikh estaba experimentando hace una década han sido impulsadas por los avances en transformadores y modelos de aprendizaje profundo.
Su startup de IA generativa Writer utiliza sus propios modelos LLMs (modelos de lenguaje basados en grandes bloques) llamados Palmyra (el nombre proviene de una antigua ciudad siria) para permitir que las empresas y sus empleados escriban y editen contenido como correos electrónicos, documentos, anuncios y resúmenes, todos los cuales se adherirán a las pautas editoriales de una empresa.
A diferencia de la gran mayoría de los modelos generativos de IA que "alucinan" o emiten información incorrecta, un problema importante para las empresas que incorporan la tecnología, Habib afirma que la última versión de su modelo de IA de lenguaje "nunca creará nada que sea incorrecto". Esto se debe a la arquitectura del modelo, que está diseñado para priorizar la precisión sobre la creatividad.
Eso es técnicamente plausible, hasta cierto punto. "La arquitectura del modelo definitivamente tiene un impacto en las tasas de alucinación", dice Pranav Reddy, un inversor que anteriormente trabajó en la startup de motores de búsqueda de IA generativa Neeva. "Pero no hay una estructura modelo que garantice que no alucinen", continua. En el raro escenario de que la tecnología de la compañía alucina, Habib dice que Writer destaca la parte del texto que no tiene fuente.
Los clientes, que incluyen gigantes como Uber, Deloitte, Spotify y Accenture, ya compraron sus soluciones. United Healthcare está utilizando los modelos compatibles con HIPAA (un protocolo requerido en servicios de salud) de Writer para examinar la letra pequeña de los planes de seguro de salud y luego escribir blogs o correos electrónicos para explicar esos planes a los proveedores de salud y pacientes.
Intuit tiene a Writer escribiendo publicaciones de blog basadas en datos financieros, y L'Oréal lo usa para escribir descripciones de productos y notificaciones push. Los clientes de Writer también pueden alimentar el software con un podcast o un video y puede reutilizarlo en contenido escrito. Uno de los primeros clientes de Writer fue Twitter, que no ha pagado sus cuentas, dice Habib, quien demandó a la compañía propiedad de Elon Musk a fines de febrero por incumplimiento de pagos.
Los modelos de Writer están entrenados con información pública, así como con los datos propios de la empresa cliente, sean PDFs, guías de estilo editorial y palabras relacionadas con la marca, formando juntos 30 mil millones de parámetros. Cada empresa obtiene su propia versión personalizada del modelo y los datos se almacenan en la nube de la empresa. "Los datos en realidad se usan como un índice y logramos mostrar el camino que recorre el software para dar una explicación de dónde provienen los hechos específicos", dice Habib.
La compañía, que aparece en la lista AI 50 2023, compite directamente con otras startups generativas de IA que se dirigen cada vez más al sector empresarial. Pero todavía está alcanzando a sus competidores en términos de financiación. Valorada en US$ 155 millones, Writer recaudó US$ 26 millones en fondos de riesgo de Insight Partners, Upfront Ventures y otros. En comparación, la herramienta de inteligencia artificial de redacción publicitaria Jasper es un unicornio que ya tiene en sus bolsillos US$ 125 millones en capital de riesgo.
La principal diferencia de Writer, según sus cofundadores, es que utiliza sus propios modelos de lenguaje grande (a diferencia de Jasper, que se basa en GPT-3.5 de OpenAI) y entrena esos modelos en datos específicos de la empresa para obtener resultados más precisos.
"La mayoría de las empresas en el mercado solo están jugando en la capa de aplicación, y ni siquiera lo hacen bien. Literalmente usan la tecnología de otra persona y ponen una interfaz de usuario encima", dice el cofundador y CTO Alshikh. "Jasper es un ejemplo. Es solo un revendedor de tecnologia de otro. Como empresa de IA, cuando no controlas tu IA en sí, ¿Cómo vas a controlar la calidad de la producción?"
La estrategia de la startup con sede en San Francisco para abordar el problema de la IA generativa que inventa hechos tiene que ver con cómo se diseña su modelo. En el backend, Writer utiliza el aprendizaje automático, el procesamiento del lenguaje natural y los transformadores (una tecnologia divulgada por Google en 2017) para comprender el texto y generar más. Writer combina codificadores, que es la parte de un transformador que comprende el texto, y decodificadores, los componentes que predicen y generan texto.
A diferencia de otros modelos, los modelos de Writer hacen que los codificadores y decodificadores se comuniquen entre sí. Una vez que un codificador entiende la consulta, toma la información de la base de datos cargada por la empresa cliente y luego informa al decodificador cómo generar una respuesta basada en ella. "Así es como podemos ser precisos y escribir en un lenguaje inclusivo", dice Habib a Forbes.
Reddy, el inversor de Conviction, está de acuerdo en que, si bien los modelos codificador-decodificador no son perfectos, son mejores que ChatGPT, al menos cuando se trata de precisión. "Los modelos codificador-decodificador tienden a tener tasas de alucinación mucho más bajas que los modelos basados solo en decodificadores, que es la estructura OpenAI GPT-3", dice Reddy. "La compensación que pagas por esto es que estos modelos (codificador-decodificador) también tienden a ser menos creativos".
Habibs dice que sus clientes están más preocupados por usar la redacción y la puntuación correctas en su contenido de marca que por poder generar historias, sonetos y poemas. Cualquier historia incluida en el contenido escrito por el software de Writer es real y no ficción, dice.
Como lo dice su nombre, las herramientas de Writer solo producen texto y no generan contenido visual como imágenes y videos, un servicio que ofrecen las nuevas empresas de IA generativa centrada en la empresa como Typeface. Se puede conectar a muchas herramientas de escritura y creación de contenido, incluidos Google Docs, Microsoft Word y Figma.
Writer cobra a los clientes una tarifa de plataforma entre US$ 30,000 y US$ 1 millón. El precio también se basa en el número de palabras generadas por el software. A través de este modelo de negocio, Writer espera registrar un estimado de US$ 20 millones en ingresos de 2023.
A un precio relativamente bajo, Nvidia proporciona a Writer el hardware físico (GPU y CPU) para fines informáticos y datos de entrenamiento. "Nuestro objetivo hoy es entrenar modelos más pequeños tanto como sea posible para mantener los costos baratos para nosotros y nuestros clientes", confiesa Alshikh.
Los empresarios inmigrantes dicen que Writer es una amalgama de sus experiencias personales con el idioma inglés y sus fundamentos comerciales en el ámbito del aprendizaje automático. Habib, graduada de Harvard, fue la primera mujer de su familia en asistir a la universidad y enseñó a su familia a hablar inglés. Alshikh aprendió a hablar inglés a los 20 años para aprender informática. Esto los llevó a comenzar su primera aventura en 2015: un software de traducción basado en aprendizaje automático llamado Qordoba que ayudó a compañías como Sephora y Visa a traducir su contenido digital a otros idiomas y dialectos, antes de convertirlo en Writer en 2020.
"Conocer profundamente un lenguaje como para nosotros fue el inglés es lo que nos permitió avanzar en el mundo. Seguimos pensando en ello y queremos desbloquear el lenguaje para así ayudar a que nuestros clientes avancen”, concluye Habib.