Antes de permitir que sus más de 13.000 empleados del Pentágono busquen información sobre un ciudadano estadounidense, el director de la Agencia de Contrainteligencia y Seguridad de Defensa (DCSA), David Cattler, les pide que se hagan una pregunta: ¿sabe mi mamá que el gobierno puede hacer esto?
"La prueba de la mamá", como la llama Cattler, es un control de sentido común sobre cómo la DCSA —una vasta agencia que otorga y niega autorizaciones de seguridad a millones de trabajadores en los Estados Unidos— realiza su labor. Y también es la forma en que Cattler piensa en el uso de la inteligencia artificial (IA) en su agencia.
La DCSA es la agencia encargada de investigar y aprobar el 95% de las autorizaciones de seguridad de los empleados del gobierno federal, lo que le exige realizar millones de investigaciones cada año. Esto le otorga acceso a una enorme cantidad de información privada, y en 2024, la DCSA recurrió a herramientas de IA para organizar e interpretar esos datos.
Esto no incluye ChatGPT, Bard, Claude u otros modelos llamativos de IA generativa. En cambio, están utilizando herramientas para procesar y organizar datos de formas que las empresas tecnológicas de Silicon Valley implementaron durante años, empleando sistemas que muestran cómo trabajan de manera más clara que la mayoría de los modelos de lenguaje extensos. Por ejemplo, Cattler mencionó que el uso más prometedor de estas herramientas en la agencia es la priorización de amenazas existentes.
Si no se utilizan con cuidado, estas herramientas podrían comprometer la seguridad de los datos e introducir sesgos en los sistemas gubernamentales. Sin embargo, Cattler se mostró optimista respecto a que algunas de las funciones menos llamativas de la IA podrían transformar la agencia, siempre y cuando no sean "cajas negras".
"Tenemos que entender por qué es creíble y cómo hace lo que hace", dijo Cattler a Forbes. "Debemos demostrar que, cuando usamos estas herramientas para los propósitos que describo, hacen lo que dicen que hacen, lo hacen de manera objetiva y lo hacen de una forma altamente conforme y consistente".
Muchas personas podrían ni siquiera considerar como IA las herramientas que describe Cattler. Él se mostró entusiasmado con la idea de construir un mapa de calor de las instalaciones que la DCSA asegura, con riesgos trazados en tiempo real, actualizándose cada vez que otras agencias gubernamentales reciben nueva información sobre una posible amenaza. Una herramienta así, según él, podría ayudar a la DCSA a "determinar dónde colocar los [camiones de bomberos metafóricos]". No se trataría de descubrir nueva información, sino de presentar la información existente de una manera más útil.
Matthew Scherer, asesor principal de políticas en el Centro para la Democracia y la Tecnología, dijo a Forbes que, si bien la IA puede ser útil para recopilar y organizar información que ya ha sido reunida y validada, el paso siguiente -tomar decisiones críticas, como señalar señales de alerta durante un proceso de verificación de antecedentes o recolectar datos de perfiles en redes sociales- puede ser peligroso. Por ejemplo, los sistemas de IA todavía tienen dificultades para diferenciar entre varias personas con el mismo nombre, lo que puede llevar a errores de identificación.
"Tendría preocupaciones si el sistema de IA estuviera haciendo recomendaciones de algún tipo o inclinando la balanza en favor o en contra de ciertos solicitantes", afirmó Scherer. "Ahí estás entrando en el ámbito de los sistemas de decisión automatizada".
Cattler dijo que el departamento evitó usar inteligencia artificial (IA) para identificar nuevos riesgos. Sin embargo, incluso en cuestiones de priorización, pueden surgir problemas relacionados con la privacidad y los sesgos.
Al establecer contratos con empresas de IA (Cattler se negó a nombrar a sus socios), la DCSA debe considerar qué datos privados se introducen en los algoritmos propietarios y qué pueden hacer esos algoritmos con esos datos una vez que los tienen. Empresas que ofrecen productos de IA al público en general filtraron inadvertidamente datos privados que los clientes les confiaron, una violación de confianza que sería catastrófica si ocurriera con datos en posesión del propio Pentágono.
La IA también podría introducir sesgos en los sistemas del Departamento de Defensa. Los algoritmos reflejan los puntos ciegos de las personas que los crean y los datos con los que se entrenan, y la DCSA depende de la supervisión de la Casa Blanca, el Congreso y otros organismos administrativos para protegerse contra prejuicios en sus sistemas.
Un informe de 2022 de la RAND Corporation advirtió explícitamente que la IA podría introducir sesgos en el sistema de evaluación de autorizaciones de seguridad "posiblemente como resultado de los prejuicios de los programadores o de diferencias raciales históricas".
Cattler reconoció que los valores sociales que informan a los algoritmos, incluidos los del Pentágono, cambian con el tiempo. Hoy en día, dijo, el departamento es mucho menos tolerante con las opiniones extremistas de lo que solía ser, pero algo más tolerante con las personas que alguna vez fueron adictas al alcohol o las drogas y ahora están en proceso de recuperación.
"Literalmente, era ilegal en muchos lugares de Estados Unidos ser gay, hasta no hace tanto tiempo", señaló. "Ese era un sesgo que el sistema quizá necesitaba eliminar de sí mismo".
Nota publicada en Forbes US.
