Esta primavera, durante la guerra con Irán, un informe de inteligencia de Estados Unidos circuló por el país advirtiendo sobre un buque chino en Medio Oriente que transportaba componentes de un programa de armas nucleares. El ejército estadounidense reaccionó con rapidez y preparó planes para detener la embarcación, según cuatro personas familiarizadas con el incidente. Dos de esas personas dijeron que miembros armados del ejército estadounidense se preparaban para abordar el buque. Una de esas dos personas y una tercera familiarizada con el asunto dijeron que aviones militares habían despegado.
Justo antes de la operación programada, los funcionarios examinaron un informe elaborado por un analista del mando de operaciones especiales y descubrieron que la IA había ayudado a producirlo, y que un chatbot en el que el analista confiaba había identificado incorrectamente la carga a bordo del buque. CNN no pudo determinar cuál era en realidad la carga mal identificada.
El informe, según una de las fuentes, era «completamente falso». Pero también «casi desató una guerra», dijo la fuente. Cualquier operación estadounidense contra un buque chino podría haber corrido el riesgo de escalar a un conflicto armado entre las dos naciones.
Cómo se elaboró el informe de IA
Una persona contactó a un chatbot para preguntar sobre informes de inteligencia relativos al manifiesto del buque que provenían del Mando de Operaciones Especiales del Pacífico de Estados Unidos, con sede en Hawái. No quedó claro si el chatbot era uno disponible comercialmente o un producto elaborado por el gobierno estadounidense.
«Las herramientas internas son en su mayoría solo copias de lo comercial con lápiz labial», dijo un ex alto funcionario estadounidense familiarizado con los sistemas de IA utilizados por analistas militares y de inteligencia.
La máquina combinó información pública de diversas fuentes con datos gubernamentales clasificados para formar su juicio sobre lo que transportaba el buque.
Una vez reunidos los hallazgos, el analista empleó la IA una vez más para presentarlos en forma de un informe de inteligencia estándar, del tipo que goza de la confianza de los funcionarios militares, antes de enviarlo.
Ni el Mando de Operaciones Especiales del Pacífico de Estados Unidos ni el Pentágono respondieron a una solicitud de comentarios.
El impulso de la IA del Pentágono
En enero, el secretario de Defensa, Pete Hegseth, publicó la «Estrategia de Aceleración de la Inteligencia Artificial» de su agencia con el fin de acelerar el uso de la IA por parte de los militares. Hegseth dijo en un discurso en el que anunció la estrategia: «Desataremos la experimentación, eliminaremos las barreras burocráticas, concentraremos nuestras inversiones y demostraremos el enfoque de ejecución necesario para garantizar que lideremos en IA militar».
El plan exige una amplia adopción en todas las fuerzas armadas, e instruye al departamento a distribuir la IA mediante múltiples programas para que se vuelva ampliamente accesible, según «democratizar la experimentación y la transformación de la IA en todo el Departamento poniendo los modelos de IA líderes mundiales de Estados Unidos directamente en manos de nuestros tres millones de efectivos civiles y militares, en todos los niveles de clasificación».
Según varios funcionarios estadounidenses que conocen bien la situación, el enfoque de verificación en las agencias federales no está centralizado. En cambio, distintas oficinas emplean sus propios métodos y trabajan bajo instrucciones y requisitos de seguridad separados. Eso significa que no existe un único estándar que guíe cómo Estados Unidos verifica los datos producidos por estos sistemas. Como resultado, las diversas aplicaciones de IA que ahora se distribuyen por la comunidad militar y de inteligencia difieren mucho en cuán confiables y útiles son.
El debate más amplio sobre la IA
Desde hace varias semanas, funcionarios en Washington han sostenido un vigoroso debate sobre la IA, impulsado por graves advertencias de ingenieros y altos ejecutivos de empresas de Silicon Valley sobre el riesgo de que la IA escape del control humano, con resultados que podrían acabar por completo con la civilización.
El peligro del error humano
El encuentro con la embarcación china pone de relieve un peligro distinto, uno que llega de repente en lugar de gradualmente: personas que actúan mal porque creen información generada por máquinas que es errónea o engañosa. Según los informes, las fuerzas armadas están adoptando rápidamente la IA para orientarse sobre a quién o qué atacar, un campo donde los errores fatales acechan.
“La IA en la selección de objetivos es definitivamente algo que está aumentando y no existe una orientación real sobre cómo la presencia de un humano en el proceso evitará bajas civiles o fuego amigo”, dijo otra fuente familiarizada con las políticas actuales del ejército.
Según una fuente, el tipo de “alucinación” producida por la herramienta del analista no ha aparecido de forma aislada dentro de la comunidad de inteligencia; ha surgido repetidamente desde que estas herramientas se difundieron por el gobierno.
Algunos exoficiales de inteligencia, incluso aquellos que en general respaldan el uso de la IA dentro del ejército, dicen que la tecnología ha llevado a los analistas a producir y difundir inteligencia a un ritmo más rápido, lo que aumenta el riesgo de errores. Varias fuentes señalaron que los analistas más jóvenes, criados con estas herramientas, son especialmente propensos a confiar en ellas sin cuestionarlas.
“La IA te permite llegar a una mala idea más rápido”, dijo una de las fuentes.
El orden de los acontecimientos
- Circuló un informe de inteligencia de Estados Unidos que advertía sobre un buque chino en Medio Oriente que transportaba componentes nucleares.
- El ejército estadounidense elaboró planes para detener la embarcación.
- Miembros armados del ejército estadounidense se prepararon para abordar el buque.
- Aviones militares despegaron.
- Los funcionarios examinaron un informe elaborado por un analista de un comando de operaciones especiales.
- Descubrieron que la IA había ayudado a producirlo.
- Un chatbot en el que el analista confiaba había identificado incorrectamente la carga a bordo de la embarcación.
- Justo antes de la operación programada, la operación fue cancelada después de que se descubriera que el informe era completamente falso.
Qué sucede después
No se ha hecho ninguna declaración pública del Pentágono al respecto. El Comando de Operaciones Especiales del Pacífico de Estados Unidos se negó a responder cuando se le solicitó una declaración.
La historia plantea preguntas que el Pentágono no ha respondido:
- ¿Es el chatbot un producto comercial o una herramienta del gobierno de Estados Unidos?
- ¿Cómo fusionó inteligencia de fuentes abiertas con inteligencia de señales secretas?
- ¿Qué controles existen sobre la producción de estos sistemas?
Material de origen: “US Military had close call after using AI for hallucinated intelligence report”, CNN.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.