Un informe de inteligencia estadounidense construido con herramientas de IA identificó erróneamente a un buque chino como si transportara partes de un programa de armas nucleares, casi provocando una operación de abordaje militar estadounidense en el Medio Oriente. El incidente, descrito en un reportaje de CNN, muestra hasta dónde pueden llegar las alucinaciones de la IA.
El reportaje de Ars Technica fue preparado por un analista del Comando de Operaciones Especiales de EE. UU. que utilizó un chatbot para analizar documentos de inteligencia sobre la carga del buque. El chatbot combinó información pública con inteligencia de señales secreta mantenida por el gobierno, y el resultado se incorporó a un documento oficial. Los planificadores militares estaban preparando el terreno para interceptar y abordar el buque con apoyo aéreo cuando los funcionarios se dieron cuenta de que el chatbot había identificado incorrectamente lo que transportaba el buque.
Cuatro fuentes familiarizadas con el episodio informaron a CNN que la inteligencia era «completamente falsa». Una fuente describió el error impulsado por la IA como «casi iniciar una guerra».
El Error en la Carga
El problema fundamental era simple: el chatbot confundió lo que el buque estaba transportando. El analista se basó en la salida del chatbot para construir el informe, y el error de la máquina se incorporó al documento final.
La conclusión del informe de que el buque transportaba componentes de un programa de armas nucleares fue totalmente incorrecta. El ejército estaba a punto de actuar basándose en ello antes de que se detectara el error.
Quiénes Estuvieron Involucrados
El informe se basa en cuatro fuentes familiarizadas con el episodio, todas citadas por CNN. El analista trabajaba para el Comando de Operaciones Especiales de EE. UU., y la respuesta militar se coordinó con apoyo aéreo listo para ayudar en la operación de abordaje.
El chatbot en sí no fue mencionado en el informe, ni tampoco la plataforma en la que se ejecutaba. Lo que está claro es que se le pidió a la herramienta que analizara documentos de inteligencia y produjera una evaluación, y esa evaluación fue incorrecta.
| Partido | Rol |
|---|---|
| Analista del Comando de Operaciones Especiales de EE. UU. | Preparó el informe utilizando un chatbot (1) |
| Chatbot (2) | Combinó inteligencia pública y secreta, identificó erróneamente la carga (3) |
| Fuerzas militares de EE. UU. (4) | Se están preparando para interceptar y abordar el barco con apoyo aéreo (5) |
| Cuatro fuentes (6) | Familiarizadas con el episodio, citadas por CNN (7) |
Por qué ocurren las alucinaciones (8)
Desde que «alucinar» se convirtió en la palabra del año del Cambridge Dictionary en 2023, ha habido numerosos ejemplos de profesionales siendo engañados por herramientas de IA que fabrican información cuando sus datos de entrenamiento no proporcionan suficiente contexto. Autores de no ficción, periodistas, investigadores académicos, jueces, médicos, departamentos de policía y centros de llamadas corporativos han sido víctimas de máquinas que inventan cosas. (9)
Algunos investigadores sugieren que puede ser imposible detener por completo que los modelos de lenguaje grandes alucinen, sin importar cuán cuidadosamente se les solicite. El intento de evitar que los LLM alucinen ha producido resultados mixtos, con algunos sistemas aún produciendo afirmaciones falsas incluso cuando se les indica que no lo hagan. (10)
Lo que está haciendo el Pentágono (11)
El Departamento de Defensa de EE. UU. implementó una «estrategia de aceleración de la IA» en enero. El plan buscaba «poner a disposición de todos los sistemas de TI federados todos los datos apropiados para la explotación de la IA, incluyendo los sistemas de misión en todos los servicios y componentes». (12)
Esa estrategia ahora está siendo puesta a prueba contra la realidad de los sistemas de IA que producen información falsa. El informe de CNN describe el incidente; no menciona comentarios del Pentágono.
La Consecuencia de un Error
El incidente plantea una pregunta incómoda para cualquiera que dependa de la inteligencia generada por máquinas: ¿cómo sabe usted qué es real? El analista utilizó una herramienta diseñada para ayudar, y la herramienta produjo algo que podría haber desatado una acción militar.
La estrategia de enero del Pentágono tenía como objetivo poner a disposición de los sistemas de IA más datos. Este incidente sugiere que la estrategia también necesita salvaguardas que detecten errores antes de que lleguen a los responsables de la toma de decisiones.
El informe de CNN no dice si el analista sabía que el informe era incorrecto, o si la salida del chatbot fue presentada como un hecho confirmado. Lo que se sabe es que el informe fue presentado con el error de la máquina intacto, y ese error puso a un buque en la mira.
Este es uno de los casos más potentes y trascendentales de una IA que «alucina» arruinando la fiabilidad de un informe profesional.
La lección de este incidente es que los sistemas de IA deben ser probados y supervisados constantemente, no simplemente confiados para que funcionen. Una alucinación de una máquina puede extenderse rápidamente, y las consecuencias de creerla pueden ser graves.
Material fuente: “Alucinación de IA de componentes nucleares chinos casi provoca un ataque militar estadounidense,” Ars Technica.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.