Einem US-amerikanischen Geheimdienstbericht, der mit KI-Tools erstellt wurde, wurde fälschlicherweise ein chinesisches Schiff als Träger von Teilen für ein Atomwaffenprogramm zugeordnet, was fast zu einer US-Militäroperation an Bord im Nahen Osten geführt hätte. Der Vorfall, der in einem CNN-Bericht beschrieben wird, zeigt, wie weit KI-Halluzinationen reichen können.
Der Bericht von Ars Technica wurde von einem Analysten des US Special Operations Command erstellt, der einen Chatbot nutzte, um Geheimdienstdokumente über die Fracht des Schiffs zu analysieren. Der Chatbot kombinierte öffentlich zugängliche Informationen mit geheimen Signaldienstinformationen, die von der Regierung gehalten werden, und das Ergebnis wurde in ein offizielles Dokument eingespeist. Militärplaner bereiteten sich darauf vor, das Schiff mit Luftunterstützung abzufangen und an Bord zu gehen, als Beamte erkannten, dass der Chatbot falsch identifiziert hatte, was das Schiff transportierte.
Vier mit dem Vorfall vertraute Quellen teilten CNN mit, dass die Geheimdienstinformationen „völlig falsch“ seien. Eine Quelle beschrieb den KI-bedingten Fehler als „fast Beginnend eines Krieges“.
Das Fracht-Chaos
Das Kernproblem war einfach: Der Chatbot verwechselte, was das Schiff transportierte. Der Analyst verließ sich auf dessen Ausgabe, um den Bericht zu erstellen, und der Fehler der Maschine fand seinen Weg in das endgültige Dokument.
Der Schluss des Berichts, dass das Schiff Komponenten für ein Atomwaffenprogramm transportierte, war völlig falsch. Das Militär war bereit, darauf zu reagieren, bevor der Fehler entdeckt wurde.
Wer war beteiligt
Der Bericht stützt sich auf vier mit dem Vorfall vertraute Quellen, die alle von CNN zitiert werden. Der Analyst arbeitete für US Special Operations Command, und die militärische Reaktion wurde mit Luftunterstützung koordiniert, die bereit war, die Operation an Bord zu unterstützen.
Der Chatbot selbst wurde nicht im Bericht genannt, noch wurde die Plattform, auf der er lief, genannt. Was klar ist, ist, dass das Werkzeug aufgefordert wurde, Geheimdienstdokumente zu analysieren und eine Bewertung zu erstellen, und diese Bewertung war falsch.
| Partei | Rolle |
|---|---|
| Analyst des US Special Operations Command | Den Bericht mithilfe eines Chatbots erstellt ( |
| Chatbot ( | Kombinierte öffentliche und geheime Aufklärung, identifizierte Fracht falsch ( |
| US-Militär ( | Bereitet sich darauf vor, das Schiff mit Luftunterstützung abzufangen und zu betreten ( |
| Vier Quellen ( | Vertraut mit dem Vorfall, wie von CNN zitiert ( |
Warum Halluzinationen entstehen (
Seit „halluzinieren“ zum Wort des Jahres 2023 im Cambridge Dictionary wurde, gab es zahlreiche Beispiele dafür, wie Fachleute von KI-Tools getäuscht wurden, die Informationen erfinden, wenn ihre Trainingsdaten nicht genügend Kontext liefern. Sachbuchautoren, Journalisten, akademische Forscher, Richter, Ärzte, Polizeibehörden und Unternehmens-Callcenter sind alle Opfer von Maschinen geworden, die Dinge erfinden. (
Einige Forscher vermuten, dass es möglicherweise unmöglich ist, zu verhindern, dass große Sprachmodelle überhaupt halluzinieren, egal wie sorgfältig sie aufgefordert werden. Der Versuch, LLMs davon abzuhalten, zu halluzinieren, hat gemischte Ergebnisse erzielt, wobei einige Systeme weiterhin falsche Behauptungen aufstellen, selbst wenn sie angewiesen wurden, dies nicht zu tun. (
Was das Pentagon unternimmt (
Das US-Verteidigungsministerium hat im Januar eine „KI-Beschleunigungsstrategie“ vorgestellt. Der Plan zielte darauf ab, „alle geeigneten Daten über föderierte IT-Systeme für die KI-Nutzung bereitzustellen, einschließlich Missionssystemen über alle Dienststellen und Komponenten hinweg.“ (
Diese Strategie wird nun gegen die Realität von KI-Systemen getestet, die falsche Intelligenz produzieren. Der CNN-Bericht beschreibt den Vorfall; er enthält keine Angaben zu Kommentaren des Pentagon.
Die Folge eines Fehlers
Der Vorfall wirft eine Frage auf, die unangenehm für jeden ist, der auf maschinengenerierte Intelligenz angewiesen ist: Wie wissen Sie, was real ist? Der Analyst nutzte ein Hilfsmittel, und dieses Hilfsmittel erzeugte etwas, das eine militärische Aktion ausgelöst hätte.
Die Strategie des Pentagon vom Januar zielte darauf ab, mehr Daten für KI-Systeme bereitzustellen. Dieser Vorfall deutet darauf hin, dass die Strategie auch Schutzmaßnahmen benötigt, die Fehler abfangen, bevor sie Entscheidungsträger erreichen.
Der CNN-Bericht gibt nicht an, ob der Analyst wusste, dass der Bericht falsch war, oder ob die Ausgabe des Chatbots als bestätigte Tatsache präsentiert wurde. Was bekannt ist, ist, dass der Bericht mit dem Fehler der Maschine eingereicht wurde, und dieser Fehler ein Schiff ins Visier nahm.
Dies ist einer der wirkungsvollsten und bedeutsamsten Fälle einer halluzinierenden KI, die die Zuverlässigkeit eines professionellen Berichts untergräbt.
Die Lehre aus diesem Vorfall ist, dass KI-Systeme ständig getestet und überwacht werden müssen, nicht nur darauf vertraut werden dürfen, zuverlässig zu arbeiten. Eine Halluzination einer Maschine kann sich schnell verbreiten, und die Folgen des Glaubens daran können schwerwiegend sein.
Quellenmaterial: „KI-Halluzination chinesischer Nuklearkomponenten hätte fast zu US-Militärangriff geführt“, Ars Technica.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.