US-Militär hätte chinesisches Schiff beinahe abgefangen, nachdem ein Bericht mit fehlerhaftem Chatbot erstellt wurde

In diesem Frühjahr, während des Krieges mit dem Iran, machte ein US-Geheimdienstbericht im ganzen Land die Runde, der vor einem chinesischen Schiff im Nahen Osten warnte, das Komponenten eines Atomwaffenprogramms an Bord habe. Das US-Militär reagierte schnell und stellte Pläne auf, das Schiff zu stoppen, so vier mit dem Vorfall vertraute Personen. Zwei dieser Personen sagten, bewaffnete Angehörige des US-Militärs bereiteten sich darauf vor, das Schiff zu entern. Einer dieser beiden und eine dritte mit der Angelegenheit vertraute Person sagten, Militärflugzeuge seien in die Luft gestiegen.

Kurz vor der geplanten Operation prüften Beamte einen Bericht, den ein Analyst des Spezialkräftekommandos zusammengestellt hatte, und entdeckten, dass KI bei seiner Erstellung mitgewirkt hatte – und dass ein Chatbot, auf den sich der Analyst stützte, die Ladung an Bord des Schiffes falsch identifiziert hatte. CNN konnte nicht feststellen, was die falsch identifizierte Ladung tatsächlich war.

Der Bericht sei, so einer der Quellen, „völlig falsch“ gewesen. Aber er habe auch „beinahe einen Krieg ausgelöst“, sagte die Quelle. Jede US-Operation gegen ein chinesisches Schiff hätte zu einem bewaffneten Konflikt zwischen den beiden Nationen eskalieren können.

Wie der KI-Bericht entstand

Eine Person kontaktierte einen Chatbot, um nach Geheimdienstberichten über die Schiffsmanifeste zu fragen, die vom US Special Operations Command Pacific mit Sitz in Hawaii stammten. Es blieb unklar, ob der Chatbot ein kommerziell erhältlicher oder ein von der US-Regierung hergestelltes Produkt war.

„Die internen Werkzeuge sind größtenteils nur Kopien des kommerziellen Zeugs mit Lippenstift“, so ein ehemaliger hochrangiger US-Beamter, der mit den von Militär- und Geheimdienstanalysten verwendeten KI-Systemen vertraut ist.

Die Maschine kombinierte öffentliche Informationen aus verschiedenen Quellen mit geheimen Regierungsdaten, um ihr Urteil darüber zu bilden, was das Schiff transportierte.

Nachdem die Ergebnisse zusammengestellt waren, setzte der Analyst die KI erneut ein, um sie in Form eines standardisierten Geheimdienstberichts zu präsentieren, der Art, die das Vertrauen von Militärbeamten genießt, bevor er ihn weiterleitete.

Weder das US Special Operations Command Pacific noch das Pentagon beantworteten eine Anfrage nach einer Stellungnahme.

Das KI-Engagement des Pentagons

Im Januar veröffentlichte Verteidigungsminister Pete Hegseth die „Artificial Intelligence Acceleration Strategy“ seiner Behörde, um den Einsatz von KI durch das Militär zu beschleunigen. Hegseth sagte in einer Rede zur Ankündigung der Strategie: „Wir werden Experimente entfesseln, bürokratische Hürden beseitigen, unsere Investitionen bündeln und den Umsetzungsansatz demonstrieren, der erforderlich ist, um unsere Führungsrolle bei militärischer KI zu sichern.“

Der Plan sieht eine breite Einführung in den gesamten Streitkräften vor und weist das Ministerium an, KI über mehrere Programme zu verbreiten, damit sie weitreichend zugänglich wird, indem „KI-Experimente und -Transformation im gesamten Ministerium demokratisiert werden, indem Amerikas weltweit führende KI-Modelle direkt in die Hände unserer drei Millionen zivilen und militärischen Beschäftigten auf allen Geheimhaltungsstufen gelegt werden“.

Nach Angaben mehrerer US-Beamter, die die Lage gut kennen, ist das Vorgehen zur Verifizierung über die Bundesbehörden hinweg nicht zentralisiert. Stattdessen wenden verschiedene Stellen ihre eigenen Methoden an und arbeiten nach getrennten Anweisungen und Sicherheitsanforderungen. Das bedeutet, dass es keinen einheitlichen Standard dafür gibt, wie die USA die von diesen Systemen erzeugten Daten prüfen. Infolgedessen unterscheiden sich die verschiedenen KI-Anwendungen, die inzwischen im Militär und in der Geheimdienstgemeinschaft verbreitet sind, stark in ihrer Zuverlässigkeit und Nützlichkeit.

Die breitere Debatte über KI

Seit mehreren Wochen führen Beamte in Washington eine hitzige Debatte über KI, ausgelöst durch ernste Warnungen von Ingenieuren und Vorstandsvorsitzenden von Silicon-Valley-Unternehmen vor dem Risiko, dass KI die menschliche Kontrolle entgleiten könnte, mit Folgen, die die Zivilisation vollständig beenden könnten.

Die Gefahr menschlichen Fehlers

Die Begegnung mit dem chinesischen Schiff verdeutlicht eine besondere Gefahr, eine, die plötzlich statt allmählich auftritt: Menschen, die schlecht handeln, weil sie glauben, dass maschinell erzeugte Informationen richtig sind, obwohl sie falsch oder irreführend sind. Berichten zufolge setzen die Streitkräfte KI rasch ein, um Hinweise darauf zu erhalten, wen oder was sie ins Visier nehmen sollen – ein Bereich, in dem tödliche Fehler drohen.

„KI bei der Zielerfassung ist definitiv etwas, das zunimmt, und es gibt keine wirkliche Anleitung dafür, wie ein Mensch im Entscheidungsprozess zivile Opfer oder Eigenbeschuss verhindern soll“, sagte eine weitere Quelle, die mit den derzeitigen Militärrichtlinien vertraut ist.

Einer Quelle zufolge ist die Art von „Halluzination“, die das Werkzeug des Analysten hervorbrachte, nicht allein innerhalb der Geheimdienstgemeinschaft aufgetreten; sie ist wiederholt aufgetaucht, seit sich diese Werkzeuge erstmals in der Regierung verbreiteten.

Einige ehemalige Geheimdienstoffiziere, selbst jene, die den Einsatz von KI innerhalb des Militärs allgemein befürworten, sagen, die Technologie habe Analysten dazu getrieben, Geheimdiensterkenntnisse in schnellerem Tempo auszustoßen und zu verbreiten, was das Risiko von Fehlern erhöhe. Mehrere Quellen merkten an, dass jüngere Analysten, die mit diesen Werkzeugen aufgewachsen sind, besonders dazu neigen, ihnen ohne Fragen zu vertrauen.

„KI ermöglicht es dir, schneller zu einer schlechten Idee zu gelangen“, sagte eine der Quellen.

Die Reihenfolge der Ereignisse

1. Ein US-Geheimdienstbericht wurde verbreitet, der vor einem chinesischen Schiff im Nahen Osten warnte, das Nuklearkomponenten transportiere.
2. Das US-Militär erstellte Pläne, um das Schiff zu stoppen.
3. Bewaffnete Angehörige des US-Militärs bereiteten sich darauf vor, das Schiff zu entern.
4. Militärflugzeuge stiegen in die Luft auf.
5. Beamte prüften einen Bericht, der von einem Analysten eines Spezialkräftekommandos zusammengestellt worden war.
6. Sie entdeckten, dass KI bei der Erstellung mitgewirkt hatte.
7. Ein Chatbot, auf den sich der Analyst stützte, hatte die Ladung an Bord des Schiffes falsch identifiziert.
8. Kurz vor der geplanten Operation wurde die Operation abgesagt, nachdem der Bericht als völlig falsch befunden worden war.

Was als Nächstes geschieht

Vom Pentagon wurde zu der Angelegenheit keine öffentliche Erklärung abgegeben. Das US Special Operations Command Pacific lehnte eine Antwort ab, als um eine Stellungnahme gebeten wurde.

Die Geschichte wirft Fragen auf, die das Pentagon nicht beantwortet hat:

• Ist der Chatbot ein kommerzielles Produkt oder ein Instrument der US-Regierung?
• Wie führte er Open-Source-Informationen mit geheimen Signalaufklärungsdaten zusammen?
• Welche Kontrollen gibt es für die Ergebnisse dieser Systeme?

Quellenmaterial: „US Military had close call after using AI for hallucinated intelligence report“, CNN.