Die Debatte darüber, ob künstliche Intelligenz uns alle vernichten kann, hat die Sphäre der Spekulation verlassen. Experten legen nun konkrete, reale Szenarien dar, die ein maschinelles Lernmodell in eine Katastrophe verwandeln könnten. In einer kürzlichen Episode des Podcasts „Uncanny Valley“ von WIRED haben die Moderatoren Brian Barrett, Zoë Schiffer und Leah Feiger drei Wege zur KI-Katastrophe – gehackte Wasserwerke, Biowaffen und autonome Roboter – aufgezeigt und erklärt, warum die Tech-CEOs und Politiker nicht übereinstimmen, wie man dies verhindern kann.
Die Episode folgt einer Welle der Besorgnis, die das Fachgebiet überrollt hat. Der KI-Forscher Jacob Coxon trat von Anthropic zurück und postete auf X: „Diejenigen, die KI entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts vernichten könnte.“ Anthropics CEO Dario Amodei hat eine Verlangsamung gefordert, die er „Pacing the Frontier“ nennt. Sam Altman und Elon Musk haben zugestimmt, ein seltenes Moment der Übereinstimmung unter den Tech-Führern.
Doch die Frage bleibt: Wie genau geschieht das? Und was die drei Szenarien, die der Podcast darlegt, so beunruhigend macht, ist, dass jedes von ihnen von einem System oder einer Fähigkeit ausgeht, die bereits in irgendeiner Form heute existiert. Die Moderatoren des Podcasts führen die Zuhörer durch jede Bedrohung und verankern sie in aktueller Technologie und realen Risiken anstatt in hypothetischen Überlegungen.
Drei Wege zur Katastrophe
Der Podcast führt die Zuhörer durch drei unterschiedliche Szenarien, die jeweils auf aktueller Technologie und realen Risiken basieren.
- Gehackte Wasserwerke – Ein bösartiger Akteur erlangt die Kontrolle über die Systeme, die Trinkwasser verwalten, sodass er die Versorgung ganzer Städte vergiften oder stören kann. Die Systeme existieren heute, und Zugriffspunkte bleiben verwundbar.
- Biowaffen – KI könnte die Entwicklung und Produktion neuer biologischer Mittel beschleunigen. Das Wissen und die Werkzeuge, die benötigt werden, um solche Waffen zu bauen, verbreiten sich.
- Autonome Roboter – Robotische Systeme, die physische Aktionen durchführen können, könnten angewiesen werden, Menschen zu schädigen, entweder durch einen direkten Angriff oder durch die Störung kritischer Infrastruktur.
Diese Szenarien sind spezifische Bedrohungen, über die sich Experten Sorgen machen. Sie sind nicht abstrakt; sie beinhalten Technologien und Systeme, die bereits existieren, und sie beschreiben Schäden, die innerhalb von Stunden oder Tagen und nicht über Jahre oder Jahrzehnte eintreten könnten.
Die Salesforce Konferenz
Die Diskussion fand während der jährlichen Konferenz von Salesforce statt, wo OpenAI’s Sam Altman und Anthropic’s Dario Amodei ihre Positionen zum Thema KI-Sicherheit neben NVIDIA’s Jensen Huang verteidigten. Altman sprach direkt über die Risiken.
„Ich denke, die Welt hat gute Gründe, Angst vor diesem zu haben“, sagte er. „Wir haben diese zwei großen Herausforderungen. Wir haben das Potenzial eines Kontrollverlustunfalls oder irgendeines anderen schwerwiegenden Ereignisses, das schief gehen könnte. Wir haben das Potenzial einer allzu großen Machtkonzentration und Menschen befürchten, dass diejenigen, die KI entwickeln, ihre eigene Weltsicht ausüben könnten.“
Er beschrieb einen schmalen Weg durch die Herausforderung. „Es gibt diese Art von schmalem Weg, den wir mit Pragmatismus, mit Beständigkeit und mit der Fähigkeit der Welt einschätzen müssen, darauf zu vertrauen, dass wir verlässliche und konsistente Entscheidungen in dieser Situation treffen, beschreiten müssen.“
Seine Botschaft war einfach: Der Einsatz ist hoch, und die Industrie muss es richtig machen.
Die Marketing-Frage
Nicht jeder war von der Aufrichtigkeit der Warnung überzeugt. Leah Feiger hinterfragte, ob Altmans Vorsicht aufrichtig oder strategisch sei. „Ich gehöre definitiv zu der Gruppe, die besorgt sein sollte über diese Technologie, wie sie reguliert wird, wie sie genutzt wird, wer die Kontrolle hat“, sagte sie. „Da stimme ich zu. Andererseits liest sich das auch wie ein fiebriger Pitch für einen riesigen Börsengang.“
Brian Barrett entgegnete, dass die Kündigung eines Forschers etwas anderes sei als die Unternehmenskommunikation. „Wenn überhaupt, hat Sam Altman ‚die existenzielle Bedrohung‘ als Grund benutzt, um noch nicht an die Börse zu gehen“, bemerkte er. „Er sagt: ‚Nein, das ist zu gefährlich. Wir müssen warten, bis nächsten Jahr.'“
„Aber es gibt wahrscheinlich auch einige geschäftliche Gründe dafür“, fügte er hinzu. „Ich finde, es gibt einen echten Unterschied zwischen einem Forscher, der kündigt, weil er glaubt, er baue etwas auf, das die Welt zerstören wird, und einem Unternehmen, das Investoren sagt, die Technologie sei gefährlich.“
Diese Unterscheidung ist wichtig dafür, wie die Öffentlichkeit diese Warnungen wahrnimmt. Ein Wissenschaftler, der eine Stelle verlässt, weil er befürchtet, dass die Technologie gefährlich ist, hat eine andere Gewichtung als ein Unternehmensappell zur Vorsicht. Die Moderatoren des Podcasts legen den Gegensatz dar, ohne Partei zu ergreifen, und lassen die Zuhörer die Beweise selbst abwägen.
The Bipartisan Flashpoint
Feiger wies auch auf eine breitere politische Verschiebung hin. Die Reaktion gegen KI ist zu einem parteiübergreifenden Brennpunkt geworden, wobei Figuren, die so weit auseinander liegen wie Bernie Sanders und Steve Bannon, diese Woche gemeinsam auf einer Bühne auftraten.
Die Episode stützt sich auf mehrere Artikel von WIRED, um die Debatte zu umreißen:
- „China kauft die Aufforderung von Silicon Valley zu einer KI-Verzögerung nicht“
- „Washington wird KI nicht bald regulieren“
- „Warum so viele KI-Forscher denken, dass die Maschinen jeden töten könnten“
- „OpenAI möchte wissen, ob eine Verlangsamung der KI-Industrie überhaupt legal wäre“
Diese Artikel dokumentieren die internationale Landschaft der KI-Politik, in der Länder unterschiedliche Geschwindigkeiten vorweisen und die Vereinigten Staaten wenig Appetit auf Regulierung zeigen.
Key Facts Box
- Veranstaltung: Die jährliche Konferenz von Salesforce
- Redner: Sam Altman (OpenAI), Dario Amodei (Anthropic), Jensen Huang (NVIDIA)
- Szenario 1: Gehackte Wasserversorgung
- Szenario 2: Biowaffen
- Szenario 3: Autonome Roboter
- Gast-Rücktritte: Jacob Coxon (Anthropic)
Weiterführende Lektüre
Für Leser, die tiefer eintauchen möchten, hat WIRED mehrere Artikel zu diesem Thema veröffentlicht. Diese behandeln die internationale Reaktion auf KI, das Fehlen von US-Regulierungen, die Ängste von Forschern und die rechtlichen Fragen rund um eine Verlangsamung.
Die Episode endet dort, wo sie begann – mit Unsicherheit. Die Technologie entwickelt sich rasant, die Risiken sind real, und die Menschen, die sie entwickeln, glauben, dass die Einsätze existenziell sind.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.

