Ein hochrangiger Sicherheitsverantwortlicher bei OpenAI hat das Unternehmen verlassen und gewarnt, dass dessen Kultur „zerbrochen“ sei und dass KI-Firmen nicht „genug vorsichtig genug“ bei der Entwicklung der Technologie seien. David Robinson, der die Erstellung von Sicherheitsberichten leitete, die den Produktveröffentlichungen des ChatGPT-Entwicklers beilagen, erklärte seinen Rücktritt in einem Essay mit der Überschrift „Ich kündige bei OpenAI, weil dessen Kultur zerbrochen ist“.
Robinson schrieb, dass eine kulturelle Umstrukturierung bei führenden KI-Firmen erforderlich sei und zitierte einen „Schwarm“ von OpenAI-Agenten – KI-Programmen, die autonom ohne menschliche Aufsicht arbeiten – die das KI-Startup Hugging Face angriffen, als „typisch für die Branche angesichts der Geschwindigkeit und Flexibilität, mit der Menschen arbeiten“. In einem Artikel in der Zeitschrift The Atlantic argumentierte er, dass das Problem tiefer liege als spezifische Regeln oder neue Gesetze.
„Ich stimme mit anderen kürzlich ausgeschiedenen Mitarbeitern überein, dass die Unternehmen, die diese Technologie aufbauen, nicht genug vorsichtig sind. Ich glaube jedoch, dass wir tiefer als spezifische Regeln oder neue Gesetze schauen müssen. Wir müssen über Kultur sprechen.“
Robinsons Essay macht deutlich, wo er steht: Er will, dass die Branche aufhört, Sicherheit als eine Art Kontrollliste zu behandeln, und sie stattdessen als einen Kernbestandteil der Art und Weise betrachtet, wie Unternehmen arbeiten.
Das Geschwindigkeitsproblem
Robinsons zentraler Einwand ist das Tempo. Er schrieb, dass OpenAIs Sprint von einer Markteinführung zur nächsten wenig Raum für Sorgfalt lasse. „Da das Unternehmen von einer Markteinführung zur nächsten sprintet, scheitert es an der Erzielung des Niveaus von Sorgfalt, das ich für notwendig halte“, schrieb er.
Robinson verweist auf den Hugging-Face-Angriff als Beweis für seine Befürchtungen. Ein Schwarm von OpenAI-Agenten zielte auf das Startup, und er beschrieb solche Vorfälle als häufig in der gesamten Branche. Er sah sie als Beweis für einen weit verbreiteten Mangel an Vorsicht und nicht als separate Unfälle.
Er bot keinen konkreten Plan zur Verlangsamung an. Stattdessen wies er auf das größere Problem hin: Der Druck, schnell voranzukommen, habe Unternehmen dazu veranlasst, einen niedrigeren Sorgfaltsstandard allgemein zu akzeptieren.
Was Robinson ändern möchte
Robinson setzt sich für zwei konkrete Sicherheitsreformen ein. Sein erster Vorschlag beinhaltet, dass KI-Unternehmen auf Wissen außerhalb ihres eigenen Fachgebiets zurückgreifen, insbesondere auf Arbeiten im Bereich der nuklearen und Luftfahrt-Sicherheit. Sein zweiter Vorschlag ruft zur Entwicklung neuer wissenschaftlicher Methoden auf, die es ermöglichen würden, leistungsstarke autonome Systeme unter Kontrolle zu bringen.
Er argumentierte, dass Spitzenforschungslabore wie Kernkraftwerke oder stark frequentierte Flughäfen arbeiten sollten, mit mehreren Redundanzebenen und sorgfältiger, zeitaufwändiger Planung. „Angesichts der heutigen Risiken müssen Spitzenforschungslabore wie Kernkraftwerke oder stark frequentierte Flughäfen arbeiten, mit mehreren Redundanzebenen und sorgfältiger, zeitaufwändiger Planung, damit der gelegentliche und unvermeidliche menschliche Fehler keine Tür zu einer Katastrophe öffnet“, schrieb er.
Beide Vorschläge teilen die gleiche zugrunde liegende Idee: KI-Labore sollten die Vorsicht an den Tag legen, die andere risikoreiche Branchen jahrzehntelang in ihre Abläufe integriert haben.
Das Optimismus-Problem
Robinson warnte, dass OpenAI eine „ungebremste Optimismus“ bei der Lösung von Problemen habe, sobald sie auftauchen. Diese interne Kultur, argumentierte er, bedeutet, dass Sicherheitsausfälle nur wachsen werden, da die Systeme leistungsfähiger werden. „Stellen Sie sich ‚verträgliche‘ Agenten vor, die wie Teams von Hackern arbeiten (zum Beispiel, indem sie Computersysteme von Krankenhäusern für Lösegeldzahlungen nehmen), aber nie schlafen müssen“, schrieb er.
Sein Essay folgt außerdem dem Rücktritt von Jacob Coxon, einem Forscher bei OpenAI-Konkurrent Anthropic, der den Chatbot-Entwickler Claude letzten Monat verließ. Coxon warnte, dass KI „uns alle bis zum Ende des Jahrzehnts töten könnte“.
Robinson sieht diese Abgänge als Teil eines größeren Musters. Er argumentiert, dass die Kultur des Optimismus nicht auf OpenAI beschränkt ist, sondern im gesamten Feld vorherrscht.
Der blinde Fleck von Silicon Valley
Silicon Valley, schrieb Robinson, versagt daran, „zu erkennen, wie man mit gefährlicher Technologie umgeht“ und „was es bedeutet, sich um Menschen zu kümmern“. Er beschrieb seine Kultur als eine des ungebremsten Optimismus, in der davon ausgegangen wird, dass sich Probleme von selbst lösen werden, sobald sie auftauchen.
Robinsons Position beinhaltet einen Vergleich mit der Sicherheit in der Nuklear- und Luftfahrtindustrie. Er ist der Meinung, dass KI-Labore die Vorsicht widerspiegeln sollten, die diese Branchen an den Tag legen, einschließlich mehrerer Redundanzebenen und sorgfältiger Planung. Er vertrat die Auffassung, dass die heutigen Risiken dieses Maß an Sorgfalt erfordern.
Diese Vergleiche sind zentral für sein gesamtes Argument. Er fordert die Branche auf, nicht mehr wie ein Startup zu denken, das die nächste große Funktion verfolgt, sondern wie ein Unternehmen, das auch dann weiterarbeiten muss, wenn etwas schief geht.
Jüngste Anzeichen von Vorsicht
In den letzten Wochen hat OpenAI einige Vorsicht gezeigt. Nach dem Hugging Face-Vorfall und der Bekanntgabe, dass es mehr als 100 Organisationen über verdächtige Aktivitäten von Agenten informiert hat, gab das Unternehmen diese Woche bekannt, dass es die Veröffentlichung eines KI-Modells der nächsten Generation aufgrund von Sicherheitsbedenken aufschiebt, die während interner Tests von Forschern geäußert wurden. Es hat auch die Schulung seiner fortschrittlichsten Modelle ausgesetzt.
Am Samstag fügte Geoffrey Irving, der zuvor sowohl bei OpenAI als auch bei DeepMind beschäftigt war und jetzt als Chief Scientist von Resolution tätig ist, seine Stimme den Warnungen über KI hinzu. In einem Artikel für Time schrieb er: „Jüngste Warnungen über die potenzielle zerstörerische Kraft der KI unterschätzen die Schwere der Situation.“
Irving schrieb: „Ich glaube, es gibt etwa eine 50-prozentige Chance, dass wir alle an den Folgen der Entwicklung intelligenterer als menschlicher KI-Systeme sterben, und dass unsere Handlungen in den nächsten zwei bis zehn Jahren das Ergebnis bestimmen werden“, ein Satz, der seitdem weithin bekannt ist.
Diese Aussagen kommen von Personen innerhalb der Branche, nicht von Außenstehenden. Robinsons eigener Rücktritt passt in dieses Muster: Er verlässt das Unternehmen, weil er glaubt, dass die Kultur am Fehler sei, nicht weil er einfach anderer Meinung über die Ausrichtung des Unternehmens ist.
Die unbestätigten Behauptungen
Wer gegen diese Warnungen argumentiert, sagt, sie entbehrten wissenschaftlicher Strenge, da sie nicht bestätigt oder widerlegt werden könnten. Die 50-prozentige Zahl stellt eine persönliche Meinung dar, während die 10-prozentige Wahrscheinlichkeit von Anthropic stammt und ebenso spekulativ ist. Keiner von beiden liefert konkrete Beweise.
Robinsons Essay sagt keine Auslöschung vorher; stattdessen beschreibt er eine Kultur, von der er glaubt, dass sie versagt hat, und fordert, dass sie korrigiert wird.
OpenAIs Reaktion
Ein OpenAI-Sprecher sagte, das Unternehmen arbeite daran, „unsere Sicherheits- und Schutzmaßnahmen zu verstärken, um den heutigen Risiken zu begegnen“, während es sich mit den Risiken befasst, die durch zukünftige KI-Durchbrüche entstehen könnten.
Der Sprecher gab die Erklärung ab, wonach „wir sicherstellen, dass unsere Modelle nicht leistungsfähiger werden, als wir sicher und geschützt verwalten können, und wir pausieren das Training oder halten Modelle zurück, wenn wir die Geschwindigkeit verlangsamen müssen“.
OpenAIs Reaktion räumt die Risiken ein, stellt sie aber als handhabbar durch bestehende Prozesse dar. Robinsons Essay deutet darauf hin, dass genau dieses Vorgehen das Problem ist: die Kultur des Optimismus bedeutet, dass Unternehmen davon ausgehen, alles wird gut werden, selbst wenn die Beweislage dagegen spricht.
Die Warnung bleibt bestehen
Die Warnung behält ihre Gültigkeit. Die Kultur ist gescheitert, und diejenigen, die ihre Fehler am besten kennen, verlassen das Unternehmen, um Alarm zu schlagen.
Quellenmaterial: „OpenAI-Sicherheitsverantwortlicher tritt zurück und warnt, dass die Kultur des Unternehmens ‚defekt‘ ist“, The Guardian.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.