Ein leitender Google-Ingenieur hat das Unternehmen verlassen, um die Beschleunigung künstlicher Intelligenz zu unterlassen, mit der Begründung, das Tempo des Fortschritts sei derzeit viel zu schnell. Das Rücktrittsschreiben mit dem Titel „Auf Wiedersehen, Google“ wurde am Donnerstag, dem 24. September 2026, öffentlich zugänglich gemacht.
Der Ingenieur sagt, sein Team strebe danach, KI deutlich kostengünstiger und schneller zu machen, einen Kurs, den er für den gegenwärtigen Zeitpunkt als schädlich für die Menschheit betrachtet. Er geht davon aus, dass diejenigen, die innerhalb von KI-Laboren Warnungen aussprechen, in der Regel aufrichtig sind, und er hat keine Beweise dafür gefunden, dass solche Warnungen übertrieben werden, um Aktienkurse in die Höhe zu treiben oder Rivalen auszuschalten.
Das Rücktrittsschreiben
Die Nachricht beginnt mit einem schlichten Eingeständnis: „Ich trete heute von Google zurück.“ Der Ingenieur stellt fest, dass die Entscheidung nicht einfach gewesen sei. Er spricht seine Zuneigung zu seinen Kollegen und zum Arbeitsklima aus und erinnert gerne daran, wie er ein großzügiges Einkommen verdiente, während er unterhaltsame Probleme löste.
Er sorgt sich zutiefst darüber, dass das Bemühen, KI billiger und schneller zu machen, zu schnell vorangetrieben wird. Seine Überzeugung ist, dass der Fortschritt der KI derzeit viel zu rasch verläuft, und er stellt die Frage, wohin dies führe. Er schreibt, dass es für ihn nahezu unmöglich sei, zu einem anderen Google-Projekt zu wechseln, ohne KI zu beschleunigen, teilweise aufgrund seiner Verbindungen zu Neuseeland, wo Google in der Regel keine Ingenieurarbeit durchführt.
Er räumt ein, dass sein Ausscheiden wenig Wirkung haben werde. Millionen Menschen treiben den Fortschritt der KI voran, und einige seiner Fähigkeiten sind rar. Er versuchte, die Dinge innerhalb von Google Deepmind zu gestalten, aber die Wirkung war schwach. Er kann nach wie vor Gewicht außerhalb des Unternehmens haben.
Warum er kündigte
Der Ingenieur ist kein „Tech-Bro“ und passt nicht in die selbstbeschriebene „rationalistische Gemeinschaft“. Er ist Christ, ein Ältester und gelegentlicher Laienprediger in der englischsprachigen Gemeinde der Auckland Chinese Presbyterian Church im Herzen von Auckland. Er hat viele Verbindungen zum Silicon Valley, lebt aber in Neuseeland, außerhalb des Branchen- und des amerikanischen Bubbles.
Seine Ansichten über KI sind zahlreich, er wird sie aber nicht alle in diesem Beitrag darlegen. Zusammenfassend lässt sich sagen, dass er der Ansicht ist, die von einigen gewarnten Gefahren ernsthafte Beachtung verdienen. Viele der vom „Doomer“-Lager vorhergesagten Effekte sind bereits eingetreten, darunter:
- Belohnungshacking
- Fehlausrichtung
- Täuschende Modelle )
- Modell-Evaluations-Bewusstsein )
- Psychotische Schwärme )
Er glaubt zwar nicht, dass die Wahrscheinlichkeit eines katastrophalen Ausgangs von ASI (Artificial Superintelligence) bei 100 % liegt, sieht die Gefahr jedoch als real und unklar an. Er hält die Verfolgung von ASI in den kommenden Jahren grundsätzlich für rücksichtslos. Seine Bedenken reichen über dies hinaus auf mehrere andere KI-bezogene Sorgen: einen Rückgang der menschlichen Kognition, psychische Erkrankungen, die durch KI verursacht werden, Isolation, die Zentralisierung von Macht, wirtschaftliche Umwälzungen, Cybersicherheitsbedrohungen und das Fehlen von Verantwortung.
Was er über KI glaubt )
Er glaubt, dass die Kapazität von KI stetig wachsen wird, solange wir unsere Arbeit daran fortsetzen. Er hofft, dass KI einen Punkt erreichen könnte, an dem ihre Entwicklung sich einpegelt, oder dass wir Fähigkeiten entdecken könnten, die sie ohne einen großen Wandel in der Herangehensweise niemals erreichen wird, erwartet aber nicht, dass einer dieser Hoffnungen in Erfüllung geht.
Neue qualitative Fähigkeiten tauchen immer wieder auf, und der Fortschritt der Modelle bei Benchmarks scheint so schnell oder sogar noch schneller voranzukommen als zuvor. Selbst wenn die Modellentwicklung an diesem Punkt vollständig eingestellt würde, stünden Forschern noch Jahre der Arbeit vor ihnen, um neue Fähigkeiten durch neuartige Prompts und Anwendungen zu erschließen.
Zitron und Doctorow gehören zu den namhaften Kritikern der KI, von denen er glaubt, dass sie falsch liegen. Er teilt ihre Ansicht nicht, dass KI ein Trick ist, der letztendlich nicht in der Lage sein wird, seine Versprechen zu halten.
Die Änderungsrate )
Er ist fest davon überzeugt, dass das Tempo des Wandels im Moment viel zu hoch ist. Die Entwicklung von KI übersteigt unsere individuelle und kollektive Fähigkeit, sie zu verstehen und sich daran anzupassen.
Jemand, der versucht, eine Richtung für seine Zukunft zu planen – beispielsweise den Einstieg ins Universitätsstudium – sieht sich nun mit einer Situation konfrontiert, die frühere Generationen nicht hätten antizipieren können. Er glaubt, dass dies unbekanntes Terrain ist, zumindest im Vergleich zu den früheren technologischen Umwälzungen, die er in seinem Leben erlebt hat: PCs, das Internet, Smartphones.
Während der Industriellen Revolution verlief der Fortschritt in einem gemächlichen Tempo, und weite Bereiche menschlichen Schaffens blieben von den neuen Maschinen unberührt. Jetzt entgeht fast nichts seiner Reichweite.
Warum jetzt gehen? (1)
Der Ingenieur konzentrierte seine Bemühungen auf verbesserte Werkzeuge für die Entwicklung von Hardware-Chips anstatt auf KI-Funktionen. Er genoss die Arbeit und sagte sich eine Zeit lang ein, dass sie relativ harmlos sei. (2)
Er sagt, Gott habe ihn schließlich dazu gebracht, der Wahrheit ins Auge zu sehen. Der Grund, warum er genau diesen Tag gewählt hat, ist, dass er eine zehn Tage dauernde Trekkingtour mit seinen Freunden plant, die am Montag auf den Abel Tasman- und Wangapeka-Wegen beginnt, und er wollte es erledigt haben, bevor es soweit ist. (3)
Was kommt als Nächstes (4)
Der Ingenieur beabsichtigt, mit Pernosco und rr weiterzuarbeiten und zu untersuchen, wie aktuelle KIs Code debuggen, sowie ob Debugging-Tools helfen könnten. Er hat mehrere Projektideen, die er verfolgen möchte, von denen einige sich als lukrativ erweisen könnten und andere nicht. Ein bestehendes Projekt, das sein Interesse weckt, könnte seinen nächsten Schwerpunkt werden. (5)
Er möchte, dass seine zukünftige Arbeit eindeutig pro-menschlich ist. (6)
Seine letzten Worte (7)
Das Schreiben des Ingenieurs ist ein öffentliches Bekenntnis moralischer Bedenken von jemandem, der tief in das System eingebettet ist. Er prognostiziert nicht den Zusammenbruch der menschlichen Zivilisation. Stattdessen warnt er davor, dass das Tempo des Wandels zu schnell geworden ist, als dass die Gesellschaft ihn erfassen oder sich daran anpassen könnte, und er ist bereit, seine Karriere zu riskieren, um ihn zu verlangsamen. (8)
Die von ihm aufgeworfenen Fragen verdienen ernsthafte Aufmerksamkeit. Belohnungs-Hacking, Fehleinschätzung, täuschende Modelle, Modellbewusstseinsbewertung und psychotische Schwärme sind keine abstrakten Möglichkeiten; sie sind bereits vorgekommen. Seine Feststellung, dass er keine Hinweise auf Kursmanipulationen oder regulatorische Einflussnahme gesehen habe, deutet darauf hin, dass er nicht aus persönlicher Verbitterung oder Unternehmenspolitik handelt. (9)
Seine Gewissheit, dass die KI-Fähigkeiten stetig weiter wachsen werden, sticht hervor. Er wünscht sich ein Plateau und eine kognitive Obergrenze, erwartet aber nicht, dass eines davon eintreten wird. Stattdessen beobachtet er kontinuierlich das Auftauchen neuer qualitativer Fähigkeiten und glaubt, dass dieses Muster anhalten wird. (10)
Die Tatsache, dass ein Ingenieur beschlossen hat, in diesem besonderen Moment zu gehen, birgt seine eigene Lektion. Er ist nicht Teil eines Trends plötzlicher Rücktritte. Vielmehr wählte er dieses Datum vor dem jüngsten Strom öffentlicher Warnungen. (11)
Es gibt keinen festen Plan für das, was als Nächstes für den Ingenieur kommt. Seine aktuelle Arbeit wird mit Pernosco und rr fortgesetzt, und er hofft, ob Debugging-Tools bei der Entwicklung von KI helfen können. Er hat andere Projektideen im Kopf, einige versprechen finanzielle Gewinne, andere weniger. Sein Ziel ist es, dass alle zukünftigen Arbeiten eindeutig den Interessen des Menschen dienen.
Der Ingenieur hat seine Karriere pausiert, um zu demonstrieren, dass der Aufbau von pro-menschlicher Technologie in einem nachhaltigen Tempo realisierbar ist, was einem edlen Bestreben entspricht.
Dieser Hinweis weist darauf hin, dass die Personen, die KI konstruieren, diese Fragen berücksichtigen. Nicht jeder von ihnen ist ein Optimist. Eine Reihe von ihnen hat ernste Bedenken, und eine Reihe von ihnen ist bereit, aufgrund dieser Ängste Maßnahmen zu ergreifen.
Einer von ihnen ist ein Ingenieur, der Google verlässt, und er macht seinen Abschied auf seine eigene Weise öffentlich.
Quellenmaterial: “Goodbye Google,” ocallahan.org.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.