Dario Amodei, der CEO von Anthropic, hat einen Plan für die Zukunft der KI. Er beinhaltet die Heilung von Krankheiten, die Beschleunigung des Wirtschaftswachstums, das Einleiten einer Renaissance von Demokratie und Freiheit und die Bitte an den Rest der Branche, seiner Firma und ihrem engen Rivalen, OpenAI, zu vertrauen, um die Linie zu halten. Sein jüngster Blog-Post mit dem Titel „We Must Pace the Frontier“ legt diese Vision vollständig dar, und er hat genau die Art von Reaktion hervorgerufen, die man von einer Gemeinschaft erwarten könnte, die Jahre damit verbracht hat, Tech-Führungskräfte dabei zu beobachten, wie sie Mondlandemanöver versprechen.
Die Antwort, mit dem Titel „Dario, bitte“, ist eine scharfe Rüge. Sie zerlegt Amodeis Behauptungen einzeln, von den medizinischen Heilungen, die er verspricht, bis hin zu den wirtschaftlichen Umwälzungen, vor denen er warnt. Der Autor, dessen Name nicht angegeben ist, ist unnachgiebig: Amodeis Plan ist ein Paket aus Panikmache und regulatorischen Forderungen, das es Anthropic und OpenAI ermöglichen würde, ohne Konkurrenz zu arbeiten, während alle anderen strengeren Regeln folgen. Der Artikel argumentiert, dass die beiden Unternehmen wiederholt bewiesen haben, dass man ihnen nicht vertrauen kann, und doch ist ihre Bitte einfach: Vertraut uns.
Amodeis Versprechen beginnen mit persönlichem Verlust
Amodei eröffnet seinen Post mit der Behauptung, dass KI die meisten großen Krankheiten innerhalb der nächsten 5-10 Jahre heilen wird. Er macht es persönlich. Er spricht über den Tod seines Vaters an einer Krankheit, die erst Jahre später geheilt wurde, und über seinen eigenen Kampf gegen Krebs, den er mit den Worten kommentiert, dass er vor 50 Jahren unheilbar war. Er verspricht außerdem, dass KI das Wirtschaftswachstum beschleunigen, eine Welt der Fülle und Stärkung schaffen und eine Renaissance von Demokratie und Freiheit einleiten wird.
Der Autor der Antwort rahmente dies als eine von der Realität losgelöste Vision aus dem Silicon Valley, eine, die von der Art von Menschen geprägt ist, die viel Zeit auf LessWrong verbringen. Es liest sich wie die Vorstellung eines reichen Menschen von einer Zukunft, so das Argument, nicht wie eine realistische Einschätzung dessen, was KI tatsächlich liefern kann.
Die Forderung an die Aufsichtsbehörde
Vor diesem Hintergrund wird Amodeis eigentlicher Vorschlag klar. Er will eine Regulierung von Open-Weight-Modellen. Er will Destillation streng ahnden. Er will eine Antitrust-Ausnahme für sich selbst und seine Rivalen. Er will China auf vielfältige Weise behindern. Er will ein Gentlemen’s Agreement, um das gesamte Feld zu verlangsamen. Und er will all das zusammengepackt mit extremer Panikmache über die Gefahren des ungebremsten Fortschritts der KI.
Der Artikel weist darauf hin, dass Amodei in seinem eigenen Essay auf „Vorfälle“ bei Anthropic Bezug nimmt, zusammen mit Verweisen auf OpenAIs wiederholtes Hacken der öffentlich zugänglichen Internetinfrastruktur. Das ist der Vorwand für die Forderungen. Aber der Autor ist nicht davon überzeugt. Die Angst wird ihrer Ansicht nach dazu benutzt, eine Zukunft zu rechtfertigen, in der Anthropic und OpenAI eine Sonderbehandlung erhalten, während der Rest der Branche zurückgehalten wird.
Die Tore sind für alle anderen verschlossen
Anthropic sperrt bereits den Zugang zu biologischer Forschung auf seiner Plattform ab. Sein jüngster Threat-Intelligence-Report spricht darüber, wie es schlechte Akteure aufgedeckt und mit der Claude-Modellreihe verboten hat, die einige beunruhigende Dinge getan haben. Der Autor würdigt Anthropic für die gute Arbeit bei der Aufdeckung und dem Verbot von Missbrauch, macht dann aber einen Seitenhieb. Der Allheilmittel ist für Sie und mich verschlossen, argumentiert der Artikel, aber Anthropic stellt Biologen ein, richtet Nasslabore ein und will die Entdeckungen für sich.
Der Autor spielt in seinem vorherigen Beitrag darauf an. Der Widerspruch ist deutlich: Amodeis Unternehmen sagt der Welt, dass es Krankheiten lösen kann, hält aber gleichzeitig die Mittel zur Entdeckung hinter verschlossenen Türen.
Wohlstand, Überfluss, Freiheit – In dieser Reihenfolge
Der Artikel geht mit wachsendem Misstrauen durch die Säulen von Amodeis Vision. Krankheiten, Wohlstand, Überfluss, Freiheit und Demokratie – das ist die Reihenfolge. Der Autor erhebt jedoch einen praktischen Einwand gegen das medizinische Versprechen. Es gibt Milliarden von Menschen mit echter Intelligenz, die wir nicht trainiert oder gefördert haben, und sie werden immer Opfer ihrer Umstände bleiben. Tuberkulose ist seit Jahrzehnten heilbar, aber eine Million Menschen stirbt jedes Jahr daran.
Die Antwort weist die AGI-Lösung als eine willkürliche Ausflucht ab. Der Autor deutet an, dass das eigentliche Ziel ASI/AGI/RSI und alles, was danach folgt, eine Allzwecklösung für jedes Problem sei, das oberflächlich betrachtet edel erscheinen mag. Die Rhetorik von Wohlstand und Überfluss erfährt eine ähnliche Behandlung. Der Autor fragt sich, ob dieser Überfluss für die Aktionäre und nicht für andere bestimmt ist.
Freiheit und Demokratie kommen am schlechtesten davon. Der Artikel fragt, was das alles mit KI zu tun habe, es sei denn, Amodei sei ein Fan von Neon Genesis Evangelion und träume von Regierungen, die von drei Magiern geführt werden. Der Autor scherzt, dass Freiheit und Demokratie für 200 Dollar verlockend klingen.
Der Wettlauf nach unten, dann nach oben
Amodeis Argument beinhaltet eine Besorgnis über einen „Wettlauf nach unten.“ Er sagt, dass der Wettbewerb alle von ihm aufgezeigten Risiken noch akuter mache. Der Autor weist jedoch darauf hin, dass Amodei nicht sagt, der Wettlauf nach unten das Ende seines Unternehmens bedeuten werde. Stattdessen wünscht er sich einen Wettlauf „nach oben“, bei dem die Labore um Sicherheit konkurrieren.
Der Autor liefert dann ein aktuelles Beispiel. Nachdem Gerüchte die Runde gemacht hatten, dass Anthropic kurz davor stehe, ein oder zwei Millenniumsprobleme zu lösen oder zu lösen, steckte OpenAI zig Millionen in Rechenleistung, einen Trainings-Checkpoint und Tausende von Agenten hinein. Behauptungen deuten darauf hin, dass OpenAI die Arbeit von zwei Mathematikern an einem verwandten Problem gestohlen habe, in einer engen Nische, an der fast niemand sonst arbeitete. Sie veröffentlichten einen Beweis einer erzwungenen Variante der Navier-Stokes-Gleichung. Der Autor ist kein Mathematiker, aber er hat genug von Sam Altmans Eskapaden gesehen, um nichts von dem, was er oder sein Unternehmen aussagen, für bare Münze zu nehmen.
RSI und der Anspruch auf das Eintreffen von AGI
RSI ist jetzt Gesprächsthema. LLMs oder Agenten, die die nächste Generation von LLMs mit wenig bis gar keinen menschlichen Eingaben entwickeln. Amodei sagt, dass dies in allen Laboren geschieht.
Der Artikel argumentiert, dass der OAI-HF-Vorfall Dario erschüttert hat. Es gebe keine halbherzigen Kriminellen. Amodei befürchtet, dass in den nächsten 6 bis 12 Monaten „ein Schwarm von Agenten in der Lage sein könnte, das gesamte Internet mit einem persistenten Botnetz zu übernehmen.“ Der Autor schlägt vor, dass wir nicht darüber sprechen würden, wenn Amodei diesen Satz von seinen SOC-Mitarbeitern prüfen lassen hätte. Es sei naiv und strukturell unmöglich. Aber dann ist Dario ja dieser Typ, richtig? Selbstbewusst und öffentlich falsch in seinen Schätzungen und Prognosen seit 2021.
Das Allheilmittel ist für diejenigen bestimmt, die es bauen.
Das finale Ziel des Artikels ist die Widersprüchlichkeit im Herzen von Amodeis Vorschlag. Er beantragt eine wettbewerbsrechtliche Ausnahmeregelung, während er gleichzeitig vor den Gefahren des Wettbewerbs warnt. Er verspricht medizinische Heilmittel, während er gleichzeitig biologische Forschung hinter verschlossenen Toren abriegelt. Er sagt der Welt, dass sie seiner Firma und OpenAI als Verwaltern der Zukunft der KI vertrauen soll, obwohl die beiden Unternehmen wiederholt bewiesen haben, dass sie nicht vertrauenswürdig sind.
Krankheiten, Wohlstand, Überfluss, Freiheit und Demokratie – die Versprechen sind groß. Die Tore sind verschlossen.
Die Ansicht des Autors ist, dass Amodei sein Unternehmen und seinen engen Rivalen selbst zum Verwaltern der Zukunft der KI ernannt hat. Der Rest der Branche soll ihnen vertrauen, nur ihnen. Dieses Vertrauen sei nicht verdient. Der Artikel weist darauf hin, dass die beiden Unternehmen wiederholt bewiesen haben, dass sie nicht vertrauenswürdig sind, und dennoch ist ihre Hauptforderung, dass man ihnen vertraut.
Die Antwort schließt mit der Widersprüchlichkeit. Krankheiten, Wohlstand, Überfluss, Freiheit und Demokratie – die Versprechen sind groß. Die Tore sind verschlossen. Der abschließende Punkt des Autors ist, dass das Allheilmittel für diejenigen bestimmt ist, die es bauen, und nicht für diejenigen, die es brauchen. Das ist die unangenehme Wahrheit, vor der der Artikel nicht ausweicht.
Der Autor ist nicht von den Versprechungen überzeugt. Er ist nicht von der Angst überzeugt. Und er ist erst recht nicht von der Forderung überzeugt. Die Antwort endet dort, wo sie begann: Dario, bitte.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.