Anthropics CEO möchte, dass unabhängige Aufsichtsbehörden seine Wettbewerber beobachten, und die Aufsichtsbehörde, die er anführt, stammt aus derselben Sicherheits-Community, die sein eigenes Unternehmen hervorgebracht hat.
Dario Amodei, CEO von Anthropic, hat vorgeschlagen, dass unabhängige „eingebettete Gutachter“ KI-Entwicklungsunternehmen überwachen. Diese Gutachter würden Sicherheitsmaßnahmen überprüfen, Vorfälle melden und die Ausrichtung und die Trainingspipelines von Modellen bewerten. Amodei schrieb: „Wir sind immer noch diejenigen, die entscheiden, was ein- und ausgeschlossen wird. Eingebettete Gutachter werden diese Dynamik verändern.“
Der Vorschlag stellt die Sicherheits-Community in den Mittelpunkt ihrer eigenen Aufsicht. Das ist die zentrale Spannung in dieser Geschichte: Eine Gruppe, die sich einen Ruf auf Vorsicht aufgebaut hat, bittet nun ihre eigenen Mitglieder, sie zu beurteilen.
Der Mann hinter dem Plan
Amodei ist ein Physiker, der zu einem KI-Manager wurde. Er erwarb 2011 einen Ph.D. in biophysikalischer Forschung an der Princeton University und verbrachte Jahre damit, neuronale Netze in großen Technologieunternehmen zu entwickeln, bevor er Anthropic gründete.
Sein Lebenslauf liest sich wie eine Tour durch die KI-Pipeline von Silicon Valley. Bei Baidu arbeitete er an der Spracherkennung durch maschinelles Lernen. Bei Google half er bei der Entwicklung der Forschung zu neuronalen Netzen. Bei OpenAI wurde er während der Entwicklung von ChatGPT 2 und ChatGPT 3 Forschungsleiter.
Er verließ OpenAI im Jahr 2020, weil er der Meinung war, dass das Unternehmen keine Schutzmaßnahmen in die Technologie einbaute. Außerdem wusste er nicht, ob er darauf vertrauen konnte, dass das Unternehmen finanzielle Interessen zurückstellt.
„Wenn man das Gefühl hat, dass man jemandem nicht vertrauen kann, wenn man das Gefühl hat, dass ihre Werte nicht das sind, was sie sagen, wenn man das Gefühl hat, dass sie nicht ehrlich sind, wenn man das Gefühl hat, dass sie nicht aus den Gründen heraus agieren, die sie nennen, wenn man beunruhigende Verhaltensmuster sieht, Unehrlichkeit, dann macht es sehr schwer weiterzu…“
Dieses Misstrauen war einer der Gründe für seinen Abschied.
Die von ihm angeführte Aufsichtsbehörde
Die Organisation, auf die Amodei verweist, ist METR, ein KI-Sicherheitstestlabor. Ihre Gründerin und CEO ist Beth Barnes, die bei OpenAI zusammen mit Amodei während der frühen Entwicklung von ChatGPT arbeitete.
METRs anderer Mitgründer ist Paul Christiano. Er leitete die Forschung zu OpenAIs Modellstrategie-Kontrollen und gründete die erste Iteration von METR. Er hat seinen Ansatz als effektives Altruismus bezeichnet.
Barnes und Christiano haben ebenfalls Sicherheitsprüfungen für Anthropic’s KI Claude durchgeführt.
Der Funding Circle
Amodeis Weg zu Anthropic führte durch einen Förderkreis, der nun die Debatte über KI-Governance prägt.
Jaan Tallinn leitete Anthropic’s Finanzierungsrunde der Serie A im Jahr 2021 an. Er ist ein prominenter Unterstützer der Bewegung des effektiven Altruismus. Sam Bankman-Fried leitete Anthropic’s Finanzierungsrunde der Serie B im Jahr 2022 an, bevor FTX zusammenbrach und er in einem mehr Milliarden Dollar schweren Betrugsfall verurteilt wurde.
Der Vorschlag im Detail
Amodeis Plan sieht vor, dass Bewerter innerhalb von Unternehmen eingebettet sind, um die KI-Entwicklung zu überwachen. Ihre Rolle wäre Verifikation, Berichterstattung und Bewertung.
Der Vorschlag ist explizit darüber, was er ändert. Amodei schrieb, die Bewerter würden „die Dynamik“ verändern, wer entscheidet, was aufgenommen und weggelassen wird.
Die Sicherheits-Community
Die Sicherheits-Community wuchs aus den gleichen Personen hervor, die OpenAIs frühe Modelle entwickelten. Christianos Arbeit über Modellstrategie-Kontrollen bei OpenAI legte den Grundstein für den Ansatz, den METR jetzt verfolgt.
Barnes’ Rolle bei OpenAI brachte sie direkt in den Raum, in dem ChatGPT entwickelt wurde. Ihre spätere Arbeit bei METR verbindet die beiden Organisationen.
Die Überschneidung ist bemerkenswert. Die Person, die Anthropic’s Claude testete, testete auch OpenAIs frühe GPTs.
Warum der Vorschlag wichtig ist
Amodeis Vorschlag ist ein direkter Versuch, das Problem anzugehen, das er bei OpenAI sah. Er verließ dieses Unternehmen, weil er der Meinung war, dass dort keine Schutzmaßnahmen für die Technologie eingerichtet werden, und er möchte nun, dass die Branche diese Schutzmaßnahmen an anderer Stelle einrichtet.
Ob ein Gutachter aus derselben Gemeinschaft tatsächlich unabhängig sein kann, ist eine berechtigte Frage. Die Quelle gibt keine Antwort darauf.
Was wir wissen
- Dario Amodei ist CEO von Anthropic.
- Er schlägt unabhängige „eingebettete Gutachter“ vor, um KI-Entwicklungsunternehmen zu überwachen.
- METR ist die Organisation, die er als Beispiel für die Richtlinien anführt, die er für die Branche für notwendig hält.
- Beth Barnes ist Gründerin und CEO von METR; sie arbeitete bei OpenAI neben Amodei während der frühen Entwicklung von ChatGPT.
- Paul Christiano leitete die Forschung zu OpenAIs Modellstrategie-Kontrollen und gründete die erste Iteration von METR; er hat seinen Ansatz als effektives Altruismus formuliert.
- Sam Bankman-Fried leitete Anthropics Finanzierungsrunde der Serie B im Jahr 2022, bevor FTX zusammenbrach und er in einem mehr Milliarden Dollar betrügerischen Fall verurteilt wurde.
- Jaan Tallinn leitete Anthropics Finanzierungsrunde der Serie A im Jahr 2021; er ist ein prominenter Verfechter der Bewegung des effektiven Altruismus.
- Barnes und Christiano stellten Sicherheitsprüfungen für Anthropics KI Claude bereit.
- Amodei studierte ursprünglich biophysikalische Fragen und erwarb 2011 einen Ph.D. von Princeton.
- Bei Baidu arbeitete er an der Spracherkennung mithilfe von maschinellem Lernen.
- Bei Google half er bei der Entwicklung von Forschungsarbeiten zu neuronalen Netzen.
- Bei OpenAI wurde er während der Entwicklung von ChatGPT 2 und ChatGPT 3 Vizepräsident für Forschung.
- Amodei verließ OpenAI im Jahr 2020, weil er der Meinung war, das Unternehmen installiere keine Schutzmaßnahmen für die Technologie.
- Er bezweifelte zudem, ob er darauf vertrauen konnte, dass das Unternehmen finanzielle Interessen zurückstellt.
Wo die Zeitung steht
Die Zeitung befürwortet strenge Regeln, die Unternehmen dazu zwingen, Sicherheitslücken offenzulegen, die sie verborgen haben, und ist gegen weitreichende Regeln, die den Markt den etablierten Unternehmen übergeben. Sie lehnt es ab, großen Unternehmen zu erlauben, ihre eigenen Fehler zu verbergen und gleichzeitig die Aufsicht über andere zu fordern. In diesem Fall ist der zentrale Fehler des Vorschlags, dass die Bewerter aus derselben Gemeinschaft stammen, deren Urteil auf dem Spiel steht. Ein Bewerter, der sowohl Anthropic’s Claude als auch OpenAIs frühe GPTs getestet hat, ist kaum unabhängig.
Dies ist ein bekanntes Muster. Big Tech fordert die Aufsicht über seine Wettbewerber, während es seine eigenen Fehler verbirgt. Die Zeitung hat bereits gesagt, dass Lizenzierungsregelungen und Compliance-Kosten, die sich nur die großen Unternehmen leisten können, ein Schutzwall sind, aber keine Vorsichtsmaßnahme. Hier ist der Schutzwall dieselbe Sicherheitsgemeinschaft selbst, und der Vorschlag tut nichts, um diesen Schutzwall zu durchbrechen.
Der Leser sollte auf den Moment achten, in dem die Bewerter aufhören, Beobachter zu sein, und anfangen, den Status quo zu verteidigen. Dann ändert sich die Dynamik wirklich, und es ist nicht die Veränderung, die Amodei verspricht.
Quellenmaterial: „Wer ist Dario Amodei, der CEO von Anthropic, der unabhängige KI-Aufsicht fordert?“, Fox News.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.