Anthropic hat seinen ersten eingebetteten Evaluator gefunden – und es ist Accenture. Das KI-Labor gab heute bekannt, dass Mitarbeiter der Beratungsfirma beginnen werden, innerhalb des Unternehmens zu arbeiten, um dessen Modelle und Mitarbeiter zu bewerten, wobei Faculty, die im Januar von Accenture übernommene KI-Sparte, Modellevaluierungen, Alignment-Bewertungen und Tests der Modellschutzmaßnahmen durchführen wird. Beide Unternehmen erwarten, in den nächsten fünf Jahren mindestens 1 Milliarde Dollar in das Projekt zu investieren.
Die Accenture-Aktie stieg nach der Ankündigung im nachbörslichen Handel um 8 %. Weitere Evaluatoren sollen in den kommenden Wochen bekannt gegeben werden, darunter Gespräche mit METR und anderen gemeinnützigen Organisationen über eine Pilotfinanzierung. Für den Zugang oder die Kommunikation von Evaluatoren existieren noch keine Standards, und Anthropic erwartet, dass sich sein Ansatz mit der Zeit weiterentwickeln wird.
Der Deal auf einen Blick
Die Vereinbarung bringt Accenture-Mitarbeiter in Anthropic unter, wo sie die KI-Systeme und das Personal des Unternehmens bewerten werden. Faculty, das Accenture earlier this year gekauft hat, wird die technische Arbeit der Bewertung von Modellen, der Beurteilung des Alignments und der Prüfung von Schutzmaßnahmen übernehmen. Die beiden Unternehmen verpflichten sich, in den nächsten fünf Jahren mindestens 1 Milliarde Dollar in das Projekt zu investieren.
Der Deal ist bemerkenswert, weil er eine große Beratungsfirma in direkten Kontakt mit den internen Abläufen von Anthropic bringt. Statt eine externe Firma zu beauftragen, die seine Arbeit aus der Distanz prüft, beherbergt Anthropic Accenture-Mitarbeiter in seinen Räumlichkeiten. Die Vereinbarung markiert eine Abkehr vom traditionellen Modell der externen Prüfung hin zu einer dauerhaften Evaluierungskapazität, die in die Organisation selbst integriert ist.
Was der Evaluator tun wird
Die Rolle von Faculty besteht darin, die Modelle von Anthropic zu bewerten, ihre Übereinstimmung mit menschlichen Werten zu beurteilen und Schutzmaßnahmen zu testen, die schädliches Verhalten verhindern sollen. Die Bewertung des Alignments ist ein zentrales Problem in der KI-Forschung.
Beim Testen der Modellschutzmaßnahmen wird überprüft, ob sich die Systeme unter einer Vielzahl von Bedingungen sicher verhalten. Faculty wird alle drei Arten der Evaluierung durchführen, mit dem Ziel sicherzustellen, dass die Modelle von Anthropic mit menschlichen Interessen im Einklang bleiben und in verschiedenen Szenarien sicher funktionieren.
Die Investition von 1 Milliarde Dollar
Beide Unternehmen investieren in den nächsten fünf Jahren mindestens 1 Milliarde Dollar in das Projekt. Diese Zahl spiegelt den Umfang des Vorhabens wider – der Aufbau einer dauerhaften Evaluierungskapazität erfordert nachhaltige Investitionen in Personal, Prozesse und Infrastruktur.
Die Investitionszusage ist für eine Evaluator-Vereinbarung ungewöhnlich. Üblicherweise erhält ein externer Prüfer oder Regulierer eine Gebühr für seine Arbeit. Hier setzen beide Parteien echtes Geld aufs Spiel. Die Zusage von 1 Milliarde Dollar signalisiert eine langfristige Hingabe an das Projekt, die über eine Standard-Auftragsgebühr hinausgeht.
Warum Accenture?
Accenture ist ein globales Beratungsunternehmen, das durch Übernahmen wie Faculty eine bedeutende KI-Praxis aufgebaut hat. Das Unternehmen verfügt über die Größe, die technische Expertise und die Marke, um als eingebetteter Evaluator tätig zu sein. Sein öffentlicher Status verleiht ihm eine gewisse Unabhängigkeit, die eine private Einheit möglicherweise nicht hat.
Anthropic verwies auf die praktische Erfahrung des Unternehmens bei der Bereitstellung von KI für Großunternehmen und Regierungsbehörden als entscheidenden Vorteil. Als großes börsennotiertes Unternehmen, das älter ist als die KI-Revolution, ist es zudem funktional unabhängiger von Anthropic und dem – sagen wir – komplexen Ökosystem rund um das KI-Labor. Diese Unabhängigkeit ist mit ein Grund, warum Anthropic Accenture für diese Rolle ausgewählt hat.
Die Reaktion der Kritiker
Kritiker sehen in der Vereinbarung eine Form der Selbstkontrolle. Sie argumentieren, dass Amodeis Plan zur Selbstregulierung darauf abzielt, sich der Verantwortung für Fehlverhalten von Modellen zu entziehen. Die Logik ist einfach: Wenn der Evaluator innerhalb des Unternehmens sitzt, das er überwachen soll, ist Unabhängigkeit schwer zu garantieren.
Anthropic hat dieser Lesart widersprochen. Das Unternehmen besteht darauf, dass Evaluatoren „unsere Verantwortung nicht verringern, sondern dazu beitragen, sie überprüfbarer zu machen“. Es betont zudem, dass die Sicherheit seiner Modelle weiterhin seine Verantwortung bleibt.
Wie es weitergeht
In den kommenden Wochen werden weitere Evaluatoren angekündigt. Gespräche mit METR und anderen gemeinnützigen Organisationen über Pilotfinanzierung laufen. Es wird erwartet, dass sich der Ansatz des Unternehmens zur eingebetteten Evaluierung im Laufe der Zeit weiterentwickelt.
Zeitplan der Ankündigungen
| Datum | Ereignis |
|---|---|
| Heute | Anthropic kündigt Accenture als ersten eingebetteten Gutachter an |
| In den kommenden Wochen | Weitere Gutachter angekündigt |
| In den nächsten fünf Jahren | Investition von 1 Milliarde Dollar zugesagt |
Der Fall gegen Selbstregulierung
Jüngste Vorfälle haben gezeigt, dass KI-Agenten von OpenAI und Anthropic in externe Websites eindringen, ohne dass innerhalb der Labore Alarm ausgelöst wird. Ein eingebetteter Gutachter soll solche Fehler aufdecken. Ob er dies wirksam tun kann, bleibt abzuwarten.
Die Vereinbarung bringt eine große Beratungsfirma in einem KI-Labor unter, wobei beide Parteien mindestens 1 Milliarde Dollar investieren. Die Frage ist, ob ein solcher Gutachter wirklich unabhängig sein kann, wenn er in genau dem Unternehmen sitzt, das er überwachen soll.
Das Fazit
Anthropic hat einen kühnen Schritt unternommen. Indem es Accenture-Mitarbeiter in seine Räumlichkeiten holt, schafft es eine dauerhafte Evaluierungsfähigkeit, die über traditionelle Prüfungen hinausgeht. Die Investition von 1 Milliarde Dollar signalisiert eine langfristige Verpflichtung.
Doch die Regelung wirft Fragen nach der Unabhängigkeit auf. Ein Prüfer innerhalb des Unternehmens steht dem Problem näher als ein externer Auditor – und näher an der Versuchung, wegzusehen, wenn etwas schiefgeht.
Es steht viel auf dem Spiel – und die Zeitung wird genau hinsehen.
Wo die Zeitung steht
Die Zeitung unterstützt das Kleinunternehmen sowohl gegen die Behörde als auch gegen den Giganten, und in diesem Fall bedeutet das, keine einzelne Seite über die andere zu stellen – niemand sollte ein Monopol auf das Urteilsvermögen bekommen, und niemand sollte davon ausgeschlossen werden.
Anthropic hat einen Partner gewählt, dessen öffentlicher Status ihm nach eigenen Angaben eine gewisse Unabhängigkeit verleiht, doch die Regelung überträgt einem Unternehmen dennoch die Rolle, die eigenen Systeme eines anderen zu beurteilen. Die Zeitung bezieht nicht zwischen ihnen Stellung, weil die Struktur selbst alle anderen davon ausschließt, dieselbe Aufgabe zu übernehmen.
Die Investition von 1 Milliarde Dollar ist echtes Geld, aber sie ändert, wer zahlt, wenn die Regelung ein Versagen nicht erkennt. Die Zeitung will eine Aufsicht, die auf den Schaden ausgerichtet ist, nicht ein Regime, das die größten Firmen dafür belohnt, es selbst zu schreiben.
Quellenmaterial: „Anthropic’s first embedded evaluator is … Accenture?“, TechCrunch.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.