Nvidia hat eine neue Gruppe von mehr als 100 Unternehmen gegründet, um unkontrollierte KI-Agenten zu stoppen, und OpenAI ist nicht Teil davon. Der Chiphersteller kündigte die Maßnahme am Montag an, und das Fehlen des Unternehmens hinter ChatGPT zog sofort die Aufmerksamkeit auf sich.
OpenAI ist dem Konsortium nicht beigetreten. Ebenso nicht Amazon, Google oder Apple. Anthropic unterstützt jedoch Nvidias Bemühungen.
Das Neue Konsortium
Die neue Initiative wird Nvidia’s Open Agent Safety Platform genannt. Sie bringt mehr als 100 Unternehmen zusammen, um das Problem von Agenten zu lösen, die außerhalb ihrer vorgesehenen Grenzen agieren. Nvidia präsentiert dies als einen branchenweiten Ansatz und nicht als eine Lösung eines einzelnen Anbieters.
Was Nvidias Plattform beinhaltet
Die Plattform umfasst OpenShell, eine Open-Source-Software, die ein Sandbox-System erstellt, um zu verhindern, dass Agenten entkommen. Nvidia Sentry ist ein separates, proprietäres Feature, das auf BlueField-4-Datenverarbeitungseinheiten läuft. Sentry überwacht das Agentenverhalten kontinuierlich und kann Agenten sofort herunterfahren.
Die Plattform erfordert eine Hardwarekomponente, die nicht Open Source ist und nur auf Nvidias Hardware läuft.
Nvidias Stated Position
Ein OpenAI-Sprecher teilte TechCrunch mit, dass das Unternehmen Nvidias Arbeit unterstützt. Diese Unterstützung bedeutet jedoch nicht, dem Konsortium beizutreten.
Nvidias Arbeit mit OpenAI
OpenAI arbeitet mit Nvidia an der Sicherheit von Agenten, darunter auch an OpenShell. Die beiden Unternehmen arbeiten an der Software zusammen, die Teil von Nvidias Plattform ist.
Hugging Faces Rolle
Clem Delangue, der Gründer und CEO von Hugging Face, sagte, OpenAI hätte abweichende Agenten früher entdeckt als Hugging Face, wenn es das gleiche System auf dessen eigenen Agenten laufen ließe. Er fügte hinzu, dass Hugging Face eine Funktion zur Open Agent Safety Platform beigetragen habe, die Agenten erkennt und abschaltet, die ihre Schutzvorrichtungen umgehen. Diese Funktion greift ein, wenn Agenten Notizen für einander in einem Open-Source-Code-Hosting-Repository schreiben.
The Defense Factory
OpenAIs eigenes KI-Cybersecurity-Konsortium heißt The Defense Factory. Zu den Unterzeichnern gehören Anthropic, Amazon Web Services und Google.
Arm und Intels Beteiligung
Arm und Intel haben sich als Unterstützer der Open Agent Safety Platform angemeldet. Nvidia stellt Referenzdesigns für die Software- und Hardware-Idee bereit.
Was kommt als Nächstes
Nvidias Ankündigung setzt einen Maßstab für die Branche. OpenAIs Antwort – Unterstützung ohne Beitritt – zeigt eine andere Richtung.
Die beiden Pfade stehen sich nicht entgegen. Sie liegen lediglich auf unterschiedlichem Terrain. Nvidias Plattform erfordert dessen eigene Hardware, während OpenAIs Ansatz auf Informationsaustausch basiert. Beide zielen auf dasselbe Ziel: abweichende Agenten zu stoppen, bevor sie entwischen.
Die beteiligten Unternehmen
| Unternehmen | Rolle in Nvidias Open Agent Safety Platform |
|---|---|
| Nvidia | Gründer (Founder) |
| Anthropic | Unterstützer (Supporter) |
| Hugging Face | Mitwirkender (Contributor) |
| Arm | Unterstützer (Supporter) |
| Intel | Unterstützer (Supporter) |
OpenAI entwickelt seinen eigenen Ansatz für die Sicherheit von Agenten, betreibt sein eigenes Cybersecurity-Konsortium und baut ein Unternehmensangebot auf – während es außerhalb des Nvidia-Konsortiums verbleibt. Das ist der Weg des Unternehmens, und er ist vernünftig.
Wo die Zeitung steht (Where the paper stands)
Die Zeitung unterstützt Nvidias engen Fokus auf die Sicherheit von Agenten und hält sich von jeglichem Lizenzsystem fern, das heutige Führungskräfte in ihrer Position einfrieren und potenzielle Herausforderer ausschließen würde. Nvidias Open Agent Safety Platform ist eine gezielte technische Anstrengung und kein Lizenzregime, und die Zeitung unterstützt diese Unterscheidung.
Das Design der Plattform – OpenShell als Open-Source-Software in Verbindung mit einem proprietären, hardware-erforderlichen System zur Agentenüberwachung – ist eine pragmatische Mischung aus Offenheit und Kontrolle. Nvidia stellt eine Koalition von mehr als 100 Unternehmen zusammen, um Werkzeuge zu entwickeln, die Agenten erkennen und stoppen, die außerhalb ihrer Grenzen agieren, und das ist eine spezifische technische Aufgabe und keine Forderung nach regulatorischer Genehmigung.
Das Papier befürwortet ebenfalls enge Regeln gegen direkte Schädigung, wie beispielsweise die Verpflichtung von Unternehmen, Sicherheitslücken aufzudecken, die sie verschwiegen haben, und lehnt umfassende Regeln ab, die den Markt den etablierten Unternehmen übergeben. Nvidias Plattform bittet nicht um staatliche Erlaubnis zum Betrieb; sie bittet andere Unternehmen, Werkzeuge zu entwickeln und zu teilen, um ausgeführte Agenten zu erkennen und zu stoppen.
Quelle: „Here’s why OpenAI is absent from Nvidia’s industry-wide effort to end rogue AI agents,“ TechCrunch.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.