KI-Wissenschaftler gründeten eine Non-Profit-Organisation, um gefährliche Modelldetails zu veröffentlichen – denn Geheimhaltung ist das Problem.

Tom Zick und Nathan Lambert, zwei Branchenforscher, haben eine gemeinnützige Organisation gegründet, um Details gefährlicher KI-Experimente öffentlich zugänglich zu machen, damit andere Wissenschaftler sie prüfen können. Trillium Labs, die von ihnen geschaffene Organisation, befasst sich mit Bereichen wie rekursivem Selbstverbesserung (RSI) und Agenten mit Offenheit. Ihr Zweck ist unkompliziert: Menschen die Möglichkeit geben, zu sehen, wie Modelle zusammengebaut und angepasst werden.

Das Paar glaubt, dass die Geheimhaltung von KI-Arbeiten dem gesamten Feld schadet. Lambert sagt, der derzeitige geschlossene Ansatz führe die Menschheit zurück. „In den letzten Jahrtausenden hatten wir die wissenschaftliche Methode in unserem Werkzeugkasten, um Schäden zu mindern und bessere Zukunft zu bauen“, sagt er WIRED. „Die derzeitige geschlossene Entwicklungslinie von fortschrittlicher KI führt uns einen Schritt zurück.“

Wer Trillium gegründet hat

Zick war zuvor an der Harvard University tätig, wo er Charles Schwab bei der Entwicklung von Richtlinien für „verantwortungsvolle KI“ unterstützte, während Lambert eine Position bei Ai2 innehatte, einem Forschungslabor, das neben seinen Modellen sowohl Daten als auch Trainingsmethoden veröffentlichte. Lambert führte außerdem einen beliebten technischen Blog und gründete American Truly Open Models, das US-Unternehmen dazu drängte, mehr offene Modelle zu veröffentlichen.

Beide waren noch Studenten an der UC Berkeley, als sie sich während der COVID-19-Pandemie über Zoom vernetzten. Was sie schockierte, war, wie weit die KI-Forschung in der Industrie von der akademischen Arbeit entfernt war. Lambert weist darauf hin, dass Professoren und Studenten häufig nicht nachvollziehen können, was in großen Unternehmenslaboren geschieht, aufgrund mangelnder Ressourcen.

Heute startet Trillium, das Finanzierung von Schmidt Sciences, Halcyon Futures und anderen Investoren erhalten hat, ohne den Betrag bekannt zu geben. Die Gründer streben eine Gesamtförderung von 40 bis 100 Millionen Dollar an, mit dem Plan, 30 Millionen Dollar für Schulungen in den nächsten 18 Monaten einsetzen.

Was Trillium veröffentlichen wird

Das Unternehmen Trillium konzentriert seine Bemühungen auf drei Bereiche:

• Post-Training, das die Feinabstimmung bereits erstellter großer Modelle beinhaltet
• RSI, eine Methode zum Aufbau neuer Modelle durch KI-gestützte Forschung
• Verstärkungslernen, eine Technik, die ein Modell für wünschenswerte Ergebnisse belohnt und für unerwünschte Ergebnisse bestraft

Viele KI-Forscher haben wachsende Bedenken hinsichtlich der Aussicht auf unbegrenzten Fortschritt, den sie als eine Gefahr für die menschliche Kontrolle sehen. Diese Besorgnis trat erstmals diesen Monat in die öffentliche Wahrnehmung, als ein Forscher von Anthropic das Unternehmen verließ und eine Warnung aussprach, dass RSI eine existenzielle Bedrohung für die Menschheit darstellen könnte.

Die Methode formt den Charakter und das Verhalten eines Modells durch Belohnung und Bestrafung, ein Prozess, der zu Problemen führen kann, wenn ein Modell übermäßig schmeichelhaft wird. „Um etwas wie die Skalierbarkeit von Reinforcement Learning nach dem Training zu verstehen, benötigt man erhebliche Rechenleistung und viel sorgfältige Experimente“, sagt Zick. Die Veröffentlichung von Details darüber, wie Reinforcement-Learning-Training-Läufe funktionieren, könnte überraschende Erkenntnisse liefern, da außerhalbstehende Forscher die Arbeit prüfen.

Warum Transparenz jetzt wichtig ist

Der Kampf darum, welcher Ansatz überlegen ist, dreht sich um die Stärke der aktuellen Frontier-Modelle. Diese Modelle können die automatische Entdeckung neuer Software-Schwachstellen ermöglichen und Systeme selbstständig ausspionieren und hacken. Eine Reihe von größeren Hackerangriffen hat ihnen erhöhte Aufmerksamkeit beschert.

Diejenigen, die ein System mit eingeschränktem Zugriff befürworten, argumentieren, dass es unerlässlich ist, die Kontrolle in den Händen einer vertrauenswürdigen Minderheit zu behalten. Lambert und Zick sind der Meinung, dass ein gemeinsames Verständnis der Gefahren jeden besser dastehen lässt.

„Ich bin ein großer Fan von deutlich mehr Transparenz, als wir derzeit in der Forschung und Entwicklung haben“, sagt Tim Fist, Direktor für aufkommende Technologiepolitik beim Institute for Progress, gegenüber WIRED.

Der Fall für offene Wissenschaft

Lambert und Zick wollen, dass Trillium Labs der breiteren Diskussion darüber, wie man am besten KI aufbaut, Nuancen hinzufügt. „Wir befinden uns in einer Ära des KI-Diskurses, die von einigen Weltanschauungen dominiert wird“, sagt Lambert. „Wir glauben, dass die wissenschaftliche Methode und die sorgfältige Messung aktueller Ereignisse der beste Weg sind, um das neue Verhalten von KI-Modellen zu verstehen.“

Das Paar stützt seine Argumentation auf eine einfache Annahme: Die wissenschaftliche Methode hat der Menschheit über Jahrhunderte hinweg gut gedient. Das Verbergen von KI-Forschung entfernt diese Grundlage vollständig.

Die Debatte über Offenheit ist keine abstrakte, sondern betrifft jedes Unternehmen, das leistungsstarke Modelle entwickelt, darunter OpenAI und Anthropic sowie chinesische Firmen, die herunterladbare Modelle anbieten. Xiaomi hat kürzlich Details einer umfangreichen Trainingsrunde mit einem seiner Modelle veröffentlicht. Forscher von Stanford betreiben derzeit das KI-Modell Marin offen mit einem Pretraining-Verfahren.

Trillium ist Teil einer wachsenden Bewegung für Offenheit, und seine Gründer bringen Erfahrung aus Ai2, Hugging Face und akademischer Forschung mit. Details zu den Finanzierungsquellen sind noch nicht bekannt, obwohl das Projekt dafür Millionen einwirbt, um Modelle offen zu trainieren.

Die Frage ist, ob der Rest der Branche zuhören wird.

Quelle: „These AI Experts Want to Do High-Stakes Research Out in the Open,“ WIRED.