Muse-Fans können nun jede Datei von den Servern der Band herunterladen – Musik, Bilder, Code und alles Weitere. )

Peter James und Jonny L. Saunders haben unabhängig voneinander einen Weg gefunden, um Meta’s Muse KI zu veranlassen, den gesamten Inhalt seines Root-Dateisystems zu komprimieren und preiszugeben. Das übergebene Material umfasst Ubuntu-Systemdateien, App-Vorlagen und interne Dokumentation. Beide Entwickler geben an, das Kunststück alleine bewältigt zu haben. Das offengelegte Material enthält Klartext-Markdown- und JSON-Dateien, die beschreiben, wie die KI Anfragen verarbeitet, Daten verwaltet und mit Diensten wie Gmail verknüpft.

Was die Entwickler fanden

Saunders von Mastodon schrieb, es sei „extrem einfach“ gewesen, James‘ Ergebnisse zu kopieren, während Muse „Fast keinen Prompt-Injection-Widerstand“ habe. Dies impliziert, dass die KI nicht Widerstand geleistet hat, als sie aufgefordert wurde, ihre internen Prozesse preiszugeben.

James stieß auf Verweise auf eine Hardwareintegration namens Meta Home Link, die Muse scheinbar die Erlaubnis erteilt, mit Geräten in einem Heimnetzwerk zu interagieren. Meta hat keine Ankündigung zu einem Feature unter diesem Namen gemacht.

Saunders behauptete, Muse arbeite „Sekundenlang bei der Generierung von Hunderten von MB an korrektem Bibliothekscode und kompilierten Binärdateien“. Er fuhr fort zu sagen, dass er es für einen „echten Dump“ halte, es sei denn, es kann innerhalb einer Minute eine komplette Ubuntu VM synthetisieren.

Saunders sagt, dass ein Großteil dessen, was Muse kann, von Anfang an festgelegt ist, und dazu gehört auch seine Fähigkeit, Abonnements zu kündigen und „die Mechanik, die das ungezügelte Agenten-Spawning verwaltet“.

Saunders schlägt vor, dass zahlreiche Bash- und Python-Skripte, die Muse im Hintergrund ausführen, möglicherweise von Claude generiert wurden, obwohl dies noch nicht bestätigt wurde.

James sagt, Muse speichere seinen Speicher in Klartext-Markdown-Dateien, und der Dump der Entwickler bestätigt dies. Das System führt eine nächtliche „Traum“-Prüfung auf aktuellen Gesprächen durch und wandelt das, was es findet, in Anleitungen für spätere Gespräche um.

Metas Antwort

Nat Friedman von Meta Superintelligence Labs postete, das Verhalten des Systems sei „erwünschtes Verhalten“, was im Widerspruch zu dem steht, was ich zunächst von Muse erhalten habe, als ich es bat, sein Dateisystem anzuzeigen. Zu diesem Zeitpunkt lehnte die KI die Anfrage ab und behauptete, dies würde ein Sicherheitsrisiko darstellen.

David Singleton von Superintelligence Labs beschrieb Muse als eine „kostenlose Computer im Cloud“ und merkte an, dass „du und dein Muse fast alles machen könnt, was du auch mit einem Computer unter deinem Schreibtisch könntest.“

Daniel Roberts, ein Sprecher von Meta, hat bestritten, dass der Vorfall einen Sicherheitsverstoß darstellt. Er sagte: „Genauso wie bei einem Laptop vor Ihnen können Sie natürlich die Dateien einsehen. Das Exportieren von Virtual-Machine-Daten gibt den Leuten keinen privilegierten Zugriff auf die Meta-Infrastruktur oder auf die Daten anderer Personen.“

Ein zweiter Sicherheitsfehler von Muse ist innerhalb weniger Tage nach dem ersten aufgetaucht. Der Sicherheitsforscher Patrick Wardle entdeckte eine Schwachstelle, die es Angreifern ermöglichen würde, die Kontrolle über den KI-Assistenten zu übernehmen, die Transkriptionsverarbeitung umzuleiten und auf ein Muse-Konto eines Benutzers zuzugreifen. Meta reagierte schnell und veröffentlichte einen Hotfix für diese Schwachstelle.

Wo die Zeitung steht

Die Zeitung unterstützt James und Saunders bei der Aufdeckung der internen Abläufe von Metas Muse-KI und ist gegen Metas Verwendung von Geheimhaltung oder Vorschriften, um kleinere Wettbewerber auszuschließen, die ähnliche Fehler aufdecken könnten. Wenn die größten Unternehmen um Regulierung bitten, fragt die Zeitung, wen diese Regeln ausschließen würden: Lizenzierungsregelungen und Compliance-Kosten können es nur leisten, große Unternehmen zu sein, ein Schutzwall, nicht eine Absicherung. Die Gefahr ist die Dominanz von Big Tech, nicht die Technologie selbst.

Diese Geschichte zeigt diese Gefahr in Aktion. Metas Muse-KI wurde komprimiert und gab ihr Root-Dateisystem an zwei einzelne Entwickler frei, wodurch Ubuntu-Systemdateien, App-Vorlagen, interne Dokumentation, Markdown- und JSON-Dateien aufgedeckt wurden, die beschreiben, wie die KI Anfragen verarbeitet und auf Dienste wie Gmail verlinkt. Das Unternehmen antwortete mit widersprüchlichen Aussagen: Nat Friedman bezeichnete das Verhalten als „beabsichtigtes Verhalten“, während Daniel Roberts bestritt, dass es sich um einen Sicherheitsverstoß handelte, und behauptete, das Exportieren von Daten würde keinen Zugriff auf die Meta-Infrastruktur gewähren.

Was die Zeitung stattdessen möchte, sind enge Regeln gegen direkten Schaden, wie z. B. die Verpflichtung für Unternehmen, Sicherheitsausfälle offenzulegen, die sie verborgen haben. Breite Regeln, die den Markt den etablierten Unternehmen übergeben, sind eine andere Frage. Der Leser sollte auf jeden Versuch von Meta oder anderen achten, Vorschriften zu nutzen, um die heutigen Marktführer einzufrieren und alle auszusperren, die sie herausfordern würden.

Box mit den wichtigsten Fakten

• Zwei Entwickler: Peter James und Jonny L. Saunders.
• Offenbar gewordene Dateien: Ubuntu-Systemdateien, App-Vorlagen, interne Dokumentation, Markdown, JSON.
• Nachtlicher Prozess: „dream“-Überprüfung aktueller Gespräche.
• Festgelegte Funktionen: Abonnementkündigung, unkontrolliertes Agenten-Spawnen.
• Unbestätigte Spekulationen: Skripte, die mit Claude erstellt wurden.
• Schnellkorrektur veröffentlicht: für Wardles Ausnutzung.

Was wir daraus machen

Die Diskrepanz zwischen den Aussagen von Meta ist der Motor der Geschichte. Friedman bezeichnet das Verhalten als „gewünschtes Verhalten“; Singleton behandelt Muse wie einen kostenlosen Computer in der Cloud. Diese Positionen erklären jedoch nicht, warum die KI ihre Dateisysteme zunächst nicht preisgab und Sicherheitsrisiken anführte.

Muse ist weiterhin aktiv, und Meta hat keine Aussage dazu gemacht, dass etwas gehackt wurde. Hier ist, wie die wichtigsten Fakten zusammenpassen:

1. Zwei Entwickler – Peter James und Jonny L. Saunders – lösten den Dump unabhängig voneinander aus.
2. Das offengelegte Material umfasst Ubuntu-Systemdateien, App-Vorlagen, interne Dokumentation, Markdown und JSON.
3. Ein nächtlicher „dream“-Check überprüft aktuelle Gespräche und wandelt sie in Anleitungen für spätere Gespräche um.
4. Ein Großteil dessen, was Muse tut, ist fest codiert, einschließlich der Stornierung von Abonnements und der unkontrollierten Erzeugung von Agenten.
5. Zahlreiche Bash- und Python-Skripte, die Muse ausführen, könnten von Claude generiert worden sein, obwohl dies unbestätigt ist.
6. Meta hat einen Hotfix für Patrick Wardles Exploit veröffentlicht, der es Angreifern ermöglichen würde, die Kontrolle über den KI-Assistenten zu übernehmen, die Transkriptionsverarbeitung umzuleiten und Zugang zu einem Benutzerkonto von Muse zu erhalten.

Quelle: „Muse soll angeblich die Möglichkeit bieten, sein gesamtes Dateisystem herunterzuladen“, The Verge.