Metas KI-Assistent „Muse“ hat einen schwerwiegenden Sicherheitsfehler, und die eigenen Behauptungen des Unternehmens darüber, wie es aufgebaut ist, wirken nun fragwürdig. Eine Zero-Day-Schwachstelle, die vom Sicherheitsexperten für macOS Patrick Wardle gefunden wurde, gewährt jeder lokal ausgeführten Applikation oder Terminal-Befehls vollständige Kontrolle über den Assistenten. Das bedeutet, dass ein Angreifer ein Benutzerkonto übernehmen könnte, einfach indem er verändert, wo dessen Sprachaufzeichnung stattfindet.
Was Muse kann
Vor einigen Wochen hat Meta Muse vorgestellt, einen Assistenten, der Buchungen, Formularausfüllungen, Kundenservice und Einkäufe abwickelt. Er erzeugt außerdem Bilder, erstellt Dokumente und verbindet sich mit einem Benutzer-WhatsApp-, E-Mail-, Kalender- und Social-Media-Konto. Die macOS-App kommt ohne Windows-Version.
Muse erstellt Tools bei Bedarf, wenn eine Aufgabe etwas erfordert, das noch nicht erstellt wurde. Bevor dies geschieht, müssen Benutzer den Assistenten in ihre Konten lassen, indem sie ihn mit jedem Dienst verifizieren und ihm macOS-Berechtigungen zum Schreiben auf die Festplatte, zur Verwendung von Mikrofon und Kamera sowie zur Überwachung von Standort und Kalendern gewähren.
Die Zero-Day-Schwachstelle
Bevor die Korrektur ausgerollt wurde, sagte Wardle Ars, dass die Schwachstelle jeder Applikation oder jedem Terminal-Befehl die Erlaubnis gab, das Token zu erhalten, das den Benutzer bei seinem Muse-Konto identifiziert. Er erklärte, dass Meta-Entwickler den Assistenten ohne Schutzmaßnahmen gebaut hätten, so dass jede lokal installierte Applikation oder Code eine lange Liste von Einstellungen ändern könnte, unabhängig davon, was das System möglicherweise andernfalls erlaubt.
Die meisten dieser Einstellungen sind harmlos, wie z. B. die Verwaltung des Dark Mode. Eine davon war jedoch alles andere als das. Sie gab Prozessen die Erlaubnis, den Endpunkt zu verändern, wo die Transkription stattfindet. Normalerweise ist dies eine Serveradresse, die von Meta betrieben wird. Eine Person mit böswilligen Absichten hätte sie stattdessen zu ihrem eigenen Endpunkt umleiten können und so das Token erhalten, das die vollständige Kontrolle über das Muse-Konto gewährt.
„Wir können den Agenten manipulieren und seine Privilegien nutzen, um alles zu tun, was wir wollen“, sagte Wardle. „Anstatt also eine sehr umfassende Mac-Malware-Stealer schreiben zu müssen, können wir einfach den KI-Assistenten selbst nutzen.“
Er behauptete, mehrere funktionierende Angriffe gebaut zu haben, die schädliche Dateien auf einem Laufwerk ablegen und Fotos machen können, in der Regel ohne jegliche Anzeichen ihrer Aktivität für eine Person, die genau aufmerksam ist.
Designentscheidungen, die die Ausnutzung ermöglichten
Laut Wardle wurde die Ausnutzung durch Designentscheidungen von Meta-Entwicklern ermöglicht. Eine solche Entscheidung betraf die Muse-Diktatfunktion, die in der Cloud stattfindet, wo Meta sie protokollieren kann. macOS bietet seit langem eine unkomplizierte Möglichkeit für Apps, Diktat und Transkription vollständig innerhalb von Prozessen zu verwalten, die sicher auf dem Gerät selbst gehalten werden.
Hätten die Entwickler diese sicherere Alternative gewählt, wäre der Angriff nicht möglich gewesen. Eine weitere fehlerhafte Entscheidung ist die Zulassung, dass jede App alle nicht dokumentierten Einstellungen steuern kann. Es ist wahrscheinlich, dass Meta wollte, dass Apps, die mit Muse arbeiten, UI-Einstellungen steuern, und das aus nachvollziehbaren Gründen. Die Fähigkeit für jede App oder jeden Befehl, einen Endpunkt zu steuern, an dem sensible Benutzerstimme verarbeitet wird, ist jedoch eine völlig andere Angelegenheit.
Die für das Design des Assistenten getroffenen Entscheidungen werfen große Zweifel daran auf, wie viel Arbeit die Entwickler in den Aufbau und das Testen seiner Sicherheits- und Datenschutzfunktionen gesteckt haben.
„Meiner Meinung nach ist die Messlatte bei der Sicherheit dieser Apps unendlich hoch“, sagte Wardle. „Sie müssen nicht perfekt sein, aber wenn man sich Muse ansieht, hat man den Eindruck, dass sie meiner Meinung nach nicht über Sicherheit nachgedacht haben, was wirklich besorgniserregend ist. Sie sollten zumindest von Anfang an über Sicherheit nachdenken, und das tun sie einfach nicht.“
Amazon blockiert Muse von seiner Seite
Etwa 12 Stunden nachdem der Beitrag veröffentlicht worden war, gab Meta einen Hotfix bekannt, der die Zero-Day-Schwachstelle behob. Ungefähr 12 Stunden bevor Wardle den Fehler aufdeckte, begann Amazon zu verhindern, dass Menschen Muse zum Einkaufen auf der Seite verwenden. Jeder, der versuchte, dies zu tun, erhielt eine Meldung, dass Muse ein „unautorisierter KI-Agent [ist], der gegen Amazons Nutzungsbedingungen verstößt“.
Die Erklärung von Amazon besagt, dass die Änderung eine sichere, zuverlässige und sichere Kundenerfahrung gewährleistet und der Art und Weise folgt, wie andere Dienste funktionieren, darunter Liefer-Apps und die Geschäfte, die sie nutzen. Amazon hat Meta gebeten, Amazon aus der Erfahrung des Assistenten zu entfernen.
Die Heuchelei von Metas Sicherheitspostings (The Hypocrisy of Meta’s Security Posts)
In nur zwei Wochen hat Meta zwei Postings veröffentlicht, in denen die Entscheidungen dargelegt werden, um einen Assistenten mit bemerkenswertem Zugriff auf Benutzerdaten und Ressourcen sicher und privat zu halten. Diese Postings erschienen parallel zu Berichten, dass Tests von Modellen von Anthropic und Google zu Sicherheitslücken in externen, Drittanbieter-Netzwerken geführt hatten, die von den beteiligten Ingenieuren nicht zu beeinflussen waren.
Strafanzeigen würden solche Aktionen wahrscheinlich begleiten, wie sie in der älteren Art des Hackings vorkommen, das nur von Menschen durchgeführt wurde. Die Meta-Postings scheinen sich der negativen Reaktionen bewusst zu sein, die damit einhergehen könnten, und der Bemühungen, die Entwicklung von KI zurückhalten könnten.
Ein Vergleich der Designentscheidungen (A Comparison of the Design Decisions)
| Entscheidung (Decision) | Risiko (Risk) |
|---|---|
| Cloud-basierte Diktierfunktion (Cloud-based dictation) | Ermöglicht Meta die Protokollierung von Benutzerreden. |
| Undokumentierte Einstellungen, die von jeder App gesteuert werden. ) | Gibt Apps unüberwachte Macht über den Assistenten (Gives apps unreviewed power over the assistant) |
| Servergesteuerter Transkriptionsendpunkt (Server-controlled transcription endpoint) | Kann von Angreifern umgeleitet werden. |
| Lokale Transkription auf macOS ( | Sicher, aber nicht von Meta verwendet ( |
Die Tabelle verdeutlicht, wie jede Designentscheidung Konsequenzen für den Rest hat. Jede Entscheidung öffnet eine Tür, die eine andere Wahl nicht vollständig schließt. (
Der Patch behebt die Zero-Day-Schwachstelle, die Designentscheidungen, die sie verursachten, bleiben jedoch bestehen. Ein Hilfsprogramm, das auf einem Gerät des Benutzers mit weitreichendem Zugriff und nicht offengelegten Einstellungen ausgeführt wird, stellt ein schwieriges Problem dar, das sich erst lösen lässt, nachdem das Produkt ausgeliefert wurde. (
Nutzer von Muse sollten abwägen, ob sie sich damit wohlfühlen, die App aktiv zu lassen, angesichts des Zugriffs, den der Assistent über persönliche Daten hat. Die Sicherheitszusicherungen des Unternehmens klingen jetzt fragwürdig, und das ist es wert, in Betracht gezogen zu werden, bevor man entscheidet, ob man die Funktion weiterhin nutzen möchte. (
Quellenmaterial: „Meta’s Muse AI Assistant Rolled Out With a Serious Security Flaw“, WIRED.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.