Ein von einem Professor des Carnegie Mellon College gegründetes Unternehmen wettet darauf, dass Roboter, die von generativer KI betrieben werden, vertrauenswürdig sind – vorausgesetzt, seine Software kann jede Art und Weise simulieren, wie eine Person stolpern, fallen oder mit etwas kollidieren könnte.
Safeworld trat heute mit einer 12-Millionen-Dollar-Seed-Finanzierungsrunde aus dem Schatten, angeführt von Shine Capital und a16z Speedrun, mit zusätzlicher Finanzierung von Box Group, dem Carnegie Mellon University Endowment, Innovation Endeavors und SV Angel. Das Unternehmen präsentiert seine Idee einfach: Bevor ein Roboter eingesetzt wird, führt Safeworld ihn durch einen digitalen Zwilling der Fabrik, des Krankenhauses oder des Lagers, in dem er eingesetzt wird, bevölkert mit realistischen menschlichen Modellen. Die Idee ist, Fehler zu erkennen, die herkömmliche Tests übersehen.
Dr. Ding Zhao, der das Safe AI Lab am Carnegie Mellon leitet, gründete Safeworld mit dem erfahrenen Start-up-Manager Kyle Wong und dem Machine-Learning-Ingenieur Simo Rachidi. Zhao hat fast seine gesamte Karriere mit der Arbeit im Bereich der KI-Sicherheit verbracht und sieht die aktuelle Welle von Robotern als ein neues Risiko.
„Die Sicherheitsherausforderung, vor der wir stehen, ist eine Kombination aus eins, wirklich fortschrittlichen generativen KI-Wahrscheinlichkeitsbewertungen – wie unterwirbt man das Risiko eines Wahrscheinlichkeits-Systems?“, sagt Zhao. „Der zweite schwierige Teil ist der Vertrauensaspekt, und man benötigt beides, um einen Roboter einzusetzen.“
Warum generative KI Roboter schwer vorherzusagen macht
Heutige Roboter basieren auf generativen KI-Modellen, die Entscheidungen in Echtzeit treffen. Diese Flexibilität ist der springende Punkt – aber sie bedeutet auch, dass das Verhalten der Maschine nicht vollständig vorhersehbar ist.
Zhao vergleicht das Problem mit dem autonomen Fahren. Unternehmen wie Tesla und Wayve stehen vor ähnlichen Herausforderungen: wie man die Reaktion eines Fahrzeugs auf unerwartete Ereignisse auf der Straße testet. Aber Roboter arbeiten in unstrukturierten Umgebungen, und jede Site hat ihre eigenen Sicherheitsstandards.
„Ein häufiger Bereich ist, wenn es in dieser Fabrik eine Sackgasse gibt“, sagte Wong. „Wie hoch ist die Geschwindigkeit oder wie hoch ist der Bremsweg, den man benötigt, um sicherzustellen, dass dieser Roboter nicht mit einem bestimmten Menschen kollidiert? Wenn ein Mensch beispielsweise Kartons trägt, wird der Roboter dann die Person erkennen oder nicht?“
Safeworlds Ansatz besteht darin, eine digitale Version dieser Ecke zu erstellen, sie mit einer Simulation des Roboters zu bevölkern und Tausende von Szenarien zu durchlaufen, in denen menschliche Modelle auf den Roboter treffen. Die menschlichen Modelle sind so konzipiert, dass sie unvorhersehbares Verhalten nachahmen, einschließlich Stürzen und Fallen.
„Stürzen und Fallen ist auch ein gutes Beispiel für etwas, bei dem wir viele Tests mit der Simulation durchführen“, sagte Wong. „Andernfalls müsste man den Roboter stolpern und fallen lassen, was eine ziemliche Herausforderung wäre, das ständig zu tun.“
Die Partner Building Solar Farm Robots
Gritt Robotics ist einer von Safeworlds Partnern. Sein CTO, Vishal Dugar, entwickelt die KI-Steuerung für Roboter, die derzeit Arbeiter bei der Installation von Photovoltaikpaneelen in großflächigen Solaranlagen unterstützen, mit dem Ziel, komplexere Bauaufgaben zu übernehmen.
Dugars Roboter arbeiten Seite an Seite mit menschlichen Arbeitern, und die Gewährleistung, dass sein Roboterarm sie nicht trifft, hat oberste Priorität. Er sagt, formale Verifikation – der Beweis der Sicherheit eines Systems mit Mathematik und Gleichungen – sei für diese Systeme nahezu unmöglich.
„Es ist sehr schwer, dies formal durch mathematische Berechnungen, das Schreiben von Gleichungen und die Aussage zu beweisen, dass das System sicher verifiziert ist“, sagt Dugar. „Es muss notwendigerweise empirisch erfolgen.“
Die menschlichen Modelle in Safeworlds Simulationen müssen eine Vielzahl von Verhaltensweisen und Aussehen berücksichtigen. Dugar listet die Möglichkeiten auf:
- Knien
- Stehen
- Stürzen und Fallen
- Hocken
- Laufen
Das Unternehmen muss zudem die menschliche Variabilität in Bezug auf Kleidung, Größe, Form, Größe und Hautfarbe berücksichtigen, so Dugar.
Was die Mittel finanzieren werden
Die 12-Millionen-Dollar-Runde wird die weitere Entwicklung der Safeworld-Plattform und ihre Einsatzstrategie finanzieren. Das Unternehmen entscheidet noch, ob es eine Plattform für externe Nutzer oder einen serviceorientierten Ansatz anbieten wird.
Jonathan Lai, ein Partner bei a16z Speedrun, bezeichnete den Zeitpunkt als dringlich.
„Der Zeitpunkt, einen Branchenstandard für die Sicherheit zu entwickeln, ist jetzt, während Roboter entworfen und eingesetzt werden“, sagte Lai gegenüber TechCrunch. „Wenn man Roboter in Haushalten hat, die mit Kindern kollidieren und Sicherheitsvorfälle verursachen, ist es dann zu spät.“
Zhao ist zuversichtlich, dass sein Team das richtige Problem löst. Er prognostiziert, dass Safeworld das erste profitable Unternehmen in diesem Bereich sein wird.
„Wir werden wahrscheinlich das erste profitable Unternehmen in diesem Bereich sein“, sagt Zhao. „Denn wenn jemand einsetzen möchte, muss er uns bezahlen, um die Situation zu handhaben.“
Das Vertrauensproblem
Der andere Teil von Safeworlds Mission ist Vertrauen. Eine Roboter-Software kann jeden Test bestehen und trotzdem den entscheidenden Test nicht bestehen: fühlt sich die Person, die sich in der Nähe befindet, sicher?
Zhao beschreibt die Herausforderung als zwei Teile. Der erste ist technischer Natur: wie man ein probabilistisches System bewertet, das aus Daten lernt. Der zweite besteht darin, Vertrauen in die Gründlichkeit der Bewertung zu schaffen.
„Viele unterschätzen, wie schwierig die Lösung einiger dieser Sonderfälle sein wird“, sagte Zhao. „Es geht nicht um den Roboter im Vakuum, in der Demo, vor dem wir uns Sorgen machen. Es geht um den Roboter, der in großem Maßstab eingesetzt wird, mit Menschen, die möglicherweise noch nie einen Roboter bedient haben.“
Die Gründer glauben, dass Roboterhersteller einen Drittanbieter zur Validierung benötigen werden, selbst Wettbewerber, um Informationen über Sicherheitsfälle auszutauschen. Das könnte einen Markt für Safeworlds Dienstleistungen schaffen.
Was kommt als Nächstes
Safeworlds Technologie befindet sich noch in der Entwicklung. Das Unternehmen baut seine digitalen Zwillinge mithilfe von Physik-Engines wie Genesis und MuJoCo, die es ermöglichen, realistische menschliche Bewegungen in den Simulationen zu modellieren. Das Ziel ist es, die virtuelle Welt dem realen so nahe wie möglich zu bringen.
Der Weg des Unternehmens zur Rentabilität hängt davon ab, ob Roboterhersteller für unabhängige Sicherheitsbewertungen bezahlen. Zhaos Prognose zur ersten Rentabilität ist mutig, beruht aber auf der Annahme, dass die Branche Sicherheit als Dienstleistung und nicht als Kosten des Geschäftsverkehrs betrachtet.
Im Moment hat das Unternehmen Kapital, Partner und Ehrgeiz. Ob es die Menschen davon überzeugen kann, dass ein von generativer KI betriebener Roboter sie nicht verletzen wird, bleibt abzuwarten.
Quelle: „Kann Safeworld die Menschen davon überzeugen, dass generierte KI-Roboter sie nicht verletzen?,“ TechCrunch.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.