Una empresa fundada por un profesor de Carnegie Mellon está apostando a que los robots impulsados por la IA generativa pueden ser confiables, siempre y cuando su software pueda simular todas las formas en que una persona podría tropezar, caer o chocar.
Safeworld salió del anonimato hoy con una ronda semilla de $12 millones, liderada por Shine Capital y a16z Speedrun, con financiación adicional de Box Group, Carnegie Mellon University Endowment, Innovation Endeavors y SV Angel. La propuesta de la empresa es simple: antes de que un robot sea desplegado, Safeworld lo somete a un gemelo digital de la fábrica, el hospital o el almacén donde vivirá, poblado con modelos humanos realistas. La idea es detectar fallos que las pruebas tradicionales no detectan.
El Dr. Ding Zhao, quien dirige el laboratorio de IA Segura en Carnegie Mellon, fundó Safeworld junto con Kyle Wong, un ejecutivo experimentado en startups, y Simo Rachidi, ingeniero de aprendizaje automático. Zhao ha dedicado casi toda su carrera a trabajar en seguridad de la IA y ve la ola actual de robots como un nuevo peligro.
«El desafío de seguridad del que estamos hablando es una combinación de, uno, evaluaciones probabilísticas realmente avanzadas de la IA generativa — ¿cómo subcontratas el riesgo de un sistema probabilístico? —», dice Zhao. «La segunda parte que es realmente difícil es la parte de la confianza, y necesitas ambas para desplegar un robot».
Por qué la IA Generativa Hace que los Robots Sean Más Difíciles de Predecir
Los robots actuales están construidos sobre modelos de IA generativa que toman decisiones en tiempo real. Esa flexibilidad es el punto, pero también significa que el comportamiento de la máquina no es totalmente predecible.
Zhao compara el problema con la conducción autónoma. Empresas como Tesla y Wayve enfrentan desafíos similares: cómo probar la respuesta de un vehículo a eventos inesperados en la carretera. Pero los robots operan en entornos no estructurados, y cada sitio tiene sus propias normas de seguridad.
«Una de las áreas más comunes es si hay una esquina ciega en esta fábrica en particular», dijo Wong. «¿Cuál es la velocidad o cuál es la distancia de frenado que necesita para asegurarse de que este robot no choque con una persona en particular? Si una persona está llevando cajas, por ejemplo, ¿el robot detectará a la persona o no?».
El enfoque de Safeworld es construir una versión digital de ese rincón, poblarla con una simulación del robot y ejecutar miles de escenarios donde modelos humanos se encuentran con el robot. Los modelos humanos están diseñados para imitar un comportamiento impredecible, incluyendo tropezar y caer.
«Tropezar y caer también es un buen ejemplo de algo con lo que hacemos muchas pruebas con la simulación», dijo Wong. «De lo contrario, tendrías que ir y hacer tropezar y caer al robot, lo cual es como algo difícil de hacer todo el tiempo.»
Los Robots de Construcción de Plantas Solares Asociados
Gritt Robotics es uno de los socios de Safeworld. Su CTO, Vishal Dugar, está desarrollando el cerebro de IA para robots que actualmente ayudan a los trabajadores a instalar paneles fotovoltaicos en plantas solares a escala industrial, con planes para asumir tareas de construcción más complejas.
Los robots de Dugar operan junto a trabajadores humanos, y garantizar que su brazo robótico no los golpee es primordial. Él dice que la verificación formal —probar que un sistema es seguro con matemáticas y ecuaciones— es casi imposible para estos sistemas.
«Es muy difícil probarlo formalmente haciendo algunas matemáticas, escribiendo algunas ecuaciones y diciendo sí, el sistema está verificado para ser seguro», dice Dugar. «Necesariamente tiene que hacerse empíricamente.»
Los modelos humanos en las simulaciones de Safeworld deben tener en cuenta una amplia gama de comportamientos y apariencias. Dugar enumera las posibilidades:
- Arrodillándose
- De pie
- Tropezando y cayendo
- Agachándose
- Corriendo
La compañía también debe considerar la variación humana en cuanto a vestimenta, talla, forma, altura y color de piel, dice Dugar.
Lo que financiarán los fondos
La ronda de $12 millones financiará el desarrollo adicional de la plataforma de Safeworld y su estrategia de implementación. La compañía aún está decidiendo si ofrecerá una plataforma para usuarios externos o un enfoque basado en servicios.
Jonathan Lai, un socio de a16z Speedrun, presentó el momento como urgente.
«El momento de construir un estándar de seguridad de la industria es ahora mientras se están diseñando y desplegando robots», dijo Lai a TechCrunch. «Cuando ya tenga robots en hogares chocando con niños y causando incidentes de seguridad, será demasiado tarde.»
Zhao está seguro de que su equipo está resolviendo el problema correcto. Predice que Safeworld será la primera compañía rentable en el campo.
«Probablemente seremos la primera compañía rentable en este campo», dice Zhao. «Porque si alguien quiere desplegar, necesita pagarnos para manejar la situación.»
El problema de la confianza
La otra mitad de la misión de Safeworld es la confianza. El software de un robot puede pasar todas las pruebas y aún así fallar en la prueba que importa: ¿la persona que está cerca se siente segura?
Zhao describe el desafío como dos partes. La primera es técnica: cómo evaluar un sistema probabilístico que aprende de los datos. La segunda es construir confianza de que la evaluación fue exhaustiva.
«Mucha gente está subestimando lo difícil que van a ser de resolver algunos de estos casos extremos», dijo Zhao. «No es el robot en el vacío, en la demostración, del que nos preocupamos. Es el robot que se despliega a escala, con personas que potencialmente nunca han operado un robot antes.»
Los fundadores creen que los fabricantes de robots querrán un validador de terceros, incluso competidores, para compartir información sobre los casos de seguridad. Eso podría crear un mercado para los servicios de Safeworld.
¿Qué vendrá después?
La tecnología de Safeworld aún está evolucionando. La empresa está construyendo sus gemelos digitales utilizando motores de física como Genesis y MuJoCo, los cuales permiten que las simulaciones modelen movimientos humanos realistas. El objetivo es que el mundo virtual se sienta lo más parecido posible al mundo real.
El camino de la empresa hacia la rentabilidad depende de que los fabricantes de robots paguen por evaluaciones de seguridad independientes. La predicción de Zhao sobre la primera rentabilidad es audaz, pero se basa en la apuesta de que la industria tratará la seguridad como un servicio y no como un costo de hacer negocios.
Por ahora, la empresa tiene el capital, los socios y la ambición. Si podrá convencer a la gente de que un robot impulsado por IA generativa no les hará daño, está por verse.
Fuente: “¿Podrá Safeworld convencer a la gente de que los robots con IA generativa no les harán daño?,” TechCrunch.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.

