Anthropic ha contratado a Accenture como su primer evaluador integrado para poner en práctica el plan del director ejecutivo Dario Amodei de ralentizar el desarrollo de la IA. El acuerdo permite a Anthropic seguir buscando otros evaluadores a medida que avanza, y la empresa espera anunciar más socios en las próximas semanas.
El 12 de septiembre, Amodei publicó una propuesta de tres pasos destinada a ralentizar el desarrollo de la IA y dar tiempo para que se establezcan salvaguardas, una medida tomada en medio de advertencias de peligro catastrófico proveniente de un avance rápido e incontrolado. Los directores ejecutivos de OpenAI, Sam Altman, y de SpaceX, Elon Musk, respondieron positivamente a la propuesta, mientras que el director ejecutivo de Nvidia, Jensen Huang, dijo que tal regulación no era necesaria.
En su propuesta, Amodei escribió que «la IA ha estado avanzando drásticamente más rápido, impulsada principalmente por la creciente capacidad de la IA para construir la próxima generación de IA. Este fenómeno se llama mejora recursiva propia», y «si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas».
El primer paso de
La propuesta de Amodei comienza con evaluadores independientes que tienen acceso similar al de los empleados, y Anthropic ya se había comprometido con ese paso por su cuenta, escribió. La empresa anunció el viernes que trabajaría con Accenture y su subsidiaria de IA, Faculty, para evaluar modelos de IA, evaluar la alineación del sistema y probar funciones de seguridad.
Los arreglos específicos para este proyecto aún se están definiendo, ya que la evaluación integrada sigue siendo un área emergente de trabajo. Tanto Anthropic como Accenture se han comprometido a invertir al menos $1 mil millones en el proyecto durante los próximos cinco años, según se indicó en el anuncio.
Financiar el esfuerzo
Anthropic ha señalado que no existe un sistema existente para financiar la evaluación independiente. En su opinión, el apoyo a largo plazo debería provenir de fuentes combinadas o gubernamentales. Debido a la urgencia del trabajo, sin embargo, Anthropic pagará directamente el trabajo de Accenture.
«La evaluación integrada es un área emergente, y esperamos asociarnos con Anthropic para ayudar a acelerar el desarrollo de evaluadores integrados, que vemos como una parte importante del panorama de seguridad en el futuro», dijo Julie Sweet, presidenta y directora ejecutiva de Accenture.
Lo que cubre la asociación
Accenture afirma que su equipo es experto en probar y evaluar modelos para algunos de los laboratorios de IA líderes a nivel mundial y en construir sistemas de IA complejos que son seguros y éticos por diseño, según indicó la compañía el viernes.
| Rol | Empresa | Inversión |
|---|---|---|
| Evaluador integrado | Accenture | $1 billón durante cinco años |
| Asociándose con Faculty | Anthropic | $1 billón durante cinco años |
Los sistemas de Anthropic están construidos de modo que los evaluadores independientes puedan examinar su funcionamiento, y la asociación existe para garantizar que tal acceso siga disponible para ellos.
Anthropic está apostando por la experiencia de Accenture en la evaluación y el examen de modelos para los principales laboratorios de IA, lo que considera que puede adaptarse a un sistema de evaluación integrado. La empresa cree que este enfoque le permitirá comprender y gestionar sus sistemas.
El compromiso de concretar el trabajo es la razón de la decisión de Anthropic de financiar a Accenture directamente, una medida que demuestra cuán urgente considera la empresa el proyecto.
Anthropic no es la única entidad autorizada para unirse a este acuerdo, por lo que la compañía podría eventualmente incorporar evaluadores adicionales al programa.
Fuente: “Anthropic tabs Accenture as embedded evaluator to help with AI slowdown proposal”, Cointelegraph.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.