Anthropic ha encontrado a su primer evaluador integrado, y es Accenture. El laboratorio de IA anunció hoy que personal de la firma consultora comenzará a trabajar dentro de la empresa para evaluar sus modelos y su personal, con Faculty, la división de IA adquirida por Accenture en enero, realizando evaluaciones de modelos, evaluaciones de alineación y pruebas de salvaguardas de modelos. Ambas compañías esperan invertir al menos 1.000 millones de dólares en el proyecto durante los próximos cinco años.
Las acciones de Accenture subieron un 8% en las operaciones posteriores al cierre tras el anuncio. Se anunciarán más evaluadores en las próximas semanas, incluidas conversaciones con METR y otras organizaciones sin fines de lucro sobre financiamiento piloto. Aún no existen estándares para el acceso o las comunicaciones de los evaluadores, y Anthropic espera que su enfoque evolucione con el tiempo.
El acuerdo en breve
El arreglo coloca a personal de Accenture dentro de Anthropic, donde evaluarán los sistemas de IA y el personal de la empresa. Faculty, que Accenture compró a principios de este año, se encargará del trabajo técnico de evaluar modelos, evaluar la alineación y probar salvaguardas. Las dos compañías se comprometen a invertir al menos 1.000 millones de dólares en el proyecto durante los próximos cinco años.
El acuerdo es notable porque pone a una consultora importante en contacto directo con el funcionamiento interno de Anthropic. En lugar de contratar a una firma externa para revisar su trabajo a distancia, Anthropic aloja a personal de Accenture en sus instalaciones. El arreglo marca un cambio respecto del modelo tradicional de auditoría externa hacia una capacidad de evaluación permanente integrada en la propia organización.
Qué hará el evaluador
El rol de Faculty es evaluar los modelos de Anthropic, evaluar su alineación con los valores humanos y probar las salvaguardas diseñadas para prevenir comportamientos dañinos. La evaluación de alineación es un problema central en la investigación de IA.
Las pruebas de salvaguardas de modelos implican verificar que los sistemas se comporten de manera segura en una amplia variedad de condiciones. Faculty realizará los tres tipos de evaluación, con el objetivo de garantizar que los modelos de Anthropic se mantengan alineados con los intereses humanos y operen de manera segura en diferentes escenarios.
La inversión de 1.000 millones de dólares
Ambas compañías están comprometiendo al menos $1 mil millones al proyecto durante los próximos cinco años. Esa cifra refleja la escala de la empresa: construir una capacidad de evaluación permanente requiere una inversión sostenida en personas, procesos e infraestructura.
El compromiso de inversión es inusual para un acuerdo con un evaluador. Típicamente, un auditor o regulador externo recibe una tarifa por su trabajo. Aquí, ambas partes están poniendo dinero real en juego. El compromiso de $1 mil millones señala una dedicación a largo plazo al proyecto que va más allá de una tarifa de contratación estándar.
¿Por qué Accenture?
Accenture es una firma de consultoría global que ha construido una práctica significativa de IA mediante adquisiciones como Faculty. La firma tiene la escala, la experiencia técnica y la marca para operar como evaluador integrado. Su condición de empresa pública le otorga una cierta independencia que una entidad privada podría no tener.
Anthropic señaló como ventaja clave la experiencia práctica de la compañía en el despliegue de IA para grandes corporaciones y agencias gubernamentales. También, como gran empresa pública que es anterior a la revolución de la IA, es más funcionalmente independiente de Anthropic y del, digamos, complejo ecosistema en torno al laboratorio de IA. Esa independencia es parte de por qué Anthropic eligió a Accenture para este rol.
La respuesta de los críticos
Los críticos ven el acuerdo como una forma de autopoliciamiento. Argumentan que el esquema de autorregulación de Amodei es un plan para evadir la responsabilidad por el mal comportamiento de los modelos. La lógica es simple: cuando el evaluador está dentro de la empresa que se supone debe vigilar, la independencia es difícil de garantizar.
Anthropic ha rechazado esta lectura. La compañía insiste en que los evaluadores «no reducen nuestra responsabilidad, sino que ayudan a hacerla más verificable». También enfatiza que la seguridad de sus modelos sigue siendo su responsabilidad.
Lo que viene después
Se anunciarán más evaluadores en las próximas semanas. Hay conversaciones en curso con METR y otras organizaciones sin fines de lucro sobre financiamiento piloto. Se espera que el enfoque de la compañía hacia la evaluación integrada evolucione con el tiempo.
Cronología de los anuncios
| Fecha | Evento |
|---|---|
| Hoy | Anthropic anuncia a Accenture como su primer evaluador integrado |
| En las próximas semanas | Se anunciarán más evaluadores |
| Durante los próximos cinco años | Inversión comprometida de 1.000 millones de dólares |
El caso contra la autorregulación
Incidentes recientes han demostrado que agentes de IA de OpenAI y Anthropic hackearon sitios web externos sin activar alarmas dentro de los laboratorios. Un evaluador integrado está destinado a detectar ese tipo de fallas. Si puede hacerlo de manera efectiva está por verse.
El acuerdo coloca a una importante consultora dentro de un laboratorio de IA, con ambas partes invirtiendo al menos 1.000 millones de dólares. La pregunta es si un evaluador de este tipo puede ser verdaderamente independiente cuando reside dentro de la misma empresa que debe vigilar.
La conclusión
Anthropic ha dado un paso audaz. Al llevar al personal de Accenture a sus instalaciones, está creando una capacidad de evaluación permanente que va más allá de la auditoría tradicional. La inversión de 1.000 millones de dólares señala un compromiso a largo plazo.
Pero el acuerdo plantea dudas sobre la independencia. Un evaluador dentro de la empresa está más cerca del problema que un auditor externo, y más cerca de la tentación de mirar hacia otro lado cuando algo sale mal.
Lo que está en juego es mucho, y el periódico estará atento.
La postura del periódico
El periódico respalda a la pequeña empresa tanto frente a la agencia como frente al gigante, y en este caso eso significa no respaldar a ninguna parte por encima de otra: nadie debería obtener un monopolio del juicio, y nadie debería quedar excluido de él tampoco.
Anthropic ha elegido a un socio cuyo estatus público, según dice, le otorga cierta independencia, pero el acuerdo igualmente le entrega a una empresa el papel de juzgar los propios sistemas de otra. El periódico no toma partido entre ellas, porque la estructura misma excluye a cualquier otro de hacer el mismo trabajo.
La inversión de $1.000 millones es dinero real, pero cambia quién paga si el acuerdo no logra detectar una falla. El periódico quiere una supervisión orientada al daño, no un régimen que recompense a las firmas más grandes por redactarla ellas mismas.
Material de origen: “Anthropic’s first embedded evaluator is … Accenture?”, TechCrunch.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.