El CEO de Anthropic quiere que observadores externos supervisen a las empresas pares de la compañía, y el observador que cita proviene de la misma comunidad de seguridad que dio a luz a su propia empresa.
Dario Amodei, CEO de Anthropic, ha propuesto que evaluadores independientes «integrados» supervisen a las empresas de desarrollo de IA. Estos evaluadores verificarían las prácticas de seguridad, reportarían incidentes y evaluarían la alineación del modelo y las canalizaciones de entrenamiento. Amodei escribió: «Todavía somos nosotros quienes eligen qué incluir y omitir. Los evaluadores integrados cambiarán esta dinámica».
La propuesta coloca a la comunidad de seguridad en el centro de su propia supervisión. Esa es la tensión central en esta historia: un grupo que se construyó su reputación sobre la precaución ahora está pidiendo a sus propios miembros que lo juzguen.
El Hombre Detrás del Plan
Amodei es un físico convertido en ejecutivo de IA. Obtuvo un Ph.D. en biofísica de Princeton en 2011 y pasó años construyendo redes neuronales en importantes empresas de tecnología antes de fundar Anthropic.
Su currículum vitae parece un recorrido por la canalización de IA de Silicon Valley. En Baidu, trabajó en el reconocimiento de voz a través del aprendizaje automático. En Google, ayudó a desarrollar la investigación de redes neuronales. En OpenAI, se convirtió en vicepresidente de investigación durante el desarrollo de ChatGPT 2 y ChatGPT 3.
Dejó OpenAI en 2020 porque creía que la empresa no estaba instalando protecciones en la tecnología. También no sabía si podría confiar en la compañía para dejar de lado los intereses financieros.
«Cuando sientes que no puedes confiar en alguien, cuando sientes que sus valores no son lo que dicen ser, cuando sientes que no son honestos, cuando sientes que no están en ello por las razones que dicen, cuando ves patrones inquietantes de comportamiento, deshonestidad, eso hace que sea muy difícil continuar a»
Esa desconfianza fue parte de por qué se fue.
El Observador Que Cita
La organización a la que Amodei apunta es METR, un laboratorio de pruebas de seguridad de IA. Su fundadora y CEO es Beth Barnes, quien trabajó en OpenAI junto con Amodei durante el desarrollo inicial de ChatGPT.
El otro cofundador de METR es Paul Christiano. Lideró la investigación sobre los controles de estrategia de modelos de OpenAI y fundó la primera iteración de METR. Él ha enmarcado su enfoque como activismo eficaz.
Barnes y Christiano también han proporcionado verificaciones de seguridad para la IA Claude de Anthropic.
El Círculo de Financiamiento
El camino de Amodei hacia Anthropic pasó por un círculo de financiamiento que ahora define el debate sobre la gobernanza de la IA.
Jaan Tallinn lideró la ronda de financiamiento Serie A de Anthropic en 2021. Es un destacado defensor del movimiento del Altruismo Efectivo. Sam Bankman-Fried lideró la ronda de financiamiento Serie B de Anthropic en 2022 antes del colapso de FTX y su condena en un caso de fraude multimillonario.
La Propuesta en Detalle
El plan de Amodei prevé que evaluadores integrados dentro de las empresas monitoreen el desarrollo de la IA. Su función sería la verificación, la presentación de informes y la evaluación.
La propuesta es explícita sobre lo que cambia. Amodei escribió que los evaluadores alterarían «la dinámica» de quién elige qué se incluye y qué se omite.
La Comunidad de Seguridad
La comunidad de seguridad creció a partir de las mismas personas que construyeron los modelos iniciales de OpenAI. El trabajo de Christiano sobre los controles de estrategia de modelos en OpenAI sentó las bases para el enfoque que METR sigue ahora.
El papel de Barnes en OpenAI la colocó directamente en la habitación donde se desarrolló ChatGPT. Su posterior trabajo en METR conecta a las dos organizaciones.
La superposición es notable. La persona que probó Claude de Anthropic también probó los primeros GPT de OpenAI.
Por qué la Propuesta es Importante
La propuesta de Amodei es un intento directo de abordar el problema que vio en OpenAI. Dejó esa compañía porque creía que no estaba instalando salvaguardas en la tecnología, y ahora quiere que la industria construya esas salvaguardas en otro lugar.
Si un evaluador de la misma comunidad puede ser verdaderamente independiente es una pregunta legítima. La fuente no la responde.
Lo que sabemos
- Dario Amodei es el director ejecutivo de Anthropic.
- Él propone “evaluadores integrados” independientes para supervisar a las empresas de desarrollo de IA.
- METR es la organización que cita como un ejemplo de la guía que cree que la industria necesita.
- Beth Barnes es la fundadora y directora ejecutiva de METR; trabajó en OpenAI junto a Amodei durante el desarrollo inicial de ChatGPT.
- Paul Christiano lideró la investigación sobre los controles de estrategia de modelos de OpenAI y fundó la primera iteración de METR; ha enmarcado su enfoque como activismo eficaz.
- Sam Bankman-Fried lideró la ronda de financiamiento Serie B de Anthropic en 2022 antes de que FTX colapsara y fuera declarado culpable en un caso de fraude multimillonario.
- Jaan Tallinn lideró la ronda de financiamiento Serie A de Anthropic en 2021; es un destacado defensor del movimiento de Activismo Eficaz.
- Barnes y Christiano proporcionaron comprobaciones de seguridad para la IA de Anthropic, Claude.
- Amodei originalmente estudió biofísica, obteniendo un Ph.D. de Princeton en 2011.
- En Baidu, trabajó en el reconocimiento de voz a través del aprendizaje automático.
- En Google, ayudó a desarrollar la investigación de redes neuronales.
- En OpenAI, se convirtió en vicepresidente de investigación durante el desarrollo de ChatGPT 2 y ChatGPT 3.
- Amodei dejó OpenAI en 2020 porque creía que la empresa no estaba instalando mecanismos de seguridad en la tecnología.
- También dudaba si podía confiar en la empresa para dejar de lado los intereses financieros.
Donde está el criterio del periódico
El periódico respalda reglas estrictas que obligan a las empresas a revelar fallas de seguridad que ocultaron y se opone a reglas amplias que entregan el mercado a los incumbentes, y se opone a permitir que las grandes empresas oculten sus fallas al tiempo que piden supervisión sobre otras. En este caso, la falla central de la propuesta es que los evaluadores provienen de la misma comunidad cuyo juicio está en juego. Un evaluador que ha probado tanto a Anthropic’s Claude como a los primeros GPT de OpenAI es difícilmente independiente.
Este es un patrón familiar. La gran tecnología pide supervisión de sus pares al tiempo que mantiene ocultas sus propias fallas. El periódico ha dicho antes que los regímenes de licencias y los costos de cumplimiento que solo los gigantes pueden pagar son una trinchera, no un salvaguarda. Aquí, la trinchera es la misma comunidad de seguridad y la propuesta no hace nada para romperla.
El lector debe estar atento al momento en que los evaluadores dejan de ser observadores y comienzan a ser defensores del statu quo. Ese es el momento en que el panorama cambia de verdad, y no es el cambio que Amodei promete.
Fuente: “¿Quién es Dario Amodei, el CEO de Anthropic que impulsa la supervisión independiente de la IA?”, Fox News.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.