Tom Zick y Nathan Lambert, dos investigadores de la industria, han establecido una organización sin fines de lucro para hacer públicos los detalles de experimentos peligrosos de IA para que otros científicos puedan examinarlos. Trillium Labs, la organización que crearon, manejará campos como la mejora recursiva propia (RSI) y agentes con apertura. Su propósito es sencillo: permitir que las personas vean cómo se están construyendo y ajustando los modelos.
El dúo cree que mantener el trabajo de IA en secreto perjudica a todo el campo. Lambert dice que el enfoque actual, cerrado, está llevando a la humanidad hacia atrás. «Durante los últimos miles de años, la humanidad ha tenido el método científico en nuestra caja de herramientas como una forma de mitigar daños y construir mejores futuros», dice a WIRED. «La trayectoria actual, cerrada, del desarrollo de la IA de vanguardia nos está llevando un paso atrás».
¿Quién inició Trillium
Zick anteriormente se desempeñó en la Universidad de Harvard, donde ayudó a Charles Schwab con políticas sobre «IA responsable», mientras que Lambert ocupó un puesto en Ai2, un laboratorio de investigación que liberó datos y métodos de entrenamiento junto con sus modelos. Lambert también mantuvo un popular blog técnico y fundó American Truly Open Models, que instó a las empresas estadounidenses a publicar más modelos abiertos.
Mientras ambos todavía eran estudiantes de posgrado en UC Berkeley, el dúo se conectó a través de Zoom durante la pandemia de COVID-19. Lo que los impactó fue cuán alejadas estaban las investigaciones de IA de la industria del trabajo académico. Lambert señala que los profesores y estudiantes a menudo no pueden reproducir lo que está sucediendo dentro de los grandes laboratorios de las empresas debido a la falta de recursos.
Hoy marca el lanzamiento de Trillium, que ha obtenido financiación de Schmidt Sciences, Halcyon Futures y otros patrocinadores sin revelar la cantidad. Los fundadores están apuntando a una recaudación total de entre 40 y 100 millones de dólares, con planes de destinar 30 millones de dólares a la capacitación durante los próximos 18 meses.
¿Qué publicará Trillium
La empresa Trillium está concentrando sus esfuerzos en tres áreas:
- Post-entrenamiento, que implica el ajuste fino de modelos grandes ya construidos
- RSI, un método para construir nuevos modelos a través de la investigación asistida por IA
- Aprendizaje por refuerzo, una técnica que recompensa a un modelo por resultados deseables y lo penaliza por resultados indeseables
Muchos investigadores de IA han mostrado preocupación por la perspectiva de un progreso indefinido, que ven como un peligro para el control humano. Esa preocupación entró en el conocimiento público a principios de este mes cuando un investigador de Anthropic abandonó la compañía y emitió una advertencia de que RSI podría representar una amenaza existencial para la humanidad.
El método da forma al carácter y al comportamiento de un modelo a través de recompensas y castigos, un proceso que puede conducir a problemas cuando un modelo se vuelve excesivamente halagador. «Para entender algo como cómo la investigación por refuerzo escala en el post-entrenamiento, se necesita una potencia computacional significativa y mucha experimentación cuidadosa», dice Zick. Publicar detalles de cómo funcionan los entrenamientos por refuerzo podría producir revelaciones sorprendentes a medida que investigadores externos examinan el trabajo.
Por qué la transparencia es importante ahora
La discusión sobre qué enfoque es superior se centra en la solidez de los modelos de vanguardia en la actualidad. Estos modelos pueden automatizar el descubrimiento de nuevas vulnerabilidades de software y sondear y hackear sistemas por su cuenta. Una serie de importantes oleadas de piratería ha atraído una mayor atención hacia ellos.
Quienes apoyan un sistema de acceso limitado argumentan que mantener el control en manos de unos pocos de confianza es esencial. Lambert y Zick sostienen que una comprensión compartida de los peligros deja a todos mejor.
«Soy un gran fan de mucha más transparencia de la que tenemos actualmente en I+D», dice Tim Fist, director de políticas de tecnología emergente del Institute for Progress, a WIRED.
El caso para la ciencia abierta
Lambert y Zick quieren que Trillium Labs agregue matices al debate más amplio sobre cómo construir mejor la IA. «Estamos en una era de discusión de la IA dominada por unos pocos puntos de vista», dice Lambert. «Creemos que el método científico y la medición cuidadosa de eventos recientes es la mejor manera de comprender los nuevos comportamientos de los modelos de IA».
El dúo basa su argumento en una suposición sencilla: el método científico ha servido bien a la humanidad durante siglos. Ocultar la investigación de la IA elimina esa base por completo.
La discusión sobre la transparencia no es abstracta. Afecta a todas las empresas que están construyendo modelos potentes, incluyendo OpenAI y Anthropic junto con empresas chinas que hacen modelos descargables disponibles. Xiaomi ha hecho público recientemente información detallada de una importante sesión de entrenamiento con uno de sus modelos. Investigadores de Stanford están ahora pre-entrenando el modelo de IA Marin de forma abierta.
Trillium forma parte de un creciente impulso hacia la transparencia, y sus fundadores tienen experiencia proveniente de Ai2, Hugging Face e investigación académica. Los detalles sobre la financiación siguen sin revelarse, aunque el proyecto está recaudando decenas de millones para entrenar modelos de forma abierta.
La pregunta es si el resto de la industria escuchará.
Fuente: “Estos Expertos en IA Quieren Realizar Investigaciones de Alto Riesgo a Mitad Abierto”, WIRED.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.