El lunes, OpenAI anunció a través de una publicación en su blog que comenzará a colocar una marca de agua invisible en el texto producido por ChatGPT y Codex dentro de la Unión Europea, en línea con el Reglamento de la UE sobre IA. La decisión surge tras la presión de los reguladores y la competencia. Sin embargo, la compañía ha añadido una advertencia significativa: la marca de agua puede ser quebrada.
El 2 de agosto, las exigencias de transparencia del Reglamento de la UE sobre IA entraron en vigor, obligando a las empresas de IA a adjuntar etiquetas que otros sistemas puedan detectar a su material generado por máquina. OpenAI ha anunciado que la marca de agua comenzará a aparecer para los usuarios elegibles de ChatGPT y Codex en todos los niveles de suscripción en las próximas semanas, aunque el despliegue está restringido a la UE. La compañía también confirmó que la API de OpenAI en cualquier parte del mundo puede activarla para modelos seleccionados a partir de hoy; permanecerá desactivada de forma predeterminada para los desarrolladores. OpenAI dejó claro que no tiene previsto convertir la marca de agua de texto en una configuración predeterminada universal cuando se lance la función.
Lo que parece ser una marca de agua no es una marca visible en absoluto. En cambio, da forma a las elecciones de palabras del modelo, dejando un patrón que los lectores no pueden notar, pero que un detector puede captar, aunque el ojo humano no lo detecte. Dado que existe dentro de las palabras mismas, se mueve con el texto cuando se copia y pega. OpenAI dijo que la marca de agua no lo detecta, y también descubrió que los modelos funcionaron igual de bien con o sin la marca de agua.
Cómo funciona TextGrain
Un informe técnico que acompaña al anuncio detalla el método de OpenAI, textGrain, que fue co-autorado por investigadores de la Universidad de Pennsylvania y Yale. Demuestra un ejemplo de aplicar una clave secreta para clasificar las predicciones de la siguiente palabra con el fin de completar una oración. Al acumular cientos de tales ajustes, el detector puede identificar contenido generado por IA basándose únicamente en el texto y la clave.
La técnica depende de pequeños cambios en la selección de palabras que se acumulan a lo largo de un pasaje completo. Un detector construido a partir de la clave secreta puede identificar la secuencia, aunque el ojo humano no nota ninguna irregularidad. OpenAI comparó el procedimiento con una firma digital incrustada en el texto en sí.
Ponemos a prueba los límites
Las pruebas realizadas por OpenAI muestran que su marca de agua no es totalmente confiable. Un ensayo encontró que sustituir el 10% de las palabras por sinónimos redujo la detección de aproximadamente 92% a 66%. La compañía agregó que los pasajes breves, las respuestas matemáticas y el texto traducido son particularmente difíciles de identificar.
El lanzamiento depende de estas restricciones, con OpenAI afirmando que primero pondrá el detector a disposición solo de investigadores aprobados y organizaciones expertas, para que puedan ayudar a probar la confiabilidad y los usos responsables.
“[Las marcas de agua] pueden indicar que un sistema de OpenAI generó o procesó parte de un pasaje, pero no cuánto juicio humano, edición o creatividad se invirtió en él”, dijo la compañía.
Lo que la Marca de Agua Dice Realmente
El anuncio se produce dos meses después de que Anthropic dijo que marcaría con una marca de agua el texto generado por Claude, una medida que está aplicando a nivel mundial. Esa decisión generó reacciones negativas por parte de algunos usuarios de Claude, quienes argumentaron que habían proporcionado “las instrucciones, el contexto, las decisiones” mientras que Claude era “la herramienta”.
El enfoque de OpenAI difiere de una manera clave. La marca de agua no mide la contribución humana. Solo indica que el sistema de OpenAI estuvo involucrado en algún punto de la cadena. Un pasaje marcado con una marca de agua aún podría estar fuertemente editado por un humano después, y la marca viaja con el texto independientemente.
La cautela de OpenAI sobre este punto es explícita. La ausencia de una marca de agua “no prueba la autoría humana”, dijo la compañía. El texto podría ser demasiado corto o estar demasiado editado, o podría provenir de la IA de otra compañía.
El Antecedente de Esto
Hasta ahora, OpenAI había desarrollado una marca de agua para texto pero eligió no liberarla, según el informe del Wall Street Journal en 2024, citando preocupaciones de que las personas podrían pasar a servicios competidores que no incluyeran dicha marca.
La regulación ha cambiado el momento. La Ley de IA de la UE ha creado un requisito de cumplimiento, y OpenAI está trabajando para cumplirlo. El anuncio de la compañía enmarca el lanzamiento como una respuesta a la regulación, no como un truco de marketing.
Quién Más Está Marcando con una Marca de Agua
Un número de empresas de tecnología se han comprometido a adherirse al código de conducta de la UE para el contenido generado por IA, con Anthropic, Google, Meta, Microsoft y OpenAI entre las que han firmado.
El terreno está plagado de viajeros, y las rutas divergen ampliamente. El rumbo de OpenAI se ubica entre liberar el acceso a desarrolladores de una vez y retrasar el encendido de forma predeterminada en todo el mundo.
El Problema Difícil
En otras palabras, el desafío en cuestión es fácil de describir pero difícil de superar. El objetivo es una señal de agua que permanezca indetectable por los ojos humanos mientras sea detectada de forma confiable. Las propias pruebas de OpenAI demuestran cuán amplia es la brecha entre esos dos requisitos.
Aquí es donde se ubica la historia:
- La señal de agua es real y llegará pronto en la UE.
- No es un ajuste predeterminado global en el lanzamiento.
- Puede ser eliminada mediante edición.
- OpenAI no está afirmando que mida el esfuerzo humano.
La compañía ha lanzado la función mientras admite abiertamente la brecha en lugar de ocultarla. Su éxito dependerá de cuán lejos se extienda la señal de agua y cuán simple sea eliminarla.
Pruebas de OpenAI revelan que la señal de agua puede ser revertida a través de la edición, y la compañía admite que los pasajes breves, las respuestas matemáticas y el texto traducido son más difíciles de detectar. Estas debilidades son parte de la razón por la que está ofreciendo un acceso temprano al detector solo a investigadores aprobados y grupos expertos, lo que les permitirá evaluar cuán confiable es la herramienta y qué usos cuidadosos debería tener.
La firma presenta su señal de agua como una ayuda de detección en lugar de una garantía de confiabilidad. Indica que un sistema de OpenAI participó en la generación o el trabajo en un pasaje, pero no dice nada sobre cuánto juicio humano, edición u originalidad se incluyeron.
El anuncio tiene el peso de la presión regulatoria y el precedente competitivo. La decisión de Anthropic de señalizar Claude a nivel mundial generó reacciones negativas de algunos usuarios, quienes argumentaron que ellos habían proporcionado las instrucciones, el contexto y las decisiones mientras Claude era solo la herramienta. El enfoque de OpenAI difiere de una manera clave: la señal de agua no mide la contribución humana. Solo indica que un sistema de OpenAI estuvo involucrado en algún punto de la cadena.
La compañía ha admitido que su marca de agua puede ser eliminada a través de la edición, lo que significa que las personas podrían publicar texto con marca de agua presentándolo como trabajo escrito por humanos. Sus propias pruebas revelan una diferencia real entre cuán invisible es la marca de agua y cuán confiablemente funciona. OpenAI eligió lanzar la función con esa diferencia reconocida en lugar de mantenerla oculta.
Fuente: “OpenAI comenzará a marcar con una marca de agua el texto de ChatGPT en la UE,” TechCrunch.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.