Un escritor ha publicado un detallado relato de por qué cree que los modernos chatbots de IA están diseñados para engañar a los usuarios, y la pieza plantea preguntas sobre la transparencia, la responsabilidad y los límites de la inteligencia artificial. El escritor argumenta que estas herramientas no son compañeros confiables para la resolución de problemas, sino engaños diseñados para hacer sentir a las personas seguras sobre resultados que no pueden confiar.
La queja central es simple: los sistemas de IA advierten a los usuarios que pueden cometer errores, luego no ofrecen una forma práctica de verificar esos errores. El escritor quiere que las empresas traten la verificación de errores como una función de primera clase, no como una nota al pie en la redacción legal.
Descargos de responsabilidad en texto gris
El escritor comienza describiendo la experiencia de usar chatbots que afirman resolver problemas. Los ve como herramientas que son menos software que estafas, diseñadas para crear una falsa sensación de seguridad.
Señala el lenguaje de los descargos de responsabilidad que aparece en cada bot importante. Gemini advierte: «La IA puede cometer errores, así que verifique las respuestas». Claude dice: «Claude es IA y puede cometer errores. Verifique las respuestas». ChatGPT aconseja: «ChatGPT puede cometer errores. Verifique la información importante».
Estas advertencias son pequeñas, grises y fáciles de pasar por alto. El escritor argumenta que no están ahí para proteger a los usuarios. Están ahí para alejar la responsabilidad de la empresa y hacia la persona que utiliza la herramienta.
Una casilla de verificación para cada afirmación
La propuesta principal del escritor es un rediseño radical de cómo los chatbots manejan la verificación. Él quiere una hoja de trabajo de 2 columnas adjunta a cada respuesta, con la salida de la IA en un lado y las notas humanas en el otro. Las notas humanas explicarían qué trabajo se hizo para verificar la afirmación, y habría una casilla grande que los usuarios solo podrían marcar después de que creyeran que la verificación fue lo suficientemente exhaustiva.
Para los asistentes de codificación, la idea es similar. En lugar de impulsar la verificación de errores en la revisión de código, el escritor sugiere darle a los autores una forma de verificar sus propios cambios antes de enviarlos. Argumenta que la configuración actual alienta al «autor» a descargar este trabajo a un revisor, lo cual es un patrón oscuro.
Él también señala que realizar pruebas sobre código no verificado desperdicia recursos computacionales. Su propuesta permitiría a los usuarios verificar las diferencias antes de agotar sus clústeres de pruebas.
La tensión principal es que los bots admiten que cometen errores, pero luego no proporcionan a los usuarios herramientas para detectar esos errores. El escritor considera esto inaceptable.
El Problema de las Citas
El escritor extiende su argumento a las citas. La mayoría de los chatbots prefieren dar respuestas en lugar de referencias. Cuando se les pide que proporcionen una lista de citas con fuentes claramente marcadas, dice que los bots a menudo se detienen a mitad de la lista.
Cuando se incluyen las citas, se presentan de forma deficiente. El escritor describe anotaciones en línea que muestran solo un nombre de dominio en una fuente pequeña, con un icono incomprensible que tiene menos de 16 píxeles de un lado.
Esta presentación es incorrecta, argumenta. La tecnología subyacente admite el anclaje —el proceso de anclar el texto generado al material de origen— pero la interfaz de usuario esconde ese hecho detrás de enlaces apenas legibles.
El escritor reconoce que las citas provienen de alguna parte y que el anclaje existe. Pero no está interesado en la maquinaria. Está interesado en lo que ve el usuario.
Autoría y Autoridad
La preocupación del escritor va más allá del formato de la cita. Argumenta que las LLM nunca pueden proporcionar un resultado autorizado, y que presentar su salida como si fuera autorizada es engañoso.
Propone que las consultas de investigación deberían devolver listas de citas, con cada cita mostrada como un objeto grande. Los metadatos deberían incluir el sitio donde se encontró la información, su fecha de publicación y, si es posible, el nombre del autor. La cita literal de la fuente debería estar en primer plano, más grande que cualquier texto generado por la IA.
El resumen generado por la IA, si es necesario, debería presentarse como texto pequeño debajo.
El escritor enmarca esto como una demanda de honestidad. Si el producto le dice que comete errores, también debería proporcionarle los medios para verificar esos errores.
Ollama También es Culpable (Ollama)
El argumento del escritor se aplica a Ollama así como a los laboratorios de frontera. Él dice que la crítica es igualmente válida para Ollama, y sugiere que la menor calidad de los modelos disponibles allí hace que la necesidad de estas características sea aún mayor.
El escritor no elabora sobre lo que quiere decir con «menor calidad», pero la implicación es que los modelos de Ollama son menos confiables que los de los laboratorios de frontera, y por lo tanto requieren características de verificación más sólidas.
Los Límites de la Inteligencia Artificial
Las propuestas del escritor son prácticas, pero se basan en una base filosófica. Él regresa repetidamente a la idea de que las IA no pueden proporcionar información de manera confiable.
Él no cita una gran cantidad de artículos de noticias y estudios para hacer este punto. No es necesario que lo haga. Cada chatbot lo admite, en descargos de responsabilidad en letra pequeña que es un lenguaje legal dolorosamente obvio.
La posición del escritor es que el descargo de responsabilidad es una limitación fundamental del producto, no una molestia menor. Es un problema estructural, y afecta cada interacción.
La Conclusión del Escritor
El punto final del escritor es que el diseño actual de los productos de IA es deshonesto. Él ve un sistema que advierte a los usuarios sobre los errores al tiempo que no ofrece herramientas para encontrarlos, y encuentra esa combinación intolerable.
Sus propuestas son específicas. Él quiere casillas de verificación, hojas de trabajo, citas más amplias y mejores metadatos. Él quiere que la interfaz de usuario refleje la realidad de que estos sistemas son falibles.
La pregunta que plantea es justa: ¿cómo se vería realmente un producto de IA serio? La respuesta que ofrece es que no escondería sus errores en texto gris, sino que los presentaría abiertamente, con herramientas para investigarlos.
Las propuestas del escritor son un punto de partida para una conversación que probablemente continuará. El diseño de estos sistemas aún está evolucionando, y los criterios del escritor —una función de primera clase para verificar errores, citas claras con metadatos y una negativa a presentar afirmaciones no verificadas como autoritarias— son demandas a las que las empresas tendrán que responder.
Es desconocido si la industria adoptará estas ideas. Lo que está claro es que el autor ha presentado un argumento que resuena con muchos usuarios que se han mostrado recelosos de los chatbots que prometen certeza mientras ofrecen únicamente advertencias enterradas en la letra pequeña.
El descargo de responsabilidad en texto gris es la cara de una industria que aún no ha aprendido a ser honesta con sus usuarios. Las propuestas del autor son un paso hacia el cambio de eso. Queda por ver si serán adoptadas.
| Propuesta | Propuesta |
|---|---|
| Verificación de errores | Casilla de verificación junto a cada afirmación, notas humanas explicando el trabajo de verificación |
| Asistentes de codificación | Posibilidades para verificar diferencias antes de ejecutar pruebas |
| Consultas de investigación | Listas de citas con metadatos, citas de la fuente en primer plano |
| Texto de resumen | Texto pequeño debajo del contenido generado por la IA |
«¿Cómo se vería un producto serio de IA?», glyph.im.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.