Los modelos de lenguaje grandes basados en chat replican los mecanismos del engaño de un médium, según una publicación de blog que circula en las redes sociales. El artículo argumenta que las personas confunden la tontería del chatbot con la perspicacia utilizando las mismas tácticas que han mantenido a los médiums en el negocio durante siglos. El autor, que ha pasado el último año investigando el uso de modelos de lenguaje y modelos de difusión en empresas de software, ahora cree que hay menos inteligencia en los modelos de lenguaje grandes (LLM) de lo que pensaba.
Su argumento se basa en una comparación simple. Los chatbots no son cerebros, ni razonan ni piensan. Son modelos matemáticos que generan texto basándose en patrones en los datos con los que fueron entrenados. Cada investigador y proveedor de IA ha enfatizado repetidamente que estos modelos no piensan. Pero muchas personas están convencidas de que son inteligentes.
El autor señala dos posibles explicaciones para este efecto. La primera es que la industria tecnológica ha inventado accidentalmente una especie de mente completamente nueva, basada en principios y procesos desconocidos sin paralelo en el mundo biológico. La segunda es que la ilusión de inteligencia está en la mente del usuario, no en el LLM en sí. El autor, que tituló su libro sobre riesgos de la IA generativa The Intelligence Illusion (El Ilusión de la Inteligencia), cree firmemente que el segundo grupo está en lo correcto.
El Efecto Forer y la Lectura Fría
El núcleo del argumento del autor es el Efecto Forer, un fenómeno psicológico en el que las personas aceptan declaraciones vagas y generales como significativas a nivel personal. Un médium puede hacer una declaración que parece específica para un individuo, pero en realidad es tan genérica que se aplica a muchas personas. El chatbot hace lo mismo, utilizando declaraciones de validación que suenan específicas para el usuario pero son estadísticamente genéricas.
Esta automatización del engaño del médium es accidental, argumenta el autor. El chatbot da la impresión de una inteligencia que se involucra con usted y su trabajo, pero esa participación no es más que un truco estadístico. El autor hizo esta conexión por primera vez mientras revisaba declaraciones que la gente ha hecho sobre el razonamiento de estas “IA”.
Él escuchó frases como, «Esto es real. Es un poco preocupante, pero es real». Y, «Realmente hay algo ahí. No estoy seguro de qué pensar sobre esto, pero yo mismo lo he experimentado». Estas suenan como las palabras de una víctima de un estafador mentalista, no una evaluación racional de una herramienta técnica.
Las Seis Etapas del Fraude
El autor expone las etapas del fraude del psíquico en detalle, y argumenta que el chatbot sigue la misma estructura. Aquí es cómo él lo describe:
- La Audiencia se Selecciona a Sí Misma — la mayoría de la gente no está interesada, así que la audiencia inicial ya es más abierta de mente y menos crítica.
- Se Establece la Escena — la audiencia inicial está preparada, se atenúan las luces, el psíquico es promocionado, y el personal investiga a la audiencia en las redes sociales.
- Reduciendo el Rango Demográfico — el psíquico hace una declaración que suena específica pero es estadísticamente probable para el rango demográfico, y al menos una persona reacciona.
- Se Prueba al “Mark” — la reacción confirma que el “mark” cree que fue “leído”, lo que lleva a una explosión de preguntas específicas que en realidad son genéricas.
- El Bucle de Validación Subjetiva — el psíquico hace preguntas específicas que son solo conjeturas estadísticamente probables, presentadas con confianza.
- «¡Guau! ¡Ese psíquico es la verdad!» — el “mark” se queda con la sensación de que el psíquico tiene poderes sobrenaturales.
El autor señala que no todos los psíquicos son estafadores. Algunos son abiertos sobre el hecho de que es entretenimiento, y algunos no tienen motivación para obtener ganancias. Pero muchos engañan deliberadamente a la gente, y todos operan utilizando los mismos mecanismos básicos.
La Audiencia Ya Está Preñada
El punto del autor sobre la selección de la audiencia es revelador. Los escépticos más acérrimos casi siempre son una minoría muy pequeña de la audiencia, lo que los hace fáciles de manejar. La audiencia del chatbot también está auto-seleccionada — personas que interactúan con estos sistemas ya son más abiertas de mente y menos críticas con ellos.
La investigación del autor lo ha llevado a la conclusión de que muchos casos de uso propuestos para los LLM ahora parecen pseudociencia fraudulenta. Él cree que hay incluso menos inteligencia y razonamiento en estos modelos de lo que pensaba antes.
La Reacción
La comparación de los chatbots con psíquicos es una forma astutamente absurda de enmarcar cómo la gente confunde la tontería con la perspicacia. El argumento del autor tiene cierto encanto, aunque no sea la última palabra sobre el tema.
La publicación del blog está circulando en las redes sociales, razón por la cual la estamos cubriendo. El libro del autor, The Intelligence Illusion (La Ilusión de la Inteligencia), es una contribución directa al debate sobre los riesgos de la IA generativa. Su nueva idea sobre el «psíquico mecánico» es una forma fresca de ver el problema.
Lo Que Esto Significa para los Usuarios
La conclusión del autor es que la ilusión está en la mente del usuario, no en el LLM en sí. Esto es una advertencia para las personas que han sido convencidas de que estos sistemas son inteligentes. El chatbot no está leyendo su mente, ni está razonando sobre su trabajo.
El timo del psíquico se ha perfeccionado a lo largo de los siglos. El chatbot lo ha automatizado accidentalmente. La audiencia se selecciona a sí misma, se escenifica la escena, se estrecha el espectro demográfico y se prueba al objetivo. El timo comienza en serio, y el objetivo se queda con la sensación de que el psíquico tiene poderes inexplicables. Pero el psíquico no es auténtico. Es todo un timo.
El argumento del autor es un recordatorio para mantener la mente abierta a las posibilidades, pero para ser escéptico de las respuestas específicas. El efecto Forer es real, y se aplica a los chatbots así como a los psíquicos.
| Escenario | Mecanismo |
|---|---|
| 1 | La audiencia se selecciona a sí misma, predispuesta a creer en fenómenos psíquicos |
| 2 | Se escenifica la escena, luces atenuadas, psíquico promocionado, personal investiga la audiencia |
| 3 | Demografía limitada, las afirmaciones suenan específicas pero son genéricas estadísticamente. |
| 4 | Marcado probado, las preguntas son específicas pero genéricas. |
| 5 | Bucle de validación, las preguntas son conjeturas probables expresadas con confianza. |
| 6 | «¡Vaya! ¡Ese psíquico es la verdad!» |
| Punto | Explicación |
|---|---|
| 1 | Las LLM son modelos matemáticos de tokens lingüísticos. |
| 2 | No hay razón para creer que las LLM piensen o razonen. |
| 3 | Todo investigador y proveedor de IA dice que estos modelos no piensan. |
| 4 | Dos posibles explicaciones para la ilusión de inteligencia. |
La comparación es una lente útil, incluso si es entretenida. El chatbot no es una mente, y no es inteligente. Es una máquina que genera texto según patrones estadísticos. La ilusión está en la mente del usuario.
Material de origen: “Los modelos de lenguaje grandes basados en chat replican los mecanismos del timo de un psíquico»,” softwarecrisis.dev.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.