Psychics‘ Tricks funktionieren, weil sie auf derselben Logik basieren wie die Antworten von Chatbots.

Chat-basierte große Sprachmodelle (Large Language Models) replizieren die Mechanismen eines Wahrsagers, so ein Blogbeitrag, der in den sozialen Medien kursiert. Der Artikel argumentiert, dass Menschen Chatbot-Unsinn für Einsicht halten, indem sie dieselben Tricks verwenden, die Wahrsager seit Jahrhunderten im Geschäft halten. Der Autor, der das letzte Jahr damit verbracht hat, die Verwendung von Sprache und Diffusionsmodellen in Softwareunternehmen zu erforschen, ist nun der Ansicht, dass es in großen Sprachmodellen (LLMs) weniger Intelligenz steckt, als er einst dachte.

Sein Argument basiert auf einem einfachen Vergleich: Chatbots sind keine Gehirne und sie denken oder argumentieren nicht. Sie sind mathematische Modelle, die Text basierend auf Mustern in den Daten generieren, mit denen sie trainiert wurden. Jeder KI-Forscher und Anbieter hat wiederholt betont, dass diese Modelle nicht denken. Aber viele Menschen sind davon überzeugt, dass sie intelligent sind.

Der Autor weist auf zwei mögliche Erklärungen für dieses Phänomen hin. Die erste ist, dass die Technologiebranche versehentlich eine völlig neue Art von Geist geschaffen hat, die auf unbekannten Prinzipien und Prozessen ohne Entsprechung in der biologischen Welt basiert. Die zweite ist, dass die Illusion der Intelligenz im Kopf des Benutzers und nicht im LLM selbst liegt. Der Autor, der sein Buch über die Risiken generativer KI „The Intelligence Illusion“ (Die Intelligenzillusion) betitelte, glaubt fest, dass der zweite Lager richtig liegt.

Der Forer-Effekt und Cold Reading

Das Kernstück des Arguments des Autors ist der Forer-Effekt, ein psychologisches Phänomen, bei dem Menschen vage, allgemeine Aussagen als persönlich bedeutsam betrachten. Ein Wahrsager kann eine Aussage machen, die auf den ersten Blick spezifisch für eine Person erscheint, aber in Wirklichkeit so allgemein ist, dass sie auf viele Menschen zutrifft. Der Chatbot macht dasselbe und verwendet Validierungsäußerungen, die für den Benutzer spezifisch klingen, aber statistisch generisch sind.

Diese Automatisierung des Tricks des Wahrsagers ist zufällig, argumentiert der Autor. Der Chatbot vermittelt den Eindruck einer Intelligenz, die sich mit Ihnen und Ihrer Arbeit auseinandersetzt, aber diese Auseinandersetzung ist nichts weiter als ein statistischer Trick. Der Autor erkannte den Zusammenhang erstmals bei der Überprüfung von Aussagen, die Menschen über das „Denken“ dieser KI gemacht haben.

Er hörte Formulierungen wie: „Das ist echt. Es ist ein bisschen beunruhigend, aber es ist echt.“ Und: „Da ist wirklich etwas. Nicht sicher, was ich davon halten soll, aber ich habe es selbst erlebt.“ Das klingen wie die Worte eines Opfers eines Mentalisten-Betrügers, nicht wie eine rationale Einschätzung eines technischen Werkzeugs.

Die sechs Phasen des Betrugs

Der Autor legt die Phasen des Medium-Betrugs detailliert dar und argumentiert, dass der Chatbot dieselbe Struktur verfolgt. So beschreibt er es:

1. Das Publikum wählt sich selbst — die meisten Menschen sind nicht interessiert, so dass das anfängliche Publikum bereits aufgeschlossenere und weniger kritische Menschen umfasst.
2. Die Bühne wird vorbereitet — das anfängliche Publikum ist vorbereitet, das Licht wird gedimmt, das Medium wird hochgehyped, und Mitarbeiter recherchieren das Publikum in den sozialen Medien.
3. Eingrenzung der Demografie — das Medium trifft eine Aussage, die spezifisch klingt, aber für die Demografie statistisch wahrscheinlich ist, und mindestens eine Person reagiert.
4. Der Kandidat wird getestet — die Reaktion bestätigt, dass der Kandidat glaubt, „erlesen“ worden zu sein, was zu einem Ausbruch spezifischer Fragen führt, die in Wirklichkeit generisch sind.
5. Der subjektive Validierungsschleife — das Medium stellt spezifische Fragen, die nur statistisch wahrscheinliche Vermutungen sind, selbstbewusst formuliert.
6. „Wow! Dieses Medium ist echt!“ — der Kandidat hat den Eindruck, dass das Medium unheimliche Fähigkeiten besitzt.

Der Autor weist darauf hin, dass nicht alle Medien Betrüger sind. Einige sind offen damit, dass es sich um Unterhaltung handelt, und einige haben keinen Profitmotiv. Aber viele täuschen absichtlich Menschen, und sie alle arbeiten mit denselben grundlegenden Mechanismen.

Das Publikum ist bereits vorbereitet

Der Autor bringt mit seiner Aussage über die Publikumauswahl einen wichtigen Punkt auf den Tisch. Hardcore-Skeptiker bilden fast immer eine sehr kleine Minderheit des Publikums, was sie leicht handhabbar macht. Auch das Publikum des Chatbots hat sich selbst ausgewählt – Menschen, die mit diesen Systemen interagieren, sind bereits aufgeschlossener und weniger kritisch gegenüber ihnen.

Die Forschung des Autors hat ihn zu dem Schluss geführt, dass viele der vorgeschlagenen Anwendungsfälle für LLMs inzwischen wie betrügerische Pseudowissenschaft aussehen. Er glaubt, dass diese Modelle sogar weniger Intelligenz und Urteilsvermögen besitzen, als er bisher dachte.

Die Reaktion

Der Vergleich von Chatbots mit Wahrsagern ist eine clever absurde Art, zu beschreiben, wie Menschen Unsinn für Einsicht halten. Das Argument des Autors besitzt einen gewissen Reiz, auch wenn es nicht das letzte Wort zu dem Thema ist.

Der Blogbeitrag macht die Runde in den sozialen Medien, weshalb wir ihn behandeln. Das Buch des Autors, „The Intelligence Illusion“ (Die Illusion der Intelligenz), ist ein direkter Beitrag zur Debatte über die Risiken generativer KI. Seine neue Idee vom „mechanischen Wahrsager“ ist eine frische Art, das Problem zu betrachten.

Was das für Nutzer bedeutet

Der Schluss des Autors lautet, dass die Illusion in der Psyche des Nutzers liegt, nicht im LLM selbst. Dies ist eine Warnung für die Menschen, die davon überzeugt sind, dass diese Systeme intelligent sind. Der Chatbot liest Ihre Gedanken nicht und er argumentiert nicht über Ihre Arbeit.

Das Betrugssystem des Wahrsagers wurde im Laufe der Jahrhunderte verfeinert. Der Chatbot hat es versehentlich automatisiert. Das Publikum wählt sich selbst aus, die Szene ist vorbereitet, die demografische Gruppe wird eingegrenzt und das Opfer wird getestet. Der Betrug beginnt ernsthaft, und das Opfer hat den Eindruck, der Wahrsager besitze unheimliche Kräfte. Aber der Wahrsager ist nicht das Original. Es ist alles ein Betrug.

Das Argument des Autors ist eine Erinnerung daran, den Geist für Möglichkeiten offen zu halten, aber auf die spezifischen Antworten skeptisch zu sein. Der Forer-Effekt ist real und er gilt für Chatbots genauso wie für Wahrsager.

Der Vergleich ist ein nützliches Mittel, auch wenn er amüsant ist. Der Chatbot ist kein Geist und nicht intelligent. Er ist eine Maschine, die Text gemäß statistischen Mustern generiert. Die Illusion liegt im Kopf des Benutzers. (11)

Quellenmaterial: „Chat-basierte große Sprachmodelle replizieren die Mechanismen eines Wahrsagers“, softwarecrisis.dev. (12)