Ein Autor hat einen detaillierten Bericht veröffentlicht, in dem er darlegt, warum er glaubt, moderne KI-Chatbots seien darauf ausgelegt, Nutzer zu täuschen, und der Artikel wirft Fragen zu Transparenz, Verantwortlichkeit und den Grenzen der maschinellen Intelligenz auf. Der Autor argumentiert, dass diese Werkzeuge keine zuverlässigen Problemlösungspartner, sondern Betrügereien seien, die darauf abzielen, Menschen ein Gefühl der Sicherheit bei Ausgaben zu vermitteln, denen sie nicht vertrauen können.
Die zentrale Beschwerde ist einfach: KI-Systeme warnen Nutzer vor möglichen Fehlern, bieten dann aber keine praktische Möglichkeit, diese Fehler zu überprüfen. Der Autor möchte, dass Unternehmen die Fehlerprüfung als eine vollwertige Funktion behandeln, nicht als einen Fußnote im rechtlichen Kleingedruckten.
Rechtliche Hinweise in Grautönen
Der Autor beginnt mit der Beschreibung der Erfahrung, Chatbots zu verwenden, die vorgeben, Probleme zu lösen. Er sieht sie als Werkzeuge, die weniger Software als vielmehr Betrugsmaschen darstellen, die dazu bestimmt sind, ein falsches Gefühl der Sicherheit zu erzeugen.
Er weist auf die Disclaimer-Sprache hin, die auf jedem großen Bot erscheint. Gemini warnt: „KI kann Fehler machen, überprüfen Sie also Antworten.“ Claude sagt: „Claude ist KI und kann Fehler machen. Bitte überprüfen Sie Antworten.“ ChatGPT rät: „ChatGPT kann Fehler machen. Überprüfen Sie wichtige Informationen.“
Diese Warnungen sind klein, grau und leicht zu übersehen. Der Autor argumentiert, dass sie nicht dazu da sind, Nutzer zu schützen. Sie sind dazu da, die Verantwortung von der Firma wegzudrücken und auf die Person zu verlagern, die das Werkzeug benutzt.
Ein Kontrollkästchen für jede Behauptung
Der Hauptvorschlag des Autors ist ein radikales Redesign der Art und Weise, wie Chatbots Verifizierungen handhaben. Er möchte eine 2-Spalten-Arbeitsblatt an jede Antwort anhängen, mit der KI-Ausgabe auf der einen Seite und menschlichen Notizen auf der anderen. Die menschlichen Notizen würden erklären, welche Arbeit in die Überprüfung der Aussage gesteckt wurde, und es gäbe ein großes Kontrollkästchen, das Nutzer erst ankreuzen könnten, wenn sie glaubten, die Überprüfung sei gründlich genug gewesen.
Für Programmierassistenten ist die Idee ähnlich. Anstatt die Fehlerprüfung in die Code-Überprüfung zu verlagern, schlägt der Autor vor, Autoren eine Möglichkeit zu geben, ihre eigenen Änderungen zu überprüfen, bevor sie diese senden. Er argumentiert, dass die aktuelle Konfiguration den „Autor“ dazu ermutigt, diese Arbeit an einen Prüfer abzugeben, was ein dunkles Muster darstellt.
Er weist außerdem darauf hin, dass das Testen von nicht verifiziertem Code Rechenressourcen verschwendet. Sein Vorschlag würde es Nutzern ermöglichen, Diff-Dateien zu überprüfen, bevor sie ihre Test-Cluster erschöpfen.
Der Kernpunkt ist, dass die Bots eingestehen, Fehler zu machen, aber Nutzern keine Werkzeuge an die Hand geben, um diese Fehler zu erkennen. Der Verfasser findet dies inakzeptabel.
Das Zitationsproblem
Der Verfasser erweitet seine Argumentation auf Zitate. Die meisten Chatbots bevorzugen es, Antworten zu geben, anstatt Referenzen anzugeben. Wenn er sie auffordert, eine Liste von Zitaten mit eindeutig gekennzeichneten Quellen bereitzustellen, sagt er, die Bots hören oft mitten in der Liste auf.
Wenn Zitate enthalten sind, werden diese schlecht präsentiert. Der Verfasser beschreibt Inline-Annotationen, die nur einen Domänennamen in einer winzigen Schriftart anzeigen, zusammen mit einem nicht entzifferbaren Symbol, das weniger als 16 Pixel groß ist.
Diese Präsentation sei rückwärts, argumentiert er. Die zugrunde liegende Technologie unterstützt das Grounding – den Prozess der Verankerung generierten Textes an Ausgangsmaterial – aber die Benutzeroberfläche verbirgt diese Tatsache hinter kaum lesbaren Links.
Der Verfasser räumt ein, dass Zitate von irgendwoher stammen und dass Grounding existiert. Aber er ist nicht an der Mechanik interessiert. Er ist daran interessiert, was der Nutzer sieht.
Urheberschaft und Autorität
Die Besorgnis des Verfassers geht über die Zitierformatierung hinaus. Er argumentiert, dass LLMs niemals ein autoritatives Ergebnis liefern können, und dass die Präsentation ihrer Ausgabe als autoritativ irreführend ist.
Er schlägt vor, dass Forschungsanfragen Listen von Zitaten zurückgeben sollten, wobei jedes Zitat als großes Objekt angezeigt wird. Die Metadaten sollten die Website enthalten, auf der die Informationen gefunden wurden, das Publikationsdatum und, falls möglich, den Namen des Autors. Das wörtliche Zitat aus der Quelle sollte im Vordergrund stehen, größer als jeder von der KI generierte Text.
Die von der KI generierte Zusammenfassung sollte, falls erforderlich, als kleiner Text darunter dargestellt werden.
Der Verfasser formuliert dies als Forderung nach Ehrlichkeit. Wenn das Produkt sagt, dass es Fehler macht, sollte es dem Nutzer auch die Möglichkeit geben, diese Fehler zu überprüfen.
Ollama ist ebenfalls schuldig (Ollama ist ebenfalls schuldig)
Das Argument des Autors gilt sowohl für Ollama als auch für die Frontier Labs. Er sagt, dass die Kritik ebenso für Ollama gilt, und schlägt vor, dass die geringere Qualität der dort verfügbaren Modelle die Notwendigkeit dieser Funktionen noch verstärkt.
Der Autor geht nicht näher darauf ein, was er mit „geringerer Qualität“ meint, aber die Implikation ist, dass Ollamas Modelle weniger zuverlässig sind als die der Frontier Labs und daher stärkere Verifikationsfunktionen erfordern.
Die Grenzen der maschinellen Intelligenz
Die Vorschläge des Autors sind praktikabel, beruhen aber auf einer philosophischen Grundlage. Er kehrt wiederholt zu der Idee zurück, dass AIs keine verlässlichen Informationen liefern können.
Er zitiert keine Fülle von Nachrichtenartikeln und Studien, um diesen Punkt zu belegen. Er muss es auch nicht. Jeder Chatbot räumt es ein, in feingedruckten Haftungsausschlüssen, die eine qualvoll offensichtliche juristische Formulierung darstellen.
Die Position des Autors ist, dass der Haftungsausschluss eine Kernbeschränkung des Produkts darstellt, nicht nur eine geringe Unannehmlichkeit. Es handelt sich um ein strukturelles Problem, das jede Interaktion beeinflusst.
Der Autorschluss (Der Autorschluss)
Der letzte Punkt des Autors ist, dass das aktuelle Design von KI-Produkten unehrlich ist. Er sieht ein System, das Benutzer vor Fehlern warnt, aber keine Werkzeuge anbietet, um diese zu finden, und findet diese Kombination unerträglich.
Seine Vorschläge sind konkret. Er möchte Kontrollkästchen, Arbeitsblätter, größere Zitate und bessere Metadaten. Er möchte, dass die Benutzeroberfläche die Realität widerspiegelt, dass diese Systeme fehleranfällig sind.
Die Frage, die er stellt, ist fair: Wie würde ein seriöses KI-Produkt eigentlich aussehen? Die Antwort, die er gibt, ist, dass es seine Fehler nicht in grauem Text verstecken würde, sondern sie offen darlegen und Werkzeuge zur Untersuchung bereitstellen würde.
Die Vorschläge des Autors sind ein Ausgangspunkt für eine Diskussion, die wahrscheinlich weitergehen wird. Das Design dieser Systeme entwickelt sich noch weiter, und die Kriterien des Autors – ein erstklassiges Feature zur Fehlersuche, klare Zitate mit Metadaten und die Weigerung, nicht verifizierte Behauptungen als autoritativ darzustellen – sind Forderungen, auf die Unternehmen Antworten liefern müssen.
Ob die Branche diese Ideen übernehmen wird, ist ungewiss. Klar ist, dass der Autor eine Argumentation vorgebracht hat, die bei vielen Nutzern Anklang findet, die zunehmend misstrauisch gegenüber Chatbots geworden sind, die Sicherheit versprechen, aber nur Warnungen im Kleingedruckten liefern.
Die grauen Text-Haftungsausschlüsse sind das Gesicht einer Branche, die noch nicht gelernt hat, ehrlich mit ihren Nutzern zu sein. Die Vorschläge des Autors sind ein Schritt zur Veränderung. Ob sie übernommen werden, bleibt abzuwarten.
| Feature | Proposal |
|---|---|
| Error checking | Kontrollkästchen neben jeder Behauptung, menschliche Notizen zur Erklärung der Verifizierungsarbeit |
| Coding assistants | Möglichkeiten zur Prüfung von Unterschieden vor dem Ausführen von Tests |
| Research queries | Listen von Zitationen mit Metadaten, Quellenangaben mit Zitaten im Vordergrund |
| Summary text | Kleiner Text unterhalb des von der KI generierten Inhalts |
„Wie würde ein seriöses KI-Produkt aussehen?”, glyph.im.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.