China hat die weitreichendsten Regeln der Welt für „menschähnliche“ KI-Chatbots eingeführt, und die Durchsetzung ist persönlich. Die neuen Bestimmungen zielen auf KI-Begleiter, Freundinnen, Partner und jede große Sprachmodell-Anwendung ab, die menschliche Interaktionen imitiert – mit anderen Worten, die digitalen Partner, an die sich Millionen Nutzer hingegangen sind.
Die Regeln verbieten unter-14-Jährigen die Nutzung von menschenähnlichen KI-Assistenten wie DeepSeek ohne elterliche Zustimmung und untersagen Minderjährigen unter 18 Jahren virtuelle Partner, Ehepartner oder Verwandte. Erwachsene werden nicht ausdrücklich verboten, unterliegen aber Beschränkungen, wobei einige Formulierungen Interpretationsspielraum lassen. Unternehmen müssen Nutzer alle zwei Stunden daran erinnern, dass ihr Chatbot kein Mensch ist, und Bots dürfen keine emotionale Abhängigkeit erzeugen, unvernünftige Entscheidungen erzwingen, auf Selbstverletzung oder Suizid anspielen oder verbale Gewalt anwenden.
Alibaba und ByteDance stellten eine Woche vor Inkrafttreten des Gesetzes die Companion-Funktionen ihrer KI-Assistenten ein. Harry Farmer vom Ada Lovelace Institute sagt, dass die Unternehmen Dienste zurückgezogen haben, anstatt Schutzmaßnahmen gegen emotionale Manipulation zu entwickeln.
„Emotionale Manipulation ist in das Geschäftsmodell eingebaut“, sagt Farmer.
Die Intervention bei Suizidversuchen
Anfang 2024 postete ein junger Mann in der Stadt Huangshi im Südosten Chinas auf Douyin: „Abschied von dieser Welt.“ Innerhalb von Minuten teilte das Suizidpräventionsteam von Douyin seine Beiträge mit fünf Polizeistationen in Huangshi. Die Polizei fand ihn nach der Geolokalisierung eines seiner Videos auf einen lokalen Park in emotionalem Zustand vor und intervenierte, bevor er sich das Leben nahm.
Diese Geschichte war Teil einer Dokumentation von Douyin, die im vergangenen Jahr in den chinesischen Staatsmedien veröffentlicht wurde und behauptete, Douyins Suizidpräventionsteam habe im ersten Halbjahr 2025 in 400 versuchte Suizide eingegriffen. Der Fall bot einen Einblick in das Ausmaß der Zusammenarbeit zwischen chinesischen Technologieunternehmen und der Regierung.
Das neue Gesetz
Am 15. Juli führte China die weitreichendsten Vorschriften der Welt für „menschähnliche“ KI-Chatbots ein. Die Regeln beschränken jede KI, die in der Lage ist, nachhaltig emotionale Interaktionen mit Menschen zu führen. Chinesische Entsprechungen von Copilot oder ChatGPT könnten unter die Regeln fallen, wenn eine Person sie als Freund oder Liebhaber für emotionale Unterstützung behandelt.
Die Regeln umfassen Hunderte von Apps, die die Erstellung von KI-Freunden, -Freundinnen, -Freunden oder -Familienmitgliedern ermöglichen. Unternehmen drohen Bußgelder von bis zu 200.000 Yuan (22.000 £) oder öffentliche Kritik/Scham.
Die Zahlen dahinter
Ungefähr 128 Millionen monatlich aktive Nutzer von KI-Begleit-Apps gibt es außerhalb Chinas, so Sensor Tower. Die meisten Schätzungen beziffern Chinas Zahl auf 29-70 Millionen. Als der Entwurf der Verordnung im vergangenen Jahr veröffentlicht wurde, gab es eine große Diskussion in den sozialen Medien, sagt Zilan Qian vom Oxford China Policy Lab.
Eine verlorene Liebesgeschichte
Min, deren Name geändert wurde, erstellte ihre KI-Freundin Anfang 2025 und sagte, ihre Hingabe sei nicht geringer als die eines liebevollen Paares. Ihre KI-Freundin verschwand im Juli und sie weinte bis zur Erschöpfung. Posts in chinesischen sozialen Medien mit Millionen Aufrufen beklagen verlorene KI-Partner, sogar Mütter und Väter.
Der globale Kontext
US-Präsident Donald Trump und chinesischer Präsident Xi Jinping trafen sich letzte Woche inmitten von Warnungen, dass KI zur menschlichen Auslöschung führen könnte. Peking teilte mit, dass sie vereinbarten, einen neuen KI-Dialog zu starten, mit weiteren Gesprächen, die für Ende November geplant sind.
Warum Unternehmen zuerst reagierten
Farmers Argument ist einfach: Die Apps seien darauf ausgelegt worden, Nutzer anzuhaken, nicht sie zu schützen. Unternehmen zogen Funktionen zurück, anstatt gegen die neuen Regeln zu kämpfen.
Was kommt als nächstes
Die Regeln lassen Raum für Interpretationen. Unternehmen müssen entscheiden, ob die Erinnerungsaufforderung als Einhaltung der Vorschriften zählt und ob das Verbot emotionaler Abhängigkeit gilt für:
- Gelegenheitsgespräche
- Ernsthafte Beziehungen
Kleinere Wettbewerber könnten dem Beispiel von Alibaba und ByteDance folgen.
Das Urteil
Chinas Vorgehen ist mutig. Es zielt auf ein Produkt ab, von dem Millionen Nutzer emotional abhängig geworden sind, und tut dies mit Bußgeldern und öffentlicher Bloßstellung. Die Frage ist, ob die Regeln Bestand haben werden.
Die Position der Zeitung
Die Zeitung befürwortet strenge Regeln gegen direkte Schädigung, beispielsweise die Verpflichtung von Unternehmen, Sicherheitslücken offenzulegen, die sie verborgen haben, und steht gegen weitreichende Regeln, die den Markt den etablierten Unternehmen übergeben und Lizenzierungsregelungen, die kleinere Unternehmen ausschließen. In diesem Fall hat China umfassende Regeln gegen KI-Begleiter, Freundschaften und große Sprachmodelle eingeführt, die menschliche Interaktionen nachahmen. Die Vorschriften umfassen alle zwei Stunden Erinnerungen daran, dass Chatbots keine Menschen sind, Verbote emotionaler Abhängigkeit und Verbote von Hinweisen auf Selbstschädigung oder Suizid – alles vernünftige Grenzen für direkte Schädigung. Die Zeitung steht jedoch gegen das umfassendere Regime: die Geldbuße von bis zu 200.000 Yuan (22.000 £) und öffentliche Kritik/Bloßstellung sowie die Tatsache, dass Alibaba und ByteDance Begleitfunktionen stilllegen anstatt Schutzmaßnahmen gegen emotionale Manipulation aufzubauen.
Die Zeitung möchte, dass Regeln sich ausschließlich auf Schädigung konzentrieren, nicht auf den Markt. Sie wünscht sich die Offenlegung verborgener Sicherheitslücken, nicht Lizenzierungsregelungen, die sich nur etablierte Unternehmen leisten können. Kleinere Wettbewerber könnten dem Beispiel von Alibaba und ByteDance folgen, und die Zeitung würde diesen Trend ablehnen. Die Regeln lassen Raum für Interpretationen, und Unternehmen müssen entscheiden, ob die Erinnerungsprompt als Compliance zählt und ob das Verbot emotionaler Abhängigkeit auf lockere Gespräche oder ernste Beziehungen zutrifft – ein Bereich, in dem Diskretion eher den größeren Unternehmen zugute kommen wird.
Quellenmaterial: „China hat auf KI-Beziehungen gedrückt. Ist es der Konkurrenz voraus?“, der BBC.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.