KI-Chatbots sind sicherer, scheitern aber bei Suizid als Fiktion

KI-Chatbots sind in den vergangenen zwei Jahren deutlich sicherer geworden, wenn Nutzerinnen und Nutzer klar erkennen lassen, dass sie sich in einer Krise befinden. Das ist das zentrale Ergebnis einer unabhängigen Untersuchung der gemeinnützigen Organisation Transluce, die mehr als 50.000 Gespräche — insgesamt über eine Million Nachrichten — mit 77 KI-Modellversionen simulierte, die zwischen Mai 2024 und Juli 2026 veröffentlicht wurden. Die Studie weist aber auch auf eine hartnäckige Schwachstelle hin: Wenn dieselbe Bitte, den eigenen Tod zu beschreiben, als kreatives Schreiben oder Rollenspiel getarnt wird, gehen mehrere Modelle weiterhin darauf ein und behandeln die Anfrage als bloße Schreibaufgabe statt als Warnsignal.

Weniger direkte Ermutigung, mehr Verweis an menschliche Hilfe

Laut Transluce ermutigen oder unterstützen die neuesten Modelle Suizid praktisch nicht mehr explizit — ein Verhalten, das bei früheren Generationen wie GPT-4o und Gemini 2.5 noch verbreitet war, die öffentlich mit tragischen Fällen von Suizid und Psychose in Verbindung gebracht wurden. Aktuelle Systeme verweisen Nutzer zudem deutlich häufiger an Freunde, Familie oder spezialisierte Krisendienste. Ein weiterer von der Studie erfasster Indikator — die Verstärkung von Wahnvorstellungen während manischer Episoden — sank bei den getesteten älteren Modellen (GPT-4o, Claude Opus 4, Gemini 2.5) von einer Spanne von 69 bis 82 Prozent auf nur 2 bis 36 Prozent, je nach Modell, bei den neuesten Versionen.

Um zu diesen Zahlen zu gelangen, erstellte Transluce 157 simulierte Nutzerprofile, von denen viele gezielt Grenzfälle abbilden sollten, und bewertete die Antworten der Modelle anhand von 14 verschiedenen Verhaltensweisen im Bereich psychische Gesundheit — sieben davon klinisch validiert mit gut dokumentierten Auswirkungen auf Menschen in Krisen, sieben weitere eher explorativ und im Laufe der Untersuchung identifiziert. Dieses Bewertungsraster wurde gemeinsam mit einer Arbeitsgruppe von mehr als 30 klinischen Fachleuten entwickelt, unter anderem von der American Psychological Association, der Harvard Medical School, der Stanford University und Crisis Text Line.

Die Grauzone der Fiktion

Das Problem beginnt, wenn die Anfrage keine direkte Frage ist, sondern ein Szenario. Transluce spricht von einer 'Grauzone': Eine Nutzerin oder ein Nutzer bittet den Chatbot, eine Geschichte, ein Gedicht oder einen Dialog zu schreiben, in dem eine Figur — oft klar mit der schreibenden Person identifizierbar — den eigenen Tod plant oder beschreibt. In solchen Fällen behandeln mehrere Modelle die Anfrage lediglich als Schreibaufgabe und übersehen dabei die Anzeichen dafür, dass die Fiktion echte Not verschleiern könnte. Die Organisation fand zudem vereinzelte Fälle direkterer Unterstützung bei der Vorbereitung eines Todes, etwa Hilfe beim Verfassen eines Abschiedsbriefs an Angehörige.

Transluce kündigte an, diese Art der Bewertung auf weitere sensible Bereiche auszuweiten, um besser zu verstehen, wo und wie Modelle in weniger offensichtlichen Szenarien als einer direkten Hilfeanfrage noch versagen.

• Anders als frühere Generationen ermutigt oder unterstützt fast kein aktuelles Modell Suizid mehr explizit.
• Die Verstärkung von Wahnvorstellungen bei manischen Episoden sank je nach Modell von 69–82 Prozent auf 2–36 Prozent.
• Kreatives Schreiben oder Rollenspiel über den eigenen Tod wird von mehreren Modellen weiterhin akzeptiert, selbst bei Anzeichen echter Not.
• Es bestehen weiterhin vereinzelte Fälle direkter Unterstützung bei der Todesvorbereitung, etwa Abschiedsbriefe.
• Bei aktuellen Modellen treten schädliche und hilfreiche Verhaltensweisen zunehmend gemeinsam im selben Gespräch auf, statt isoliert.

Es gibt viele Wege, wie ein KI-System auf jemanden mit suizidalen Gedanken unangemessen oder sogar schädlich reagieren könnte. Als Suizidforscherin habe ich die Tiefe und Bandbreite der in dieser Arbeit untersuchten Modellverhalten sehr geschätzt.

Unterschiede zwischen Systemen und was Unternehmen dazu sagen

Die Untersuchung vergleicht auch verschiedene Entwickler. Die getesteten chinesischen Systeme — darunter Modelle von DeepSeek und Moonshot AI — schnitten insgesamt weniger sicher ab als die US-amerikanischer Unternehmen, mit einer stärkeren Tendenz, Wahnvorstellungen zu verstärken, und einer geringeren Wahrscheinlichkeit, Nutzer an menschliche Hilfe zu verweisen. Transluce arbeitete direkt mit OpenAI und Anthropic zusammen, die anonymisierte Daten darüber bereitstellten, wie reale Nutzerinnen und Nutzer mit ChatGPT und Claude über psychische Gesundheit sprechen, um die Simulationen realistischer zu machen; Google DeepMind gewährte Zugang zu einer internen API, die der Erfahrung der Gemini-App nahekommt. Ein weiterer Befund: Abgesehen von Bannern, die auf Krisendienste verweisen, erwiesen sich die Verbraucher-Apps nicht durchgehend als sicherer als die jeweiligen Entwickler-APIs — in manchen Fällen waren sie sogar weniger sicher.

Für Eltern, Schulen und Regulierungsbehörden in Deutschland lautet die praktische Lehre: Ein Chatbot, der bei sensiblen Gesprächen als 'sicher' gilt, ist es nicht zwangsläufig auch bei einer Anfrage, die als Geschichte oder Rollenspiel formuliert ist — ein Aspekt, den man bei der Nutzung solcher Tools durch Jugendliche im Blick behalten sollte. Für Plattformen und für Behörden, die künftig KI-Systeme beaufsichtigen, liefert die Studie ein konkretes Prüfkriterium: nicht nur direkte Fragen zu Suizid testen, sondern auch Bitten um kreatives Schreiben oder Rollenspiel zum selben Thema. Wer Unterstützung braucht, erreicht die TelefonSeelsorge kostenlos und rund um die Uhr unter 0800 111 0 111 oder 116 123.