Kaliforniens Senat stimmt einstimmig für Verbot, Chatbots als „Psychotherapie" zu bewerben

Der Senat des US-Bundesstaates Kalifornien hat mit einer parteiübergreifenden Mehrheit von 39 zu 0 Stimmen den Gesetzentwurf SB 903 verabschiedet, eingebracht von Senator Steve Padilla. Der Entwurf geht nun an die California State Assembly, um den weiteren Gesetzgebungsprozess zu durchlaufen. Laut der offiziellen Erklärung von Senator Padillas Büro soll der Entwurf sicherstellen, dass psychische Gesundheitsdienste sicher, ethisch vertretbar und von ausgebildeten Fachkräften erbracht werden – und nicht von KI-Algorithmen.

Was der Entwurf konkret ändert

Der Gesetzentwurf stützt sich auf drei zentrale Punkte. Erstens verbietet er Unternehmen, Chatbots als „Psychotherapie" oder psychische Gesundheitsdienstleistung zu bewerben oder zu vermarkten, sofern keine Aufsicht durch eine lizenzierte Fachkraft besteht. Zweitens verhindert er, dass KI-Systeme allein therapeutische Entscheidungen treffen, ohne Überprüfung durch eine lizenzierte Fachkraft für psychische Gesundheit. Drittens verpflichtet er Gesundheitsdienstleister, die Zustimmung des Patienten einzuholen, bevor KI zur Aufzeichnung von Therapiesitzungen oder zur Triage und Weiterleitung von Fällen eingesetzt wird.

Senator Padilla fasste die Philosophie des Entwurfs so zusammen: „Da die technischen Möglichkeiten weiter wachsen und neue Werkzeuge in den Bereich der psychischen Gesundheit vordringen, müssen wir ausreichende Schutzmechanismen sicherstellen, um einen menschzentrierten Ansatz zu bewahren und Sicherheit sowie ethische Erwägungen an erste Stelle zu setzen. SB 903 zieht eine klare Linie: KI kann ein Werkzeug in den Händen lizenzierter Fachkräfte sein, aber sie kann nicht selbst die Fachkraft sein."

Der Entwurf entsteht vor dem Hintergrund eines realen Mangels an Fachkräften für psychische Gesundheit im Bundesstaat: Rund ein Drittel der Kalifornierinnen und Kalifornier lebt in Gebieten, in denen das Verhältnis von Fachkräften zur Bevölkerung unzureichend ist. Dieser Mangel hat eine wachsende Zahl von Menschen dazu veranlasst, sich für psychologische Unterstützung an Chatbots zu wenden. Laut einem Bericht der Harvard Business Review gehören Therapie und Gesellschaft in diesem Jahr zu den häufigsten Verwendungszwecken von ChatGPT. Auf dem Markt sind Produkte erschienen, die ausdrücklich als „KI-Therapeuten" vermarktet werden, darunter Therabot, Wysa, TherapyAI, TherapistGPT und Abby.

Laut der offiziellen Erklärung äußern Psychiater mehrere Bedenken zu diesen Werkzeugen: Fragen des Datenschutzes, ein begrenztes Verständnis der Hintergründe jedes einzelnen Patienten, die Gefahr einer übermäßigen Abhängigkeit der Nutzer vom Chatbot, ungenaue therapeutische Empfehlungen sowie die Unfähigkeit, präzise Kommunikationssignale wie Tonfall oder Blickkontakt zu erfassen. In einer Umfrage der American Psychiatric Association äußerten 80 % der Mitglieder erhebliche oder mäßige Bedenken, dass Fachkräfte für psychische Gesundheit nicht ausreichend in KI geschult seien. Mitgetragen wird der Entwurf von der California Psychological Association, der California Association of Marriage and Family Therapists, der California Association of Behavioral Health und der National Union of Healthcare Workers (NUHW).

Ein Streit zwischen Patientenschutz und erleichtertem Zugang zur Versorgung

Außerhalb des Senatssaals findet der Entwurf keinen vollständigen Konsens. Laut der Zeitung The Independent argumentieren Kritiker, der Entwurf könne legitime Anwendungen von KI behindern und die Möglichkeiten der Anbieter einschränken, intelligente Werkzeuge zu nutzen, um Patienten schneller zu einer Behandlung zu leiten. Robert Boykin, Geschäftsführer der Technologiebranchengruppe TechNet California, sagte gegenüber CalMatters: „In einer Zeit, in der jeder Bezirk Kaliforniens unter einem Mangel an Fachkräften für psychische Gesundheit leidet, stellt SB 903 weiterhin ein klinisches Nadelöhr vor die Aufnahme- und Triage-Werkzeuge, die Patienten helfen, schneller Zugang zur Versorgung zu erhalten."

Im Gegenzug reichte die National Union of Healthcare Workers, die den Entwurf unterstützt, bei den kalifornischen Aufsichtsbehörden eine Beschwerde ein und warf dem Gesundheitssystem Kaiser Permanente vor, ein automatisiertes „E-Visit"-System ohne fachliche Aufsicht zu nutzen, um Patienten mit Angstzuständen oder Depressionen Behandlungsempfehlungen zu geben. Das Unternehmen erwiderte, es „nutze keine KI, um Patienten zu diagnostizieren, klinische Entscheidungen zu treffen oder medizinische Notwendigkeit festzustellen".

Aktuelle Daten bestätigen das Ausmaß des umstrittenen Phänomens. Eine Studie der RAND Corporation aus dem Jahr 2025, durchgeführt gemeinsam mit den Universitäten Brown und Harvard, ergab, dass etwa jeder achte Jugendliche und junge Erwachsene sich für psychische Gesundheitsversorgung an Chatbots wendet. Jonathan Cantor, leitender Politikforscher bei RAND, erklärte: „Es gibt nur wenige einheitliche Maßstäbe zur Bewertung der psychologischen Ratschläge, die KI-Chatbots geben, und es herrscht begrenzte Transparenz über die Datensätze, mit denen diese großen Sprachmodelle trainiert wurden." Eine Studie der American Psychological Association aus diesem Jahr ergab, dass 77 % der Psychologen mit Patienten gesprochen hatten, die KI zur Unterstützung, Interaktion oder aus anderen Gründen genutzt hatten, während OpenAI im Oktober bekannt gab, dass wöchentlich rund 1,2 Millionen Menschen Nachrichten an ChatGPT senden, die eindeutige Hinweise auf mögliche suizidale Gedanken oder Absichten enthalten.

Hamilton Morrin, klinischer Mitarbeiter für Neuropsychiatrie am King's College London, sagte gegenüber der Harvard Business Review: „Angesichts langer Wartelisten und des schwierigen Zugangs zu psychischer Gesundheitsversorgung und Therapie in vielen Ländern ist es vielleicht nicht überraschend, dass sich immer mehr Menschen an generative KI wenden, um Unterstützung für ihr emotionales Wohlbefinden zu finden."

Was das für den deutschsprachigen Raum bedeutet

Auch wenn SB 903 ein lokaler Gesetzentwurf ist, der ausschließlich den Bundesstaat Kalifornien betrifft, und noch der Zustimmung der State Assembly bedarf, bevor er zu geltendem Recht wird, wirft er eine Debatte auf, die weit über die Grenzen der USA hinausreicht. Auch im deutschsprachigen Raum bleibt der Zugang zu Fachkräften für psychische Gesundheit oft durch einen Mangel an ausgebildetem Personal, hohe Behandlungskosten und die soziale Stigmatisierung psychischer Erkrankungen begrenzt – Faktoren, die eine wachsende Zahl von Nutzerinnen und Nutzern, darunter viele junge Menschen, dazu bewegen, Chatbots als erste Anlaufstelle oder Alternative für psychologische Unterstützung auszuprobieren. Zwar liegen noch keine lokalen Daten vor, die so präzise sind wie die oben genannten US-Studien, doch das Ausmaß der regulatorischen Debatte in Kalifornien, einem globalen Zentrum der Technologiebranche, macht es wahrscheinlich, dass dieser Gesetzentwurf, sollte er endgültig verabschiedet werden, zu einem Bezugspunkt für andere Aufsichtsbehörden oder digitale Plattformen weltweit wird – auch für solche, die im deutschsprachigen Raum genutzt werden –, um ähnliche Regeln zur Offenlegung der Natur des Chatbots, zur Zustimmung der Nutzer und zur menschlichen Aufsicht über jede Empfehlung im Bereich der psychischen Gesundheit zu erarbeiten.