Senaat van Californië stemt unaniem voor verbod op chatbots die zich als "psychotherapie" presenteren

De Senaat van de Amerikaanse staat Californië heeft met een partijoverstijgende meerderheid van 39 tegen 0 stemmen wetsvoorstel SB 903 aangenomen, ingediend door senator Steve Padilla. Het voorstel gaat nu naar de State Assembly om zijn wetgevingstraject te vervolgen. Volgens de officiële verklaring van het kantoor van senator Padilla is het doel van het voorstel om ervoor te zorgen dat geestelijke gezondheidszorg veilig en ethisch blijft en wordt verleend door opgeleide professionals, en niet door AI-algoritmes.

Wat het voorstel precies verandert

Het wetsvoorstel steunt op drie hoofdpunten. Ten eerste verbiedt het bedrijven om chatbots te adverteren of te vermarkten als "psychotherapie" of een geestelijke gezondheidsdienst, tenzij onder toezicht van een gelicentieerde professional. Ten tweede verhindert het dat AI-systemen zelfstandig therapeutische beslissingen nemen, zonder beoordeling door een gelicentieerde professional in de geestelijke gezondheidszorg. Ten derde verplicht het zorgverleners om toestemming van de patiënt te verkrijgen voordat AI wordt gebruikt om therapiesessies op te nemen of om gevallen te triëren en door te verwijzen.

Senator Padilla vatte de filosofie achter het voorstel als volgt samen: „Nu de technische mogelijkheden blijven groeien en nieuwe hulpmiddelen hun intrede doen in de geestelijke gezondheidszorg, moeten we voldoende waarborgen garanderen om een mensgerichte aanpak te behouden, met veiligheid en ethische overwegingen voorop. SB 903 trekt een duidelijke grens: AI kan een hulpmiddel zijn in handen van gelicentieerde professionals, maar kan niet zelf de professional zijn."

Het voorstel komt er te midden van een reëel tekort aan geestelijke gezondheidszorgverleners in de staat: ongeveer een derde van de Californiërs woont in gebieden waar de verhouding tussen professionals en bevolking onvoldoende is. Dat tekort heeft een groeiend aantal mensen ertoe gebracht chatbots te raadplegen voor psychologische ondersteuning. Volgens een rapport van Harvard Business Review behoren therapie en gezelschap dit jaar tot de meest voorkomende toepassingen van ChatGPT. Op de markt zijn producten verschenen die expliciet worden vermarkt als "AI-therapeuten", waaronder Therabot, Wysa, TherapyAI, TherapistGPT en Abby.

Volgens de officiële verklaring wijzen psychiaters op meerdere zorgen over deze hulpmiddelen: kwesties rond privacy en gegevensbescherming, een beperkt begrip van de achtergrond van elke patiënt, het risico dat gebruikers te afhankelijk worden van de chatbot, onnauwkeurige therapeutische aanbevelingen, en het onvermogen om precieze communicatiesignalen zoals toon van stem of oogcontact op te vangen. In een enquête van de American Psychiatric Association uitte 80% van de leden aanzienlijke of matige bezorgdheid over het feit dat professionals in de geestelijke gezondheidszorg onvoldoende getraind zijn in AI. Het voorstel wordt medeondersteund door de California Psychological Association, de California Association of Marriage and Family Therapists, de California Association of Behavioral Health en de National Union of Healthcare Workers (NUHW).

Een debat tussen patiëntbescherming en gemakkelijkere toegang tot zorg

Buiten de senaatszaal bestaat er geen volledige consensus over het voorstel. Volgens de krant The Independent stellen critici dat het voorstel legitieme toepassingen van AI kan belemmeren en de mogelijkheden van zorgverleners kan beperken om slimme hulpmiddelen te gebruiken die patiënten sneller naar behandeling leiden. Robert Boykin, uitvoerend directeur van de technologiebranchegroep TechNet California, verklaarde tegenover CalMatters: „Op een moment dat elk district in Californië te kampen heeft met een tekort aan personeel in de geestelijke gezondheidszorg, blijft SB 903 een klinisch knelpunt opwerpen voor intake- en triage-hulpmiddelen die patiënten helpen sneller toegang te krijgen tot zorg."

Daartegenover diende de National Union of Healthcare Workers, die het voorstel steunt, een klacht in bij de Californische toezichthouders en beschuldigde het zorgsysteem Kaiser Permanente ervan een geautomatiseerd "e-visit"-systeem te gebruiken, zonder professioneel toezicht, om zorgaanbevelingen te doen aan patiënten met angst of depressie. Het bedrijf antwoordde dat het "geen AI gebruikt om patiënten te diagnosticeren, klinische beslissingen te nemen of medische noodzaak vast te stellen".

Recente gegevens bevestigen de omvang van het fenomeen dat ter discussie staat. Een studie uit 2025 van de RAND Corporation, uitgevoerd samen met de universiteiten Brown en Harvard, wees uit dat ongeveer een op de acht tieners en jongvolwassenen chatbots raadpleegt voor geestelijke gezondheidszorg. Jonathan Cantor, senior beleidsonderzoeker bij RAND, verklaarde: „Er zijn weinig gestandaardiseerde maatstaven om het psychologisch advies van AI-chatbots te beoordelen, en er is beperkte transparantie over de datasets die worden gebruikt om deze grote taalmodellen te trainen." Een studie van de American Psychological Association van dit jaar wees uit dat 77% van de psychologen had gesproken met patiënten die AI gebruikten voor ondersteuning, interactie of andere redenen, terwijl OpenAI in oktober bekendmaakte dat wekelijks ongeveer 1,2 miljoen mensen berichten naar ChatGPT sturen met expliciete aanwijzingen voor mogelijke suïcidale gedachten of intenties.

Hamilton Morrin, klinisch onderzoeker neuropsychiatrie aan King's College London, verklaarde tegenover Harvard Business Review: „Gezien de lange wachtlijsten en de moeilijke toegang tot geestelijke gezondheidszorg en therapie in veel landen, is het misschien niet verrassend dat een groeiend aantal mensen zich tot generatieve AI wendt voor ondersteuning van hun emotioneel welzijn."

Wat dit betekent voor Nederland en België

Hoewel SB 903 een lokaal wetsvoorstel is dat alleen betrekking heeft op de staat Californië, en nog moet worden goedgekeurd door de State Assembly voordat het wet wordt, roept het een debat op dat de grenzen van de Verenigde Staten overstijgt. Ook in Nederland en België blijft de toegang tot professionals in de geestelijke gezondheidszorg beperkt door een tekort aan opgeleid personeel, hoge behandelingskosten en het sociale stigma rond geestelijke gezondheid, factoren die een groeiend aantal gebruikers, waaronder jongeren, ertoe brengen chatbots uit te proberen als eerste of alternatieve bron van psychologische ondersteuning. Hoewel er nog geen lokale gegevens beschikbaar zijn die zo precies zijn als de hierboven genoemde Amerikaanse studies, maakt de omvang van het regelgevingsdebat in Californië, een wereldwijd centrum van de technologie-industrie, het waarschijnlijk dat dit wetsvoorstel, als het definitief wordt aangenomen, een referentiepunt wordt voor andere toezichthouders of digitale platforms wereldwijd, inclusief die welke in Nederland en België worden gebruikt, bij het opstellen van vergelijkbare regels over het bekendmaken van de aard van de chatbot, gebruikerstoestemming en menselijk toezicht op elke aanbeveling die verband houdt met geestelijke gezondheid.