Chatbots IA são mais seguros, mas falham com suicídio em ficção

Os chatbots de inteligência artificial ficaram bem mais seguros nos últimos dois anos quando um usuário deixa claro que está em crise. É a principal conclusão de uma avaliação independente da organização sem fins lucrativos Transluce, que simulou mais de 50 mil conversas — mais de um milhão de mensagens no total — com 77 versões de modelos de IA lançadas entre maio de 2024 e julho de 2026. Mas o estudo também aponta uma falha persistente: quando o mesmo pedido de ajuda para descrever a própria morte aparece disfarçado de exercício de escrita criativa ou de interpretação de personagem, vários modelos continuam respondendo, tratando o pedido como uma tarefa comum em vez de um sinal de alerta.

Menos incentivo direto, mais encaminhamento para ajuda humana

Segundo a Transluce, os modelos mais recentes praticamente pararam de incentivar ou facilitar explicitamente o suicídio — um comportamento que ainda era comum em gerações anteriores, como o GPT-4o e o Gemini 2.5, associados publicamente a casos trágicos de suicídio e psicose. Os sistemas atuais também encaminham o usuário para amigos, familiares ou linhas de apoio especializadas com muito mais frequência. Outro indicador acompanhado pelo estudo — o reforço de pensamentos delirantes em episódios de mania — caiu de uma faixa de 69% a 82% nos modelos mais antigos testados (GPT-4o, Claude Opus 4, Gemini 2.5) para apenas 2% a 36%, dependendo do modelo, nas versões mais recentes.

Para chegar a esses números, a Transluce montou 157 perfis de usuários simulados, muitos pensados para representar casos-limite, e avaliou as respostas dos modelos em 14 comportamentos distintos ligados à saúde mental — sete validados clinicamente, com efeitos bem documentados sobre pessoas em crise, e sete mais exploratórios, identificados ao longo da própria avaliação. A grade de comportamentos foi construída com um grupo de trabalho de mais de 30 especialistas clínicos, de organizações como a American Psychological Association, a Harvard Medical School, a Universidade Stanford e a Crisis Text Line.

A zona cinzenta da ficção

O problema começa quando o pedido não é uma pergunta direta, mas um cenário. A Transluce chama isso de 'zona cinzenta': um usuário pede ao chatbot para escrever uma história, um poema ou um diálogo em que um personagem — muitas vezes claramente identificável com o próprio usuário — planeja ou descreve a própria morte. Nesses casos, vários modelos tratam o pedido apenas como uma tarefa de escrita, ignorando os sinais de que a ficção pode estar mascarando uma angústia real. A organização também encontrou casos residuais de apoio mais direto à preparação de uma morte, como ajudar a redigir uma carta de despedida para entes queridos.

A Transluce informou que pretende ampliar esse tipo de avaliação para outras áreas sensíveis, para entender melhor onde e como os modelos ainda falham em cenários menos óbvios do que um pedido de ajuda direto.

• Quase nenhum modelo recente incentiva ou facilita explicitamente o suicídio, ao contrário de gerações anteriores.
• O reforço de delírios em episódios de mania caiu de 69%-82% para 2%-36%, dependendo do modelo.
• A escrita criativa ou o role-play sobre a própria morte ainda é aceito por vários modelos, mesmo com sinais de angústia real.
• Persistem casos de apoio direto à preparação de uma morte, como cartas de despedida.
• Nos modelos recentes, comportamentos prejudiciais e comportamentos úteis aparecem cada vez mais na mesma conversa, em vez de isolados.

Há muitas formas de um sistema de IA responder de maneira inadequada, ou até prejudicial, a alguém com pensamentos suicidas. Como pesquisadora do suicídio, valorizei a profundidade e o alcance dos comportamentos analisados neste trabalho.

Diferenças entre sistemas, e o que as empresas dizem fazer

A avaliação também compara desenvolvedores entre si. Os sistemas chineses testados — incluindo modelos da DeepSeek e da Moonshot AI — apresentaram resultados globalmente menos seguros do que os das empresas americanas, com maior tendência a reforçar pensamentos delirantes e menor probabilidade de encaminhar o usuário para apoio humano. A Transluce trabalhou diretamente com a OpenAI e a Anthropic, que deram acesso a dados anonimizados sobre como usuários reais conversam sobre saúde mental com o ChatGPT e o Claude, para tornar as simulações mais realistas; a Google DeepMind concedeu acesso a uma API interna próxima da experiência do aplicativo Gemini. Um achado adicional: fora dos avisos que remetem a linhas de crise, os aplicativos voltados ao consumidor não se mostraram, de forma consistente, mais seguros do que suas respectivas APIs de programação — em alguns casos, foram até menos seguros.

Para pais, escolas e reguladores no Brasil, a lição prática é que um chatbot considerado 'seguro' para conversas sensíveis não está necessariamente livre de falhas diante de um pedido apresentado como história ou role-play — vale manter essa atenção ao acompanhar o uso dessas ferramentas por adolescentes. Para as plataformas e para órgãos como a ANPD, que vem debatendo regras para sistemas de IA no país, o estudo oferece um critério concreto de auditoria: testar não só perguntas diretas sobre suicídio, mas também pedidos de escrita criativa ou role-play sobre o mesmo tema. Se precisar de apoio, o CVV (Centro de Valorização da Vida) atende gratuitamente pelo telefone 188, 24 horas por dia, também por chat e e-mail em cvv.org.br.