Ação contra a xAI ganha nova denúncia e reacende a discussão sobre travas em geradores de imagem

Uma nova denúncia foi anexada ao processo que três adolescentes do Tennessee movem contra a xAI, empresa de inteligência artificial fundada por Elon Musk e hoje parte da SpaceX. Segundo a ação, uma mulher identificada como Jane Doe 4 afirma que seu padrasto usou o gerador de imagens Grok para manipular uma foto tirada quando ela tinha 11 anos, produzindo mais de 7 mil imagens de conteúdo sexual explícito. O caso foi descoberto durante uma operação de busca e apreensão policial; conforme reportagem do The Washington Post citada nos autos, o suspeito foi encontrado morto em decorrência de suicídio dois dias depois.

A reportagem original registra a declaração da vítima sobre o que a facilidade de acesso a essas ferramentas produz no cotidiano. É essa passagem, mais do que qualquer detalhe do episódio, que define o objeto do processo.

O acesso ilimitado a essas ferramentas está se espalhando muito rápido. Isso está pegando a vida cotidiana e transformando-a em abuso sexual infantil.

O que exatamente está sendo julgado

A distinção importa para qualquer empresa que opere modelos generativos. Os autores não pedem que a plataforma seja responsabilizada pelo crime de um usuário: acusam a xAI de ter falhado em implementar travas básicas de segurança que impedissem a manipulação de fotos de pessoas reais, especialmente de menores de idade. Em termos de produto, trata-se da diferença entre um sistema que não previu um uso e um sistema que não instalou a verificação que tornaria esse uso mais difícil.

Os autores da ação buscam o status de processo coletivo, o que ampliaria significativamente o alcance da disputa. A denúncia se soma a uma série de críticas sobre a circulação massiva de imagens geradas por inteligência artificial sem o consentimento das pessoas retratadas — a plataforma X foi inundada por milhões de imagens sexualizadas geradas pelo Grok no início deste ano. A TechCrunch informou ter procurado a xAI para comentar o caso.

• Quem move a ação: três adolescentes do Tennessee, agora com a adesão de Jane Doe 4.
• Do que se acusa: ausência de travas contra a manipulação de imagens de pessoas reais, incluindo menores.
• O que se pede: reconhecimento como processo coletivo (class action).
• Contexto: circulação em massa de imagens sexualizadas geradas pelo Grok na plataforma X neste ano.

Moderação reativa e controle preventivo não são a mesma coisa

O episódio de X no início do ano ajuda a entender por que a distinção pesa no tribunal. Quando milhões de imagens sexualizadas geradas pelo Grok circularam na plataforma, a resposta disponível foi remover conteúdo já publicado — ou seja, agir depois que o dano existia e estava distribuído. O que o processo questiona é a etapa anterior: se a geração de uma imagem explícita a partir da fotografia de uma pessoa real identificável deveria ter sido impedida no momento em que foi solicitada. São dois regimes de responsabilidade distintos, e apenas o segundo é verificável antes do fato.

Essa diferença também explica por que o pedido de status coletivo importa tanto. Um processo individual discute um caso; uma ação coletiva discute a política de produto que produziu a classe de casos. Se o status for concedido, o que estará em julgamento não é o que aconteceu com uma pessoa, e sim a decisão de engenharia que tornou o padrão possível para todas elas.

Por que isso interessa a quem desenvolve no Brasil

Duas consequências práticas se desenham para times de produto, independentemente do desfecho judicial nos Estados Unidos. A primeira é que a trava relevante não está no texto do pedido, e sim na entrada de imagem. Um filtro que analisa apenas o prompt não impede a manipulação de uma fotografia real enviada pelo usuário; o ponto de controle precisa estar onde a imagem entra no sistema, com verificação de conteúdo e, quando aplicável, detecção de rosto de pessoa identificável.

A segunda é que a ausência de registro se tornou um risco jurídico por si só. Quando uma empresa precisa demonstrar que suas proteções estavam ativas, o que vale é a evidência operacional — que classificador rodou, em que versão, em que período, e com qual taxa de bloqueio. Times que não guardam esse rastro não conseguem provar diligência mesmo quando agiram corretamente. É a mesma lição que o setor vem colhendo em outros episódios recentes de segurança de modelos: uma regra cuja execução ninguém mede não é um controle, é uma intenção documentada.

Nota da redação: se você está em sofrimento ou pensando em suicídio, o Centro de Valorização da Vida atende 24 horas pelo telefone 188, gratuitamente, em todo o Brasil.