Nueva denuncia contra xAI reaviva el debate sobre las salvaguardas de Grok

Se ha añadido una nueva denuncia a la demanda que tres adolescentes de Tennessee presentaron contra xAI, la empresa de inteligencia artificial fundada por Elon Musk y hoy vinculada a SpaceX. Según la demanda, una mujer identificada como Jane Doe 4 afirma que su padrastro usó el generador de imágenes Grok para manipular una foto tomada cuando ella tenía 11 años, produciendo más de 7.000 imágenes de contenido sexual explícito. El caso se descubrió durante un operativo policial de registro e incautación; según un reportaje de The Washington Post citado en el expediente, el sospechoso fue hallado muerto por suicidio dos días después.

El reportaje original recoge la declaración de la víctima sobre lo que produce, en el día a día, la facilidad de acceso a estas herramientas. Es ese pasaje, más que cualquier detalle del episodio, el que define el objeto de la demanda.

El acceso ilimitado a estas herramientas se está extendiendo muy rápido. Eso está tomando la vida cotidiana y convirtiéndola en abuso sexual infantil.

Qué se está juzgando exactamente

La distinción importa para cualquier empresa que opere modelos generativos. Los demandantes no piden que la plataforma sea responsabilizada por el delito de un usuario: acusan a xAI de no haber implementado salvaguardas básicas de seguridad que impidieran la manipulación de fotos de personas reales, especialmente de menores. En términos de producto, se trata de la diferencia entre un sistema que no previó un uso y un sistema que no instaló la verificación que habría hecho ese uso más difícil.

Los demandantes buscan el estatus de demanda colectiva (class action), lo que ampliaría considerablemente el alcance del litigio. La denuncia se suma a una serie de críticas sobre la circulación masiva de imágenes generadas por inteligencia artificial sin el consentimiento de las personas retratadas — la plataforma X se vio inundada por millones de imágenes sexualizadas generadas por Grok a principios de este año. TechCrunch informó haber contactado a xAI para pedir comentarios.

• Quién demanda: tres adolescentes de Tennessee, ahora con la incorporación de Jane Doe 4.
• De qué se acusa: ausencia de salvaguardas contra la manipulación de imágenes de personas reales, incluidos menores.
• Qué se solicita: el reconocimiento como demanda colectiva (class action).
• Contexto: la circulación masiva de imágenes sexualizadas generadas por Grok en la plataforma X este año.

Moderación reactiva y control preventivo no son lo mismo

El episodio de X a principios de año ayuda a entender por qué esta distinción pesa ante el tribunal. Cuando millones de imágenes sexualizadas generadas por Grok circularon en la plataforma, la única respuesta disponible fue retirar contenido ya publicado — es decir, actuar después de que el daño existiera y ya estuviera distribuido. Lo que la demanda cuestiona es la etapa anterior: si la generación de una imagen explícita a partir de la fotografía de una persona real identificable debería haberse impedido en el momento en que se solicitó. Son dos regímenes de responsabilidad distintos, y solo el segundo es verificable antes del hecho.

Esa diferencia también explica por qué la solicitud de estatus colectivo importa tanto. Una demanda individual discute un caso; una acción colectiva discute la política de producto que produjo toda una clase de casos. Si se concede el estatus, lo que estará a juicio no será lo que le ocurrió a una persona, sino la decisión de ingeniería que hizo posible ese patrón para todas ellas.

Por qué esto interesa a quienes desarrollan producto en España

Se perfilan dos consecuencias prácticas para los equipos de producto, más allá del desenlace judicial en Estados Unidos. La primera es que la salvaguarda relevante no está en el texto del prompt, sino en la entrada de imagen. Un filtro que solo analiza el prompt no impide la manipulación de una fotografía real subida por el usuario; el punto de control debe estar donde la imagen entra en el sistema, con verificación de contenido y, cuando corresponda, detección de rostro de persona identificable.

La segunda es que la ausencia de registro se ha convertido en un riesgo jurídico por sí misma. Cuando una empresa necesita demostrar que sus protecciones estaban activas, lo que vale es la evidencia operativa — qué clasificador funcionó, en qué versión, en qué período, y con qué tasa de bloqueo. Los equipos que no conservan ese rastro no pueden probar diligencia aunque hayan actuado correctamente. Es la misma lección que el sector viene sacando de otros episodios recientes de seguridad de modelos: una regla cuya ejecución nadie mide no es un control, es una intención documentada.

Nota de la redacción: si estás pasando por un momento difícil o tienes pensamientos suicidas, la línea 024 de atención a la conducta suicida atiende de forma gratuita, las 24 horas del día, en toda España.