Tres adolescentes de Tennessee han presentado una demanda federal contra xAI de Elon Musk, la compañía detrás del chatbot Grok, alegando que la IA se utilizó para generar imágenes sexualmente explícitas y falsas de ellos cuando eran menores. La demanda afirma que xAI, a sabiendas, no implementó medidas de seguridad básicas que habrían impedido la creación y distribución de material de abuso sexual infantil (CSAM).
Las acusaciones
La demanda sostiene que, mientras que otras empresas de IA establecieron proactivamente salvaguardias contra el uso indebido, xAI decidió deliberadamente no hacerlo, al ver una oportunidad financiera en el acceso sin control. Según la denuncia, xAI “destrozó” la vida de los demandantes al permitir que el chatbot produjera CSAM y luego no abordó adecuadamente el problema.
A partir de mayo del año pasado, los usuarios de Grok pudieron solicitar a la IA que creara contenido sexualmente explícito, incluidas imágenes de personas reales desnudas hasta quedar en ropa interior. Esta capacidad rápidamente se convirtió en pornografía deepfake no consensuada y generalizada, con algunos materiales que representan a menores. La demanda busca estatus de acción colectiva, extendiendo potencialmente la acción legal a miles de víctimas.
Cómo sucedió
Los demandantes descubrieron el abuso cuando una recibió mensajes anónimos en Instagram que la alertaban sobre deepfakes de desnudos que circulaban en Discord. Estas imágenes se crearon utilizando herramientas de inteligencia artificial que otorgan licencia a las capacidades de generación de imágenes de Grok y luego se distribuyeron en plataformas como Telegram. La demanda alega que se utilizó una aplicación de terceros para generar imágenes y que xAI, a sabiendas, se benefició de ella.
Una de las demandantes hizo que sus fotos reales tomadas de su anuario escolar fueran utilizadas en los deepfakes. El autor fue arrestado en diciembre de 2025 después de que la policía rastreara la distribución de las imágenes, pero también se encontró material similar de otras 15 niñas en el dispositivo del sospechoso.
El argumento legal
La demanda acusa a xAI de violar las leyes de pornografía infantil al crear, poseer y distribuir CSAM a sabiendas en sus servidores. Afirma que la empresa no implementó protecciones estándar de la industria: rechazar solicitudes explícitas, bloquear material generado, comparar bases de datos CSAM y brindar servicios de eliminación para las víctimas.
En cambio, xAI promovió activamente el “Modo Picante” de Grok y su capacidad para generar imágenes sexuales, con restricciones mínimas contra CSAM. El aviso del sistema del chatbot incluye una regla contra la creación de dicho material, pero la demanda argumenta que esto se elude fácilmente y es insuficiente.
Las secuelas
Los tres demandantes han experimentado angustia emocional grave y dos informaron dificultades para dormir y comer. La demanda enfatiza el trauma duradero de saber que sus imágenes pueden seguir siendo traficadas en línea por depredadores.
El propio Elon Musk afirmó en enero que no tenía conocimiento de que Grok generara imágenes de este tipo y afirmó que si se encontraban errores, se solucionarían de inmediato. Sin embargo, la demanda sugiere que esta respuesta es insuficiente dado el abuso generalizado que ya ha ocurrido.
El caso plantea preguntas críticas sobre la responsabilidad de la IA y la responsabilidad de las empresas de tecnología de proteger a las poblaciones vulnerables de la explotación. El resultado podría sentar un precedente sobre cómo se regulan las futuras plataformas de inteligencia artificial para evitar abusos similares.
