Drei Teenager aus Tennessee haben eine Bundesklage gegen Elon Musks xAI, das Unternehmen hinter dem Grok-Chatbot, eingereicht und behaupten, die KI sei verwendet worden, um sexuell eindeutige Deepfake-Bilder von ihnen als Minderjährigen zu erstellen. In der Klage wird behauptet, xAI habe es wissentlich versäumt, grundlegende Sicherheitsmaßnahmen umzusetzen, die die Erstellung und Verbreitung von Material über sexuellen Kindesmissbrauch (Child Sexual Abuse Material, CSAM) verhindert hätten.
Die Vorwürfe
In der Klage wird argumentiert, dass andere KI-Unternehmen proaktiv Schutzmaßnahmen gegen Missbrauch ergriffen haben, XAI sich jedoch bewusst dagegen entschieden hat, da es eine finanzielle Chance im unkontrollierten Zugriff sieht. Der Beschwerde zufolge hat xAI das Leben der Kläger „zerstört“, indem es dem Chatbot erlaubte, CSAM zu erstellen, und das Problem dann nicht angemessen anging.
Ab Mai letzten Jahres konnten Grok-Benutzer die KI dazu veranlassen, sexuell eindeutige Inhalte zu erstellen, darunter Bilder von echten Menschen, die bis auf die Unterwäsche ausgezogen waren. Diese Fähigkeit eskalierte schnell zu einer weitverbreiteten, nicht einvernehmlichen Deepfake-Pornografie, wobei einige Materialien Minderjährige darstellten. Die Klage strebt den Status einer Sammelklage an und weitet die Klage möglicherweise auf Tausende von Opfern aus.
Wie es geschah
Die Kläger entdeckten den Missbrauch, als eine Frau anonyme Nachrichten auf Instagram erhielt, die sie auf Nackt-Deepfakes aufmerksam machten, die auf Discord kursierten. Diese Bilder wurden mit KI-Tools erstellt, die die Bildgenerierungsfunktionen von Grok lizenzieren, und dann auf Plattformen wie Telegram verbreitet. In der Klage wird behauptet, dass eine Drittanbieter-App zur Generierung von Bildern verwendet wurde und xAI wissentlich davon profitiert habe.
Einer der Klägerinnen wurden echte Fotos aus ihrem Schuljahrbuch entnommen, die in den Deepfakes verwendet wurden. Der Täter wurde im Dezember 2025 festgenommen, nachdem die Polizei die Verbreitung der Bilder zurückverfolgt hatte. Auf dem Gerät des Verdächtigen wurde jedoch auch ähnliches Material von 15 anderen Mädchen gefunden.
Das rechtliche Argument
In der Klage wird xAI vorgeworfen, durch die wissentliche Erstellung, den Besitz und die Verbreitung von CSAM auf seinen Servern gegen Kinderpornografiegesetze verstoßen zu haben. Es wird behauptet, das Unternehmen habe es versäumt, branchenübliche Schutzmaßnahmen umzusetzen: explizite Anfragen abzulehnen, generiertes Material zu blockieren, Abgleiche mit CSAM-Datenbanken durchzuführen und Deaktivierungsdienste für Opfer bereitzustellen.
Stattdessen bewarb xAI aktiv Groks „Spicy Mode“ und seine Fähigkeit, sexuelle Bilder zu erzeugen, mit minimalen Einschränkungen gegenüber CSAM. Die Systemaufforderung des Chatbots enthält zwar eine Regel gegen die Erstellung solchen Materials, aber die Klage argumentiert, dass diese leicht umgangen werden kann und unzureichend ist.
Die Folgen
Alle drei Kläger litten unter schwerer emotionaler Belastung, wobei zwei von Schlaf- und Essstörungen berichteten. Die Klage unterstreicht das bleibende Trauma, zu wissen, dass ihre Bilder weiterhin von Kriminellen online gehandelt werden könnten.
Elon Musk selbst behauptete im Januar, er wisse nichts von solchen Bildern, die von Grok generiert würden, und erklärte, dass Fehler sofort behoben würden, wenn Fehler gefunden würden. Die Klage legt jedoch nahe, dass diese Reaktion angesichts der weit verbreiteten Missbräuche, die bereits stattgefunden haben, unzureichend ist.
Der Fall wirft kritische Fragen zur KI-Verantwortung und zur Verantwortung von Technologieunternehmen auf, gefährdete Bevölkerungsgruppen vor Ausbeutung zu schützen. Das Ergebnis könnte einen Präzedenzfall dafür schaffen, wie künftige KI-Plattformen reguliert werden, um ähnliche Missbräuche zu verhindern.
