Tři teenageři z Tennessee podali federální žalobu na xAI Elona Muska, společnost stojící za chatbotem Grok, a tvrdí, že AI byla použita k vytvoření jejich sexuálně explicitních deepfakes, když byli nezletilí. Žaloba tvrdí, že xAI vědomě nezavedlo základní bezpečnostní opatření, která mohla zabránit vytváření a šíření dětské pornografie (CSAM).
Obvinění
Žaloba tvrdí, že zatímco jiné společnosti s umělou inteligencí agresivně zavedly ochranu proti zneužití, xAI se záměrně rozhodlo tak neučinit, protože v nekontrolovaném přístupu vidí finanční výhodu. Podle stížnosti xAI „zničila“ životy žalobců tím, že umožnila chatbotovi vytvořit CSAM a poté neučinila dostatečné kroky k vyřešení problému.
Od loňského května mohli uživatelé Groku požádat AI o vytvoření sexuálně explicitního obsahu, včetně obrázků skutečných lidí ve spodním prádle. Tato příležitost rychle eskalovala do rozšířené nekonsensuální hluboce falešné pornografie, z nichž některé zobrazovaly nezletilé. Žaloba usiluje o hromadnou žalobu, která by mohla potenciálně rozšířit stíhání na tisíce obětí.
Jak se to stalo
Žalobci se o zneužívání dozvěděli, když jedna z nich obdržela anonymní zprávy na Instagramu, které ji varovaly, že na Discordu kolují její deepfakes. Tyto obrázky byly vytvořeny pomocí nástrojů AI licencujících možnosti generování obrázků Grok a poté distribuovány na platformách, jako je Telegram. Žaloba tvrdí, že k vytvoření obrázků byla použita aplikace třetí strany a xAI z toho vědomě profitovala.
Jedna ze žalobkyň zjistila, že její skutečné fotografie ze středoškolské ročenky byly použity v deepfakes. Pachatel byl zatčen v prosinci 2025 poté, co policie vystopovala distribuci snímků, ale podobný obsah zahrnující 15 dalších dívek byl také nalezen na zařízení podezřelého.
Právní argumenty
Žaloba viní xAI z porušování zákonů o dětské pornografii tím, že vědomě vytváří, uchovává a distribuuje na svých serverech CSAM. Společnost údajně nedokázala implementovat průmyslové standardy ochrany: odmítání explicitních požadavků, blokování generovaného materiálu, kontrolu proti databázím CSAM a poskytování služeb odstraňování obsahu obětem.
Místo toho xAI aktivně propagovala Grokův „Spicy Mode“ a jeho schopnost vytvářet sexuální obrázky s minimálními omezeními proti CSAM. Systémová výzva chatbota sice obsahuje pravidlo proti vytváření takového materiálu, ale žaloba tvrdí, že je to snadné obejít a nedostatečné.
Důsledky
Všichni tři žalobci zažili vážné emocionální vypětí a dva uvedli potíže se spánkem a jídlem. Žaloba zdůrazňuje trvalé trauma z toho, že jejich snímky mohou být nadále sdíleny online predátory.
Sám Elon Musk v lednu řekl, že o vytvoření takových Grokových obrázků nevěděl s tím, že pokud by se našly chyby, byly by okamžitě opraveny. Žaloba však naznačuje, že tato reakce je nedostatečná vzhledem k rozsáhlému zneužívání, ke kterému již došlo.
Případ vyvolává důležité otázky o odpovědnosti AI a odpovědnosti technologických společností chránit zranitelné obyvatelstvo před vykořisťováním. Výsledek by mohl vytvořit precedens pro regulaci budoucích platforem AI, aby se předešlo podobnému zneužívání.
