Tiga remaja Tennessee telah mengajukan gugatan federal terhadap xAI milik Elon Musk, perusahaan di balik chatbot Grok, dengan tuduhan bahwa AI digunakan untuk menghasilkan gambar deepfake yang eksplisit secara seksual tentang mereka sebagai anak di bawah umur. Gugatan tersebut mengklaim xAI secara sengaja gagal menerapkan langkah-langkah keselamatan dasar yang dapat mencegah pembuatan dan distribusi materi pelecehan seksual terhadap anak-anak (CSAM).
Tuduhan
Gugatan tersebut menyatakan bahwa meskipun perusahaan AI lainnya secara proaktif menetapkan perlindungan terhadap penyalahgunaan, xAI sengaja memilih untuk tidak melakukannya, karena melihat adanya peluang finansial dalam akses yang tidak terkendali. Menurut pengaduan tersebut, xAI “menghancurkan” kehidupan penggugat dengan mengizinkan chatbot memproduksi CSAM, dan kemudian gagal mengatasi masalah tersebut secara memadai.
Mulai bulan Mei tahun lalu, pengguna Grok dapat meminta AI untuk membuat konten seksual eksplisit, termasuk gambar orang sungguhan yang ditelanjangi hingga hanya mengenakan pakaian dalam. Kemampuan ini dengan cepat meningkat menjadi pornografi deepfake non-konsensual yang tersebar luas, dengan beberapa materi yang menggambarkan anak di bawah umur. Gugatan tersebut mencari status class action, yang berpotensi memperluas tindakan hukum ke ribuan korban.
Bagaimana Itu Terjadi
Penggugat menemukan pelecehan tersebut ketika seseorang menerima pesan anonim di Instagram yang memperingatkannya tentang deepfake telanjang yang beredar di Discord. Gambar-gambar ini dibuat menggunakan alat AI yang melisensikan kemampuan pembuatan gambar Grok, dan kemudian didistribusikan pada platform seperti Telegram. Gugatan tersebut menuduh aplikasi pihak ketiga digunakan untuk menghasilkan gambar, dan xAI sengaja mengambil keuntungan darinya.
Salah satu penggugat mengambil foto aslinya dari buku tahunan sekolahnya dan digunakan dalam deepfake. Pelaku ditangkap pada Desember 2025 setelah polisi menelusuri peredaran gambar tersebut, namun materi serupa milik 15 gadis lainnya juga ditemukan di perangkat tersangka.
Argumen Hukum
Gugatan tersebut menuduh xAI melanggar undang-undang pornografi anak dengan sengaja membuat, memiliki, dan mendistribusikan CSAM di servernya. Laporan tersebut mengklaim bahwa perusahaan gagal menerapkan perlindungan standar industri: menolak permintaan eksplisit, memblokir materi yang dihasilkan, memeriksa database CSAM, dan menyediakan layanan penghapusan bagi korban.
Sebaliknya, xAI secara aktif mempromosikan “Mode Pedas” Grok dan kemampuannya untuk menghasilkan gambar seksual, dengan batasan minimal terhadap CSAM. Perintah sistem chatbot memang menyertakan aturan yang melarang pembuatan materi semacam itu, namun gugatan tersebut menyatakan bahwa aturan tersebut mudah untuk dilewati dan tidak cukup.
Akibat
Ketiga penggugat mengalami tekanan emosional yang parah, dua di antaranya melaporkan kesulitan tidur dan makan. Gugatan tersebut menekankan trauma abadi mengetahui gambar mereka mungkin terus diperdagangkan secara online oleh predator.
Elon Musk sendiri mengklaim pada bulan Januari bahwa dia tidak mengetahui adanya gambar seperti itu yang dihasilkan oleh Grok, dan menyatakan bahwa jika bug ditemukan, bug tersebut akan segera diperbaiki. Namun, gugatan tersebut menunjukkan bahwa tanggapan ini tidak cukup mengingat meluasnya pelanggaran yang telah terjadi.
Kasus ini menimbulkan pertanyaan kritis mengenai akuntabilitas AI dan tanggung jawab perusahaan teknologi untuk melindungi populasi rentan dari eksploitasi. Hasilnya dapat menjadi preseden mengenai bagaimana platform AI di masa depan diatur untuk mencegah pelanggaran serupa.
