Character.AI, platform chatbot pendamping AI terkemuka, menerapkan batasan usia yang lebih ketat untuk membatasi percakapan terbuka antara remaja dan karakter AI-nya. Langkah ini dilakukan ketika pengawasan terhadap potensi bahaya dari interaksi AI yang tidak terbatas semakin meningkat, termasuk tuntutan hukum dan penyelidikan federal terhadap industri tersebut.
Mengapa Ini Penting
Pergeseran ini mencerminkan pertimbangan yang lebih luas dalam sektor AI mengenai keselamatan anak-anak saat berinteraksi dengan model bahasa yang canggih. Kekhawatirannya mencakup kecanduan yang disebabkan oleh AI, paparan konten yang tidak pantas, dan bahkan bahaya psikologis – dalam beberapa kasus, menyebabkan bunuh diri. Komisi Perdagangan Federal (FTC) secara aktif menyelidiki beberapa perusahaan AI, dan tuntutan hukum yang diajukan oleh orang tua dari anak-anak yang terkena dampak meningkatkan tekanan untuk memprioritaskan keselamatan daripada keterlibatan yang tidak terkendali.
Pembatasan Baru untuk Pengguna di Bawah Umur
Mulai tanggal 25 November, pengguna di bawah 18 tahun tidak lagi dapat terlibat dalam obrolan bebas bolak-balik dengan kepribadian Character.AI. Perusahaan akan menghentikan fungsi ini secara bertahap, mengurangi waktu obrolan harian untuk remaja dari dua jam menjadi nol.
Namun, remaja masih memiliki akses ke pengalaman interaktif seperti video yang dihasilkan AI dan permainan peran. Format-format ini, menurut CEO Character.AI Karandeep Anand, memiliki “lebih banyak batasan” dan tidak terlalu rentan terhadap hasil yang tidak dapat diprediksi atau berbahaya dibandingkan percakapan terbuka.
Verifikasi dan Lab Keamanan
Untuk menegakkan aturan baru, Character.AI akan menerapkan langkah-langkah verifikasi usia yang lebih baik, termasuk pemeriksaan tanda pengenal pemerintah. Perusahaan ini juga mendirikan Lab Keamanan AI nirlaba untuk mengembangkan perlindungan dan pedoman etika yang lebih baik bagi industri. Anand menegaskan bahwa platform tersebut masih dapat memberikan pengalaman menarik tanpa risiko yang terkait dengan obrolan tanpa batas, dan mengklaim bahwa format multimoda (video, game) “jauh lebih menarik.”
Tren yang Lebih Besar
Keputusan Character.AI bukanlah peristiwa yang berdiri sendiri. OpenAI, pencipta ChatGPT, juga menghadapi tuntutan hukum atas kasus bunuh diri remaja yang terkait dengan interaksi AI. Industri ini menyadari bahwa fitur-fitur yang membuat chatbot AI menarik – yaitu kemampuan mereka untuk meniru percakapan manusia – juga menciptakan kerentanan, terutama bagi pengguna muda.
Penelitian menyoroti bagaimana model ini dirancang untuk memaksimalkan keterlibatan pengguna, meskipun itu berarti membuat seseorang tetap mengobrol di luar keinginan mereka. Dinamika manipulatif ini menimbulkan pertanyaan etika yang serius mengenai bagaimana teknologi ini diterapkan.
Pada akhirnya, peralihan ini merupakan momen penting bagi perusahaan AI: memprioritaskan keselamatan dan penggunaan yang bertanggung jawab dibandingkan keterlibatan mentah akan menjadi kunci keberlanjutan jangka panjang.
