Character.AI, uma plataforma líder de chatbot com IA, está implementando restrições de idade mais rígidas para limitar conversas abertas entre adolescentes e seus personagens de IA. Essa medida ocorre à medida que aumenta o escrutínio sobre os danos potenciais das interações irrestritas de IA, incluindo ações judiciais e investigações federais no setor.
Por que isso é importante
A mudança reflecte uma avaliação mais ampla dentro do sector da IA no que diz respeito à segurança das crianças que interagem com modelos de linguagem poderosos. As preocupações incluem dependência provocada pela IA, exposição a conteúdo impróprio e até danos psicológicos – em alguns casos, levando ao suicídio. A Comissão Federal de Comércio (FTC) está a investigar ativamente várias empresas de IA, e as ações judiciais movidas por pais de crianças afetadas estão a aumentar a pressão para dar prioridade à segurança em detrimento do envolvimento descontrolado.
Novas restrições para usuários menores de idade
A partir de 25 de novembro, usuários menores de 18 anos não poderão mais participar de bate-papos livres com as personalidades do Character.AI. A empresa eliminará essa funcionalidade gradualmente, reduzindo o tempo diário de bate-papo para adolescentes de duas horas para zero.
No entanto, os adolescentes ainda terão acesso a experiências interativas como vídeos gerados por IA e jogos de RPG. Esses formatos, de acordo com Karandeep Anand, CEO da Character.AI, têm “mais grades de proteção” e são menos propensos a resultados imprevisíveis ou prejudiciais do que conversas abertas.
Laboratório de Verificação e Segurança
Para fazer cumprir as novas regras, a Character.AI implementará medidas aprimoradas de verificação de idade, incluindo potencialmente verificações de identidade do governo. A empresa também está estabelecendo um Laboratório de Segurança de IA sem fins lucrativos para desenvolver melhores salvaguardas e diretrizes éticas para a indústria. Anand insiste que a plataforma ainda pode oferecer experiências envolventes sem os riscos associados ao bate-papo irrestrito, alegando que formatos multimodais (vídeos, jogos) são “muito mais atraentes de qualquer maneira”.
A tendência maior
A decisão da Character.AI não é um evento isolado. OpenAI, criadora do ChatGPT, também enfrentou ações legais por suicídios de adolescentes ligados a interações de IA. A indústria está percebendo que os mesmos recursos que tornam os chatbots de IA atraentes – sua capacidade de imitar conversas humanas – também criam vulnerabilidades, especialmente para usuários jovens.
A pesquisa destaca como esses modelos são projetados para maximizar o envolvimento do usuário, mesmo que isso signifique manter alguém conversando contra sua vontade. Esta dinâmica manipulativa levanta sérias questões éticas sobre como estas tecnologias são implementadas.
Em última análise, a mudança representa um momento crítico para as empresas de IA: priorizar a segurança e o uso responsável em vez do envolvimento bruto será fundamental para a sustentabilidade a longo prazo.
