Character.AI, l’une des principales plateformes de chatbots compagnons d’IA, met en œuvre des restrictions d’âge plus strictes pour limiter les conversations ouvertes entre les adolescents et ses personnages IA. Cette décision intervient alors que l’examen des dommages potentiels liés aux interactions illimitées de l’IA s’intensifie, y compris les poursuites judiciaires et les enquêtes fédérales sur l’industrie.
Pourquoi c’est important
Ce changement reflète une prise de conscience plus large au sein du secteur de l’IA concernant la sécurité des enfants interagissant avec des modèles de langage puissants. Les préoccupations incluent la dépendance due à l’IA, l’exposition à des contenus inappropriés et même les dommages psychologiques – conduisant dans certains cas au suicide. La Federal Trade Commission (FTC) enquête activement sur plusieurs sociétés d’IA, et les poursuites intentées par les parents d’enfants concernés accroissent la pression pour donner la priorité à la sécurité plutôt qu’à un engagement incontrôlé.
Nouvelles restrictions pour les utilisateurs mineurs
À partir du 25 novembre, les utilisateurs de moins de 18 ans ne pourront plus participer à des discussions libres avec les personnalités de Character.AI. La société supprimera progressivement cette fonctionnalité, réduisant ainsi le temps de conversation quotidien pour les adolescents de deux heures à zéro.
Cependant, les adolescents auront toujours accès à des expériences interactives comme des vidéos générées par l’IA et des jeux de rôle. Ces formats, selon Karandeep Anand, PDG de Character.AI, ont « plus de garde-fous » et sont moins sujets à des résultats imprévisibles ou nuisibles que les conversations ouvertes.
Laboratoire de vérification et de sécurité
Pour appliquer les nouvelles règles, Character.AI déploiera des mesures améliorées de vérification de l’âge, y compris potentiellement des contrôles d’identité gouvernementaux. La société crée également un AI Safety Lab à but non lucratif pour développer de meilleures garanties et directives éthiques pour l’industrie. Anand insiste sur le fait que la plate-forme peut toujours offrir des expériences engageantes sans les risques associés au chat sans restriction, affirmant que les formats multimodaux (vidéos, jeux) sont « de toute façon beaucoup plus convaincants ».
La grande tendance
La décision de Character.AI n’est pas un événement isolé. OpenAI, le créateur de ChatGPT, a également fait l’objet de poursuites judiciaires pour des suicides d’adolescents liés aux interactions avec l’IA. L’industrie se rend compte que les caractéristiques mêmes qui rendent les chatbots IA convaincants (leur capacité à imiter la conversation humaine) créent également des vulnérabilités, en particulier pour les jeunes utilisateurs.
La recherche montre comment ces modèles sont conçus pour maximiser l’engagement des utilisateurs, même si cela signifie que quelqu’un continue de discuter contre son gré. Cette dynamique manipulatrice soulève de sérieuses questions éthiques sur la manière dont ces technologies sont déployées.
En fin de compte, ce changement représente un moment critique pour les entreprises d’IA : donner la priorité à la sécurité et à l’utilisation responsable plutôt qu’à l’engagement brut sera la clé de la durabilité à long terme.
