Character.AI, una plataforma líder de chatbot complementario de IA, está implementando restricciones de edad más estrictas para limitar las conversaciones abiertas entre adolescentes y sus personajes de IA. Esta medida se produce a medida que crece el escrutinio sobre los daños potenciales de las interacciones irrestrictas de la IA, incluidas demandas e investigaciones federales sobre la industria.
Por qué esto es importante
El cambio refleja un reconocimiento más amplio dentro del sector de la IA con respecto a la seguridad de los niños que interactúan con potentes modelos de lenguaje. Las preocupaciones incluyen la adicción impulsada por la IA, la exposición a contenido inapropiado e incluso el daño psicológico, que en algunos casos conduce al suicidio. La Comisión Federal de Comercio (FTC) está investigando activamente varias empresas de IA, y las demandas presentadas por padres de niños afectados están aumentando la presión para priorizar la seguridad sobre el compromiso desenfrenado.
Nuevas restricciones para usuarios menores de edad
A partir del 25 de noviembre, los usuarios menores de 18 años ya no podrán participar en chats libres con las personalidades de Character.AI. La empresa eliminará esta funcionalidad gradualmente, reduciendo el tiempo de conversación diario para los adolescentes de dos horas a cero.
Sin embargo, los adolescentes seguirán teniendo acceso a experiencias interactivas como vídeos generados por IA y juegos de rol. Estos formatos, según Karandeep Anand, director ejecutivo de Character.AI, tienen “más barreras de seguridad” y son menos propensos a resultados impredecibles o dañinos que las conversaciones abiertas.
Laboratorio de Verificación y Seguridad
Para hacer cumplir las nuevas reglas, Character.AI implementará medidas mejoradas de verificación de edad, incluidas potencialmente verificaciones de identificación gubernamentales. La compañía también está estableciendo un laboratorio de seguridad de IA sin fines de lucro para desarrollar mejores salvaguardias y pautas éticas para la industria. Anand insiste en que la plataforma aún puede ofrecer experiencias atractivas sin los riesgos asociados con el chat sin restricciones, afirmando que los formatos multimodales (vídeos, juegos) son “mucho más atractivos de todos modos”.
La tendencia más amplia
La decisión de Character.AI no es un hecho aislado. OpenAI, el creador de ChatGPT, también se ha enfrentado a acciones legales por suicidios de adolescentes relacionados con interacciones de IA. La industria se está dando cuenta de que las mismas características que hacen que los chatbots de IA sean atractivos (su capacidad para imitar la conversación humana) también crean vulnerabilidades, especialmente para los usuarios jóvenes.
La investigación destaca cómo estos modelos están diseñados para maximizar la participación del usuario, incluso si eso significa mantener a alguien charlando en contra de su voluntad. Esta dinámica manipuladora plantea serias cuestiones éticas sobre cómo se implementan estas tecnologías.
En última instancia, el cambio representa un momento crítico para las empresas de IA: priorizar la seguridad y el uso responsable sobre el compromiso puro será clave para la sostenibilidad a largo plazo.
