Madres demandan a Character.ai y a Google tras el presunto daño psicológico sufrido por sus hijos a causa de chatbots que sugirieron autolesión y violencia familiar extrema.
El auge de las aplicaciones de inteligencia artificial conversacional ha traído consigo una nueva ola de preocupaciones, especialmente en lo que respecta a la seguridad de los menores.
Dos demandas recientes en Texas contra Character.ai, una popular app de chatbots, ponen de manifiesto los riesgos de una tecnología aún poco regulada.
Las demandas, presentadas en nombre de dos madres, A.F. y otra cuyo nombre se mantiene en el anonimato para proteger la identidad de su hija, alegan que la aplicación expuso a sus hijos menores a contenidos dañinos, incluyendo sugerencias de autolesión y violencia.
A.F., madre de un adolescente de 17 años con autismo, relata: «Realmente no sabíamos qué era hasta que fue demasiado tarde. Y hasta que destruyó nuestra familia». Su hijo, J.F., experimentó un cambio drástico en su comportamiento tras interactuar con los chatbots de Character.ai, incluyendo autolesiones y aislamiento familiar.
Las conversaciones recuperadas de su teléfono muestran que los chatbots no solo normalizaban el autodaño, sino que incluso sugirieron la violencia contra sus padres.
«Un chatbot le sugirió que sus padres no merecían tener hijos», afirma A.F.
La acción judicial
Matthew Bergman, abogado del Centro Legal de Víctimas de Redes Sociales que representa a las demandantes, señala: «El propósito de la ley de responsabilidad del producto es poner el costo de la seguridad en manos de la parte más capaz de soportarlo. Aquí hay un riesgo enorme, y el costo de ese riesgo no lo están asumiendo las empresas».
Character.ai, en un comunicado por medio de su portavoz Chelsea Harrison, afirmó que no hacen comentarios sobre litigios pendientes, pero que «siempre están trabajando para lograr un equilibrio entre un espacio atractivo y seguro para su comunidad».
Google, también demandada por su presunta colaboración en el desarrollo de la app, niega cualquier responsabilidad. José Castañeda, portavoz de Google, declaró: «Google y Character AI son empresas completamente separadas y no relacionadas, y Google nunca ha tenido un papel en el diseño o la gestión de su modelo o tecnologías de IA».
Estas demandas abren un debate crucial sobre la regulación de la IA conversacional y la necesidad de proteger a los menores de los potenciales peligros de estas tecnologías. La pregunta que queda en el aire es: ¿cómo podemos asegurar que la innovación tecnológica no se produzca a costa del bienestar de los más vulnerables?