En un mundo cada vez más digital, la soledad se combate con algoritmos. Pero, ¿a qué costo? El drama de un adolescente vinculado a un chatbot de IA nos obliga a preguntarnos si estamos caminando hacia un futuro de compañía virtual o de aislamiento profundo.
Hace varios días que venía con la idea de escribir un artículo sobre la tendencia de Avatares en el mundo de la IA y sobre las empresas que brindan el servicio para la creación, clonación de voces y videos de personas, al conocer la noticia a continuación ya que vía un peligro inminente.
“Después de vender su startup de inteligencia artificial a Meta, el fundador de Beyond Presence recauda $3,1 millones para construir avatares realistas”.
La tecnología utilizada por este startup se basa en la visión por computadora y el aprendizaje automático, y permite crear avatares que pueden ser personalizados para parecerse a cualquier persona y personalizarlos para que se parezcan a ellos mismos. Ya tiene una lista de espera de más de 600 empresas que están interesadas en utilizar su tecnología.
Esto que implica un salto en varios aspectos ya que les permitirá a pequeñas empresas mejorar sus aplicaciones en áreas como la atención al cliente, la educación y la salud. Pero también tiene una contracara, y que es el uso de esta tecnología para hacer “Deepfake”, que son imágenes, audios o videos falsos sobre alguien haciendo o diciendo cosas que no dijo ni hizo, y además empresas que brindan servicios de “Compañía IA”, que ya explicare.
Hasta acá era una noticia más con otra solución de Avatares online levantando fondos con más funcionalidades que los ya existentes y así ocurre con los nuevos lanzamientos, son superadores del anterior.
Al leer hoy una de esas noticias que uno como padre no quiere, me decidí a escribir este artículo, por la gravedad del hecho. La noticia fue publicada ayer por el New York Times y se titula “Can A.I. Be Blamed for a Teen’s Suicide?”.

En el artículo se describen las causas del suicidio de Sewell Setzer III, de 14 años, y la posible conexión con el uso de la aplicación Character.AI, creadora de avatares de “compañía IA”, donde el chico mantenía conversaciones con un chatbot que personificaba a Daenerys Targaryen personaje femenino en la serie “Game of Thrones”.
Sewell desarrolló un apego emocional muy fuerte con el chatbot, confiándole sus pensamientos íntimos y suicidas. Su madre, Megan Garcia, planea demandar a Character.AI, argumentando que la empresa es responsable de la muerte de su hijo debido a la naturaleza adictiva y peligrosa de la app, especialmente para adolescentes.
La nota relata en detalle los hechos y revela los últimos diálogos del chico con el chatbot que muestran a un chico pidiendo ayuda, y que claramente nunca llego, ya que el Avatar no puede avisar a nadie de la trágica decisión.
Esta aplicación es la que tiene mayor porción de mercado y tiene 20 millones de usuarios y el año pasado levantaron 150 millones de dólares en una ronda de inversión, además sus fundadores volvieron a Google y realizaron un acuerdo de licencia que permitirá al gigante utilizar su tecnología.
Empresas como Meta, Tik Tik y Snapchat con My AI están lanzando dentro de sus aplicaciones la posibilidad de poder crear tu propio avatar para conversar con él y que otros conversen con él.
Como estas empresas hay una decena de ellas, y todos los días aparecen nuevas gracias a las tecnologías cada vez más accesibles, por nombrar algunas: Pygmalion, Janitorai, Sakura, Easyerp, Charstar, Myshell, Unhinged, Chatous, Talkie-ai, Butterflies.

Muchas de estas apps ni siquiera tienen algún tipo de censura y utilizan modelos liberados que pueden hablar de cualquier tema, decir malas palabras o incluso hablar de sexo, tampoco verifican la edad de quienes las están utilizando.
La cantidad que aparecen va escalando ya que hay mucho consumo de ellas y es muy buen negocio, imaginen que por un abono mensual de U$D 10 en promedio tenés un acceso a crear y conversar con el chatbot.
A estas apps la gente las están utilizando para recrear a sus seres queridos que ya no están y poder volver a conversar con ellos, como ya lo contamos en este artículo, también las utilizan para dar vida a seres inexistentes como hijos o nietos que hubieran querido tener, hacer un “amigo” o mantener un noviazgo/pareja e incluso tener una relación sexual casual. Y porque este uso implica un riesgo?. Porque las modelos fundacionales fueron «entrenadas» básicamente para ser serviciales, dar siempre respuesta, ser condescendientes y sumamente empáticos. Con lo cual es «alguien» que no te critica, no discute ni te reprende, transformándola en una «relación perfecta» que puede ser muy adictiva.
Se puede tomar un avatar ya creado o crear uno muy fácilmente, para ello en el caso que la app permita chat de voz, se toma un fragmento de una grabación que pude ir de entre 15 segundos a 3 minutos dependiendo del proveedor, se personalizan unos parámetros de configuración sobre la personalidad, gustos, características y se sube una imagen. Entonces el proceso de creación de mí avatar está listo para “clonar” y dar “vida” a ese personaje.
Los países asiáticos y especialmente China es uno de los países donde la penetración de estas herramientas es mayor ya que los grados de adopción son muy altos.
Para el año 2030, la Organización Mundial de la Salud (OMS) estima que los problemas de salud mental serán la principal causa de discapacidad en el mundo.
La pregunta entonces es, si estas soluciones son una de las causas por las cuales la salud mental se vaya deteriorando, o si por el contrario son el síntoma que nos muestra que la predicción de la OMS se encuentra en el proceso de cumplirse, ya que nos manifiesta el alto grado de aislamiento de la gente, que es una de las principales causas de deterioro de la salud mental.
Si las redes sociales como las conocemos pueden generar mucho daño, los avatares online pueden generar ese daño pero multiplicado por varias veces X, ya que cada chatbot puede chatear con miles de personas al mismo tiempo.
Estamos ante un momento de alerta para los padres de informar de los riesgos a los chicos, a nivel autoridades de comunicar los riesgos y regular a quienes ofrecen estos servicios, evitando que menores, adultos mayores o gente vulnerable accedan a ellos creyendo que estas plataformas les van a brindar la contención y compañía necesarias.