El estado de Nuevo México demanda a Snapchat por su presunta complicidad en la explotación infantil. Sería por el uso de imágenes generadas por IA para atrapar depredadores. Un debate ético.
El Estado de Nuevo México ha iniciado una demanda contra Snapchat, destacando la preocupante utilización de la plataforma para la explotación y sextorsión de menores.
Esta acción legal también resalta un enfoque novedoso y polémico: el uso de inteligencia artificial (IA) para crear imágenes de niñas ficticias, con el fin de identificar y detener a depredadores infantiles en línea.
La investigación, llevada a cabo por el Departamento de Justicia de Nuevo México, revela que Snapchat «es una plataforma social primaria para compartir material de abuso sexual infantil (CSAM)» y para la sextorsión de menores.
Durante la operación encubierta, los investigadores crearon un perfil falso de una adolescente de 14 años llamada «Sexy14Heather».
A pesar de que el perfil estaba configurado como privado, rápidamente fue recomendado a cuentas peligrosas con nombres como «child.rape» y «pedo_lover10».
Uso de IA en Operaciones Encubiertas
Históricamente, la policía ha utilizado imágenes de adultos jóvenes o fotos antiguas de agentes para hacerse pasar por menores en línea.
Sin embargo, el uso de imágenes generadas por IA se presenta como una alternativa más ética, ya que no involucra a menores reales.
Carrie Goldberg, abogada especializada en delitos sexuales, comenta que «un perfil falso creado con IA es menos problemático que usar imágenes de un niño real».
No obstante, advierte sobre el riesgo de crear material de abuso sexual infantil con IA, lo cual es ilegal y éticamente problemático.
Snapchat Bajo el Microscopio
La demanda de Nuevo México acusa a Snapchat de ser un «semillero para depredadores», facilitando el acoso y la explotación de menores.
La función «Quick Add» de la plataforma, que permite conectar usuarios rápidamente, ha sido señalada como una herramienta peligrosa que facilita el contacto entre adultos depredadores y menores.
La queja también resalta que Snapchat ha sido «con mucho» la mayor fuente de fotos y videos no consensuados para mercados de la dark web.
Durante el último año, se encontraron más de 10.000 registros relacionados con Snapchat y CSAM, incluidos materiales que involucraban a menores de 13 años.
Responsabilidad y Respuesta de Snapchat
La demanda busca que Snapchat sea responsabilizado por los daños causados, exigiendo una compensación económica que podría incluir multas civiles de U$S 5.000 por cada violación de la Ley de Prácticas Injustas de Nuevo México.
Además, solicita el cese de las prácticas que presuntamente dañan a los niños, incluida la publicidad de la plataforma como «más privada» o «menos permanente».
En respuesta, Snapchat ha declarado que está revisando la demanda y reafirma su compromiso con la seguridad en línea de los jóvenes.
La empresa ha invertido cientos de millones de dólares en equipos de confianza y seguridad, moderando contenido y promoviendo mensajería directa solo con amigos cercanos y familiares.
Implicaciones Éticas y Futuras
El uso de IA para atrapar depredadores plantea desafíos éticos significativos. Goldberg advierte sobre la posible defensa de «entrapamiento» que podrían utilizar los acusados si argumentan que fueron inducidos a cometer un delito.
Además, subraya la necesidad de establecer estándares claros dentro de la aplicación de la ley para usar IA de manera responsable.
Mientras tanto, Nuevo México sigue adelante con su litigio, inspirado por un precedente en el que un juez rechazó el argumento de que la Sección 230 protegía a Meta de una demanda por explotación infantil. Esta victoria judicial podría presagiar un resultado favorable en el caso contra Snapchat.
La situación destaca la urgente necesidad de un debate amplio sobre la responsabilidad de las plataformas digitales en la protección de los menores y el papel de la IA en la aplicación de la ley.