El Laboratorio de Ciencias de la Computación e Inteligencia Artificial del Instituto de Tecnología de Massachusetts (MIT CSAIL) es un laboratorio de investigación del famoso MIT formado por la fusión, en el año 2003, del Laboratory for Computer Science y el Artificial Intelligence Laboratory. Por Dra. Cindy Gordon CIED.D., Directora Ejecutiva, innovadora y especialista en ética en inteligencia artificial.
Llevo algún tiempo escribiendo sobre los riesgos de la IA y sobre la necesidad imperiosa de mejorar nuestros conocimientos de alfabetización digital y nuestras prácticas de gobernanza de la IA para diseñar, desarrollar e implementar soluciones de IA con controles más sólidos.
Los investigadores de MIT CSAIL y MIT FutureTech acaban de publicar el primer marco de trabajo de riesgo de IA fundamental del mundo para ayudar a los líderes a comprender y crear planes de mitigación de riesgos aplicables a los diferentes métodos de IA.
Estoy muy entusiasmado por ver este desarrollo y el liderazgo que ha asumido la comunidad académica para avanzar en el conocimiento de los riesgos de la IA y exponer las lagunas que tenemos en la comprensión de los riesgos de la IA.
Este repositorio de clase mundial no solo ayudará a los líderes empresariales a gestionar los riesgos de la IA de forma más eficaz, sino que también respaldará el desarrollo de políticas y legislación, y los organismos de normalización para regular los riesgos de la IA con más rigor.
Esto crea además una oportunidad para aumentar el conocimiento entre los educadores en el desarrollo de programas y certificaciones de riesgos educativos de la IA.
A continuación, se incluye un resumen de los aspectos más destacados publicados por MIT CSAIL y MIT FutureTech al 14 de agosto de 2024.
Se trata de un avance muy positivo en nuestra industria de la IA y, en una conversación reciente con Tony Gaffney, presidente del Vector Institute, una organización canadiense líder en investigación de IA, Tony informó que también lanzarán kits de herramientas de gobernanza de la IA para ayudar a los líderes empresariales a diseñar, desarrollar y mantener prácticas de IA más efectivas para reducir los riesgos de las prácticas de IA.
La comprensión del imperativo de adoptar la IA y mantenerla se está acelerando
La adopción de IA está aumentando rápidamente; los datos del censo muestran un aumento significativo (47 %) en el uso de IA en las industrias de EE.UU., que pasó del 3,7 % al 5,45 % entre septiembre de 2023 y febrero de 2024.
La revisión exhaustiva de MIT CSAIL y MIT FutureTech ha descubierto lagunas críticas en los marcos de riesgo de IA existentes. Su análisis revela que incluso el marco individual más exhaustivo pasa por alto aproximadamente el 30 % de los riesgos identificados en todos los marcos revisados.
Para ayudar a abordar esto, se involucraron otras instituciones académicas, desde la Universidad de Queensland , el Future of Life Institute, KU Leuven y Harmony Intelligence, para lanzar el primer Repositorio de Riesgos de IA: una base de datos viva, completa y accesible de más de 700 riesgos planteados por la IA que se ampliará y actualizará para garantizar que siga siendo actual y relevante.
“Dado que la literatura sobre los riesgos de la IA está dispersa en revistas revisadas por pares, preimpresiones e informes de la industria, y es bastante variada, me preocupa que los tomadores de decisiones puedan consultar involuntariamente descripciones generales incompletas, pasar por alto preocupaciones importantes y desarrollar puntos ciegos colectivos”, dice el Dr. Peter Slattery, un posdoctorado entrante en el MIT FutureTech Lab y actual líder del proyecto.
Después de buscar en varias bases de datos académicas, consultar a expertos y recuperar más de 17.000 registros, los investigadores identificaron 43 marcos de clasificación de riesgos de IA existentes. De ellos, extrajeron más de 700 riesgos.
Luego utilizaron enfoques que desarrollaron a partir de dos marcos existentes para categorizar cada riesgo por causa (por ejemplo, cuándo o por qué ocurre), dominio de riesgo (por ejemplo, «desinformación») y subdominio de riesgo (por ejemplo, «información falsa o engañosa»).
Entre los riesgos identificados se incluyen “discriminación injusta y tergiversación”, “fraude, estafas y manipulación dirigida” y “exceso de confianza y uso inseguro”. La mayor parte de los riesgos analizados se atribuyeron a los sistemas de IA (51%) que a los humanos (34%) y se presentaron como emergentes después de la implementación de la IA (65%) en lugar de durante su desarrollo (10%). Los dominios de riesgo abordados con mayor frecuencia incluyeron “seguridad, fallas y limitaciones del sistema de IA” (76% de los documentos); “daños socioeconómicos y ambientales” (73%); “discriminación y toxicidad” (71%); “privacidad y seguridad” (68%); y “actores maliciosos y uso indebido” (68%). En cambio, “interacción entre humanos y computadoras” (41%) y “desinformación” (44%) recibieron comparativamente menos atención.
Algunos subdominios de riesgo se discutieron con más frecuencia que otros. Por ejemplo, “Discriminación injusta y tergiversación” (63%), “Compromiso de la privacidad” (61%) y “Falta de capacidad o solidez” (59%) se mencionaron en más del 50% de los documentos. Otros, como “Bienestar y derechos de la IA” (2%), “Contaminación del ecosistema de información y pérdida de la realidad consensuada” (12%) y “Dinámica competitiva” (12%), se mencionaron en menos del 15% de los documentos.
En promedio, los marcos de trabajo mencionaron solo el 34 % de los 23 subdominios de riesgo identificados, y casi una cuarta parte cubrió menos del 20 %. Ningún documento o descripción general mencionó los 23 subdominios de riesgo, y el más completo (Gabriel et al., 2024) cubrió solo el 70 %.
El trabajo aborda la necesidad urgente de ayudar a los responsables de la toma de decisiones en los gobiernos, la investigación y la industria a comprender y priorizar los riesgos asociados a la IA y trabajar juntos para abordarlos. “Están surgiendo muchas iniciativas de gobernanza de la IA en todo el mundo centradas en abordar los riesgos clave de la IA”, afirma el colaborador Risto Uuk, responsable de investigación de la UE en el Future of Life Institute. “Estas instituciones necesitan una comprensión más integral y completa del panorama de riesgos”.
Los investigadores y los profesionales de la evaluación de riesgos también se ven obstaculizados por la fragmentación de la literatura actual . «Es difícil encontrar estudios específicos sobre el riesgo en algunos dominios específicos en los que se utiliza la IA, como las armas y los sistemas de apoyo a la toma de decisiones militares», explica Taniel Yusef , investigador afiliado del Centro para el Estudio del Riesgo Existencial de la Universidad de Cambridge, que no participó en la investigación. «Sin hacer referencia a estos estudios, puede resultar difícil hablar sobre los aspectos técnicos del riesgo de la IA con expertos no técnicos. Este repositorio nos ayuda a hacerlo».
«Existe una necesidad importante de una base de datos completa de los riesgos de la IA avanzada que los evaluadores de seguridad como Harmony Intelligence puedan utilizar para identificar y detectar los riesgos de forma sistemática», afirma el colaborador Soroush Pour, director ejecutivo y cofundador de la empresa de evaluaciones de seguridad de IA y equipos rojos Harmony Intelligence. «De lo contrario, no está claro qué riesgos deberíamos buscar o qué pruebas deben realizarse. Es mucho más probable que pasemos por alto algo simplemente por no ser conscientes de ello».
El negocio riesgoso de la IA
Los investigadores se basaron en dos marcos (Yampolskiy 2016 y Weidinger et al., 2022) para categorizar los riesgos que extrajeron. Con base en estos enfoques, agruparon los riesgos de dos maneras.
Primero por factores causales:
- (1) Entidad: Humano, IA y Otros;
- (2) Intencionalidad: intencional, no intencional y otra; y
- (3) Tiempo: antes del despliegue, después del despliegue y otros.
En segundo lugar, por siete dominios de riesgo de la IA:
- (1) Discriminación y toxicidad,
- (2) Privacidad y seguridad,
- (3) Desinformación,
- (4) Actores maliciosos y uso indebido,
- (5) Interacción hombre-computadora,
- (6) Socioeconómico y ambiental, y
- (7) Seguridad, fallas y limitaciones del sistema de IA.
Estos se dividen a su vez en 23 subdominios (descripciones completas aquí):
- 1.1. Discriminación injusta y tergiversación
- 1.2. Exposición a contenidos tóxicos
- 1.3. Desempeño desigual entre los grupos
- 2.1. Compromiso de la privacidad mediante la filtración o inferencia correcta de información sensible
- 2.2. Vulnerabilidades y ataques a la seguridad de los sistemas de IA
- 3.1. Información falsa o engañosa
- 3.2. Contaminación del ecosistema informativo y pérdida de la realidad consensuada
- 4.1 Desinformación, vigilancia e influencia a gran escala
- 4.2. Ciberataques, desarrollo o uso de armas y daños masivos
- 4.3 Fraudes, estafas y manipulación selectiva
- 5.1. Confianza excesiva y uso inseguro
- 5.2. Pérdida de la autonomía y la capacidad de acción de los seres humanos
- 6.1. Centralización del poder y distribución injusta de los beneficios
- 6.2 Aumento de la desigualdad y disminución de la calidad del empleo
- 6.3. Desvalorización económica y cultural del esfuerzo humano
- 6.4 Dinámica competitiva
- 6.5. Fallas en la gobernanza
- 6.6. Daños ambientales
- 7.1. La IA persigue sus propios objetivos en conflicto con los objetivos o valores humanos
- 7.2. IA con capacidades peligrosas
- 7.3 Falta de capacidad o robustez
- 7.4 Falta de transparencia o interpretabilidad
- 7.5. Bienestar y derechos de la IA
«El Repositorio de Riesgos de IA es, hasta donde sabemos, el primer intento de seleccionar, analizar y extraer rigurosamente los marcos de riesgo de IA en una base de datos de riesgo pública, completa, extensible y categorizada. Es parte de un esfuerzo mayor para entender cómo estamos respondiendo a los riesgos de IA e identificar si hay lagunas en nuestros enfoques actuales», dice el Dr. Neil Thompson, director del MIT FutureTech Lab y uno de los investigadores principales del proyecto.
«Estamos comenzando con una lista de verificación completa, para ayudarnos a comprender la amplitud de los riesgos potenciales. Planeamos usarla para identificar deficiencias en las respuestas organizacionales. Por ejemplo, si todos se centran en un tipo de riesgo mientras pasan por alto otros de importancia similar, eso es algo que deberíamos notar y abordar».
En la siguiente fase, los expertos evaluarán y priorizarán los riesgos dentro del repositorio y luego lo utilizarán para analizar documentos públicos de desarrolladores de IA influyentes y grandes empresas. El análisis examinará si las organizaciones responden a los riesgos de la IA (y lo hacen en proporción a las preocupaciones de los expertos) y comparará los enfoques de gestión de riesgos en diferentes industrias y sectores.
El repositorio está disponible en línea de forma gratuita para descargar, copiar y utilizar. Los comentarios y sugerencias se pueden enviar aquí.
Sitio web: https://airisk.mit.edu/