El lanzamiento de NIST GenAI y el estudio centrado en deepfake se producen en un momento en que el volumen de información errónea y desinformación generada -deepfake- por IA crece exponencialmente.
El Departamento de Comercio de EE. UU. anunció hoy, tras cumplirse 180 días desde la Orden Ejecutiva (EO) del presidente Biden sobre el desarrollo seguro y confiable de la IA , varios anuncios nuevos relacionados con la EO. El Instituto Nacional de Estándares y Tecnología (NIST) del departamento ha publicado cuatro borradores de publicaciones destinadas a ayudar a mejorar la seguridad y la confiabilidad de los sistemas de inteligencia artificial (IA).
El Instituto Nacional de Estándares y Tecnología (NIST), la agencia del Departamento de Comercio de EE. UU. que desarrolla y prueba tecnología para el gobierno, las empresas y el público en general de EE. UU., anunció el lunes el lanzamiento de NIST GenAI, un nuevo programa encabezado por el NIST para evaluar la generación. Tecnologías de IA, incluida la IA generadora de texto e imágenes.
NIST GenAI publicará puntos de referencia, ayudará a crear sistemas de detección de «autenticidad del contenido» (es decir, verificación de deepfake) y fomentará el desarrollo de software para detectar la fuente de información falsa o engañosa generada por IA, explica el NIST en el sitio web NIST GenAI recientemente lanzado y en comunicado de prensa .
«El programa NIST GenAI publicará una serie de problemas de desafío destinados a evaluar y medir las capacidades y limitaciones de las tecnologías de IA generativa», se lee en el comunicado de prensa. «Estas evaluaciones se utilizarán para identificar estrategias para promover la integridad de la información y guiar el uso seguro y responsable del contenido digital».
El primer proyecto de NIST GenAI es un estudio piloto para construir sistemas que puedan distinguir de manera confiable entre los medios creados por humanos y los generados por IA, comenzando con el texto. (Si bien muchos servicios pretenden detectar deepfakes, los estudios y nuestras propias pruebas han demostrado que, en el mejor de los casos, son inestables , especialmente cuando se trata de texto).
NIST GenAI está invitando a equipos de la academia, la industria y los laboratorios de investigación a enviar cualquiera de los “generadores”: Sistemas de IA para generar contenido, o “discriminadores”, que son sistemas diseñados para identificar contenido generado por IA.
Los generadores del estudio deben generar resúmenes de 250 palabras o menos, proporcionando un tema y un conjunto de documentos, mientras que los discriminadores deben detectar si un resumen determinado está potencialmente escrito por IA. Para garantizar la equidad, NIST GenAI proporcionará los datos necesarios para probar los generadores. No se aceptarán sistemas entrenados con datos disponibles públicamente y que no “[cumplen] con las leyes y regulaciones aplicables”, dice el NIST.
La inscripción para el piloto comenzará el 1 de mayo, y la primera ronda de dos finalizará el 2 de agosto. Se espera que los resultados finales del estudio se publiquen en febrero de 2025.
“A pesar de todos sus beneficios potencialmente transformadores, la IA generativa también conlleva riesgos que son significativamente diferentes de los que vemos con el software tradicional. Estos documentos de orientación no sólo informarán a los creadores de software sobre estos riesgos únicos, sino que también les ayudarán a desarrollar formas de mitigarlos y al mismo tiempo respaldar la innovación” dijo la Subsecretaria de Comercio para Estándares y Tecnología y directora del NIST, Laurie E. Locascio.