Los investigadores entrenaron un LLM para detectar si las afirmaciones eran verdaderas o falsas. El modelo detectó el 67% de los Falsos, mejor que el humano que llega al 50%. Podrían provocar un aumento de las acusaciones y nuevos desafíos sociales, legales y éticos.
Investigadores de la Universidad de Würzburg y del Instituto Max-Planck para el Desarrollo Humano entrenaron un modelo de IA para detectar mentiras y podría alterar la forma en que nos relacionamos entre nosotros.
Los humanos no somos muy buenos para saber si alguien miente o dice la verdad. Los experimentos muestran que nuestra tasa de aciertos es de alrededor del 50 % en el mejor de los casos y este pobre desempeño determina cómo nos relacionamos con los demás.
La teoría de la verdad por defecto (TDT) dice que las personas normalmente asumirán que lo que una persona les dice es verdad. El costo social de llamar mentiroso a una persona es un riesgo demasiado grande teniendo en cuenta nuestra capacidad de detección de mentiras al 50 % y la verificación de datos no siempre es práctica en el momento.
Los polígrafos y otras tecnologías de detección de mentiras pueden captar datos como indicadores de estrés y movimientos oculares, pero es poco probable que utilices alguno de ellos en tu próxima conversación. ¿Podría ayudar la IA?
El artículo explica cómo el equipo de investigación entrenó al BERT LLM de Google para detectar cuándo la gente mentía.
Los investigadores reclutaron a 986 participantes y les pidieron que describieran sus planes de fin de semana con una explicación complementaria que respaldara la veracidad de su declaración.
Luego se les presentaron los planes de fin de semana de otro participante y se les pidió que escribieran una declaración de apoyo falsa argumentando que esos eran, de hecho, sus planes para el fin de semana.
BERT fue entrenado con el 80% de las 1.536 declaraciones y luego se le asignó la tarea de evaluar la veracidad del resto de las declaraciones.
El modelo fue capaz de etiquetar con precisión una afirmación como verdadera o falsa con una precisión del 66,86%, significativamente mejor que los jueces humanos que lograron una tasa de precisión del 46,47% en experimentos posteriores.
¿Utilizarías un detector de mentiras con inteligencia artificial?
Los investigadores descubrieron que cuando a los participantes se les presentó la opción de utilizar el modelo de detección de mentiras de IA, solo un tercio decidió aceptar la oferta.
Aquellos que optaron por utilizar el algoritmo casi siempre siguieron la predicción algorítmica al aceptar la afirmación como verdadera o hacer una acusación de mentir.
Los participantes que solicitaron predicciones algorítmicas demostraron tasas de acusación de casi el 85% cuando se sugirió que la afirmación era falsa. El nivel de referencia de los que no solicitaron predicciones de máquinas fue del 19,71%.
Las personas que están abiertas a la idea de un detector de mentiras con inteligencia artificial tienen más probabilidades de decir que todo es mentira cuando ven la luz roja parpadear.
Los investigadores sugieren que “una explicación plausible es que un algoritmo de detección de mentiras disponible ofrece la oportunidad de transferir la responsabilidad de las acusaciones de uno mismo al sistema de aprendizaje automático”.
«No te estoy llamando mentiroso, lo está haciendo la máquina».
Esto lo cambia todo
¿Qué pasaría en nuestras sociedades si las personas tuvieran 4 veces más probabilidades de empezar a llamarse mentirosos entre sí?
Los investigadores concluyeron que si la gente confiara en la IA como árbitro de la verdad, esta podría tener un fuerte potencial disruptivo.
El documento señaló que “las altas tasas de acusaciones pueden tensar nuestro tejido social al fomentar la desconfianza generalizada y aumentar aún más la polarización entre grupos a los que ya les resulta difícil confiar unos en otros”.
Un detector de mentiras de inteligencia artificial también tendría efectos positivos: podría identificar desinformación y noticias falsas generadas por inteligencia artificial, ayudar en negociaciones comerciales o combatir el fraude en seguros.
¿Qué pasa con la ética de utilizar una herramienta como esta? ¿Podrían los agentes fronterizos utilizarla para detectar si la solicitud de asilo de un migrante era verdadera o una invención oportunista?
Es probable que modelos más avanzados que BERT lleven la precisión de la detección de mentiras de la IA a un punto en que los intentos humanos de engaño sean demasiado fáciles de detectar.
Los investigadores concluyeron que su “investigación subraya la necesidad urgente de un marco de políticas integral para abordar el impacto de los algoritmos de detección de mentiras impulsados por IA”.