Por Filippo Menczer
Profesor de Informática y Ciencias de la Computación, Universidad de Indiana
A mediados de 2023, casi al mismo tiempo que Elon Musk renombró Twitter como X, pero antes de que suspendiera el acceso académico gratuito a los datos de la plataforma, mis colegas y yo buscamos indicios de cuentas de bots sociales que publicaran contenido generado por inteligencia artificial. Los bots sociales son software de IA que produce contenido e interactúa con personas en redes sociales. Descubrimos una red de más de mil bots involucrados en estafas con criptomonedas. La bautizamos como la botnet «fox8» en honor a uno de los sitios web de noticias falsas que pretendía amplificar.
Pudimos identificar estas cuentas porque los programadores fueron un poco descuidados: no detectaron publicaciones ocasionales con texto revelador generado por ChatGPT, como cuando el modelo de IA se negaba a cumplir con indicaciones que infringían sus términos. La respuesta reveladora más común fue: «Lo siento, pero no puedo cumplir con esta solicitud porque infringe la Política de Contenido de OpenAI sobre la generación de contenido dañino o inapropiado. Como modelo de lenguaje de IA, mis respuestas siempre deben ser respetuosas y apropiadas para todos los públicos».
Creemos que fox8 fue solo la punta del iceberg porque los mejores codificadores pueden filtrar publicaciones autorreveladoras o usar modelos de IA de código abierto perfeccionados para eliminar barreras éticas.
Los bots de fox8 generaron interacciones falsas entre ellos y con cuentas humanas mediante intercambios de mensajes y retuits realistas. De esta forma, engañaron al algoritmo de recomendación de X para que aumentara la visibilidad de sus publicaciones y acumularan una cantidad significativa de seguidores e influencia.
Tal nivel de coordinación entre agentes en línea no auténticos no tenía precedentes: los modelos de IA se habían convertido en armas para dar lugar a una nueva generación de agentes sociales, mucho más sofisticados que los bots sociales anteriores . Las herramientas de aprendizaje automático para detectar bots sociales, como nuestro propio Botómetro , no pudieron distinguir entre estos agentes de IA y las cuentas humanas en la práctica. Incluso los modelos de IA entrenados para detectar contenido generado por IA fallaron.
Los bots en la era de la IA generativa
Unos años después: hoy, personas y organizaciones con malas intenciones tienen acceso a modelos de lenguaje de IA más potentes, incluidos los de código abierto, mientras que las plataformas de redes sociales han relajado o eliminado sus esfuerzos de moderación. Incluso ofrecen incentivos económicos por contenido atractivo, independientemente de si es real o generado por IA. Esto crea un escenario ideal para operaciones de influencia, tanto nacionales como extranjeras, dirigidas a elecciones democráticas. Por ejemplo, un enjambre de bots controlado por IA podría crear la falsa impresión de una oposición bipartidista generalizada a un candidato político.
La actual administración estadounidense ha desmantelado los programas federales que combaten estas campañas hostiles y ha recortado la financiación de las investigaciones para estudiarlas. Los investigadores ya no tienen acceso a los datos de la plataforma que permitirían detectar y monitorear este tipo de manipulación en línea.
Formo parte de un equipo interdisciplinario de investigadores en informática, inteligencia artificial, ciberseguridad, psicología, ciencias sociales, periodismo y políticas públicas que han alertado sobre la amenaza de enjambres maliciosos de IA . Creemos que la tecnología actual de IA permite a las organizaciones con intenciones maliciosas desplegar un gran número de agentes autónomos, adaptables y coordinados en múltiples plataformas de redes sociales. Estos agentes facilitan operaciones de influencia mucho más escalables, sofisticadas y adaptables que las simples campañas de desinformación predefinidas.
En lugar de generar publicaciones idénticas o spam evidente, los agentes de IA pueden generar contenido variado y creíble a gran escala . Los enjambres pueden enviar mensajes adaptados a las preferencias individuales y al contexto de sus conversaciones en línea. Los enjambres pueden adaptar el tono, el estilo y el contenido para responder dinámicamente a la interacción humana y a las señales de la plataforma, como el número de «me gusta» o las visualizaciones.
Consenso sintético
En un estudio que mis colegas y yo realizamos el año pasado, utilizamos un modelo de redes sociales para simular enjambres de cuentas falsas que emplean diferentes tácticas para influir en una comunidad en línea objetivo. Una táctica fue, con diferencia, la más efectiva: la infiltración. Una vez infiltrado un grupo en línea, los enjambres de IA maliciosa pueden crear la ilusión de un amplio consenso público en torno a las narrativas que están programadas para promover. Esto explota un fenómeno psicológico conocido como prueba social : los humanos tienden naturalmente a creer algo si perciben que «todo el mundo lo dice».
Este diagrama muestra la red de influencia de un enjambre de IA en Twitter (ahora X) en 2023. Los puntos amarillos representan un enjambre de bots sociales controlados por un modelo de IA. Los puntos grises representan cuentas legítimas que siguen a los agentes de IA. Filippo Menczer y Kai-Cheng Yang , CC BY-NC-ND
Estas tácticas de manipulación en redes sociales llevan muchos años existiendo, pero los enjambres de IA maliciosos pueden crear interacciones creíbles con usuarios humanos específicos a gran escala y lograr que sigan cuentas falsas. Por ejemplo, los agentes pueden hablar del último partido con un aficionado al deporte y de la actualidad con un adicto a las noticias. Pueden generar un lenguaje que resuene con los intereses y opiniones de sus objetivos.
Incluso si se desmienten las afirmaciones individuales, el coro persistente de voces que parecen independientes puede generalizar las ideas radicales y amplificar los sentimientos negativos hacia los demás. El consenso sintético fabricado constituye una amenaza muy real para la esfera pública , los mecanismos que las sociedades democráticas utilizan para formar creencias compartidas, tomar decisiones y confiar en el discurso público. Si los ciudadanos no pueden distinguir con fiabilidad entre la opinión pública genuina y la simulación de unanimidad generada algorítmicamente, la toma de decisiones democrática podría verse gravemente comprometida.
Mitigación de los riesgos
Lamentablemente, no existe una solución única. Una regulación que otorgue a los investigadores acceso a los datos de la plataforma sería un primer paso. Comprender cómo se comportan colectivamente los enjambres sería esencial para anticipar los riesgos. Detectar el comportamiento coordinado es un desafío clave. A diferencia de los bots de copia y pega, los enjambres maliciosos producen resultados variados que se asemejan a la interacción humana normal, lo que dificulta considerablemente su detección.
En nuestro laboratorio, diseñamos métodos para detectar patrones de comportamiento coordinado que se desvían de la interacción humana normal. Incluso si los agentes tienen una apariencia diferente, sus objetivos subyacentes suelen revelar patrones en la sincronización, el movimiento de la red y la trayectoria narrativa que es improbable que ocurran de forma natural.
Las plataformas de redes sociales podrían usar estos métodos. Creo que la IA y las plataformas de redes sociales también deberían adoptar estándares más agresivos para aplicar marcas de agua al contenido generado por IA, así como para reconocerlo y etiquetarlo . Finalmente, restringir la monetización de interacciones no auténticas reduciría los incentivos financieros para que las operaciones de influencia y otros grupos maliciosos utilicen el consenso sintético.
La amenaza es real
Si bien estas medidas podrían mitigar los riesgos sistémicos de enjambres maliciosos de IA antes de que se arraiguen en los sistemas políticos y sociales mundiales, el panorama político actual en Estados Unidos parece ir en la dirección opuesta. La administración Trump ha buscado reducir la regulación de la IA y las redes sociales y, en cambio, prioriza la rápida implementación de modelos de IA sobre la seguridad.
La amenaza de enjambres maliciosos de IA ya no es una teoría: nuestra evidencia sugiere que estas tácticas ya se están implementando. Creo que los responsables políticos y los tecnólogos deberían aumentar el coste, el riesgo y la visibilidad de dicha manipulación.