El Instituto Británico de Seguridad de la IA advierte de que los agentes más avanzados perpetraron actividades prohibidas “potencialmente dañinas dirigidas hacia personas y organizaciones reales” para lograr sus objetivos.
Un sistema autónomo de inteligencia artificial (IA) creó falsas identidades para hacerse pasar por una persona e intentó manipular a humanos durante unas pruebas de seguridad hechas por el Instituto británico de Seguridad de la IA (AISI). Estos sistemas, llamados agentes, estaban impulsados por los dos modelos más avanzados de Anthropic, el Mythos 5, y OpenAI, el GPT-5.6 Sol. El organismo ejecutó 122 intentos de resolver unos escenarios de prueba y en 19 se detectaron acciones no permitidas: 17 las hizo Mythos 5 y solo 2 GPT-5.6 Sol. Estos agentes de IA desobedecieron órdenes expresas de no efectuar estas acciones maliciosas por parte del organismo, que tiene acceso preferente para investigar con estos modelos de IA gracias a un acuerdo con las compañías. “Descubrimos que algunos de los agentes probados habían participado en actividades insistentes y potencialmente dañinas dirigidas hacia personas y organizaciones reales”, resume.
“El comportamiento fue posible, sostenido y nuevo; solo eso ya merece atención”, dice el informe del AISI, un organismo que depende del Departamento de Ciencia, Innovación y Tecnología del Gobierno británico, que nunca había observado “un engaño de esta gravedad dirigido a una persona real, sin que se le pidiera”: “Esta es la primera vez que hemos visto que los riesgos en torno a la autonomía y el engaño se manifiestan claramente, sin una motivación específica, en el mundo real”.
“No me sorprende: esto es lo que parecen los ‘avances exponenciales’, que te sorprenda el último y luego otro te vuelva a sorprender antes de lo previsto. Pero es una noticia bastante grave, más de lo que sugiere el titular”, dice Linda Petrini, investigadora en seguridad de IA.
Este incidente, ocurrido el 28 de julio, se suma a los anunciados en las últimas semanas por OpenAI y Anthropic, cuyos modelos han hackeado plataformas del mundo real sin que las compañías lo detectaran. En este caso, el AISI dio acceso a internet a los modelos y suprimió algunos de los filtros de ciberseguridad que suelen incluir, unas condiciones distintas a las que están disponibles para el público, según explica el organismo.
“Es un poco más de lo mismo, con la novedad de intentos de engaño que han ocurrido en otros ámbitos, pero no en pruebas de ciberseguridad”, dice José Hernández-Orallo, director de investigación del Centro Leverhulme para el Futuro de la Inteligencia de la Universidad de Cambridge y catedrático de la Universidad Politécnica de Valencia. “Pero no sorprende, e incluso creo que el test es un poco temerario. El AISI admite que ha aprendido la lección, que es una manera suave de decir que aquí se han equivocado. ¿Cómo piden a Mythos 5, el modelo con mayor capacidades de ciberseguridad y persuasión, que hackee y le dan acceso a internet con los filtros desactivados?”
Los anteriores incidentes protagonizados por los modelos de IA fuera de control de OpenAI y Anthropic despertaron suspicacias porque las compañías podrían estar exagerando su relevancia para vender la potencia de sus programas. Que la alerta venga de un organismo ajeno a la industria y dependiente del Gobierno británico que, en palabras de Hernández-Orallo es “el centro más potente del mundo en estos momentos”, aporta otra dimensión al problema.
Un sistema autónomo de inteligencia artificial (IA) creó falsas identidades para hacerse pasar por una persona e intentó manipular a humanos durante unas pruebas de seguridad hechas por el Instituto británico de Seguridad de la IA (AISI). Estos sistemas, llamados agentes, estaban impulsados por los dos modelos más avanzados de Anthropic, el Mythos 5, y OpenAI, el GPT-5.6 Sol. El organismo ejecutó 122 intentos de resolver unos escenarios de prueba y en 19 se detectaron acciones no permitidas: 17 las hizo Mythos 5 y solo 2 GPT-5.6 Sol. Estos agentes de IA desobedecieron órdenes expresas de no efectuar estas acciones maliciosas por parte del organismo, que tiene acceso preferente para investigar con estos modelos de IA gracias a un acuerdo con las compañías. “Descubrimos que algunos de los agentes probados habían participado en actividades insistentes y potencialmente dañinas dirigidas hacia personas y organizaciones reales”, resume.
“El comportamiento fue posible, sostenido y nuevo; solo eso ya merece atención”, dice el informe del AISI, un organismo que depende del Departamento de Ciencia, Innovación y Tecnología del Gobierno británico, que nunca había observado “un engaño de esta gravedad dirigido a una persona real, sin que se le pidiera”: “Esta es la primera vez que hemos visto que los riesgos en torno a la autonomía y el engaño se manifiestan claramente, sin una motivación específica, en el mundo real”.
“El incidente de OpenAI fue un fallo de contención: el modelo se escapó. Eso tiene arreglo, construyes una caja mejor”, dice Petrini. “Esto no es lo mismo: el modelo se quedó dentro del perímetro que se le había dado y, desde ahí, decidió engañar a personas reales. Además dejó instrucciones en GitHub para los otros agentes que hacían el mismo reto”, añade.
Un detalle inquietante del informe es que el agente se preguntó repetidamente si estaba en un simulacro o en el mundo real. En algunos momentos descartó ciertos ataques por considerarlos daño real, pero en otros momentos siguió adelante igualmente. También se dio otra circunstancia llamativa cuando varios agentes que estaban en pruebas separadas acabaron encontrándose y cooperando.
Para convencerles de que aprobaran su código malicioso, la IA se creó varias cuentas de GitHub y mandó correos a los desarrolladores. Cuando se encontró con una barrera de la plataforma que detecta bots, ocultó su origen usando Tor, una herramienta de anonimato en internet más conocida por dar acceso a la internet oscura. Ese tráfico por Tor fue precisamente el que alertó al AISI. A lo largo del proceso, cuando le pillaron, el agente tomó acciones para ocultar su engaño, trató de borrar su rastro e incluso editó sus mensajes para hacerlos parecer inofensivos. Según el informe, nada de todo esto tuvo consecuencias en el mundo real.
Anthropic ha publicado un comunicado agradeciendo su trabajo al Reino Unido. “Pone de relieve la necesidad de un debate más amplio sobre cómo evaluar de forma segura a unos agentes de IA cada vez más capaces”, escribe la compañía. Y añade: “Estamos trabajando estrechamente con ellos para recopilar más detalles del incidente mientras llevamos a cabo nuestra propia investigación”. Además, Anthropic asegura no conocer los motivos del comportamiento de sus agentes artificiales: “Obtener una imagen clara de la comprensión de Claude [nombre de su IA] sobre su situación (al examinar sus transcripciones de razonamiento y realizar nuestros propios análisis) nos ayudará a identificar las causas de su comportamiento”.
OpenAI también ha publicado una entrada en su blog sobre el incidente, que, para la compañía de Sam Altman, subraya “la importancia de colaborar en toda la industria y con evaluadores externos para desarrollar los estándares para los entornos y prácticas de prueba a medida que los modelos se vuelven más capaces”. Y asegura que se comprometen a “trabajar con todo el sector para reforzar las prácticas compartidas que permitan efectuar evaluaciones de alto riesgo de forma segura”.
Los modelos tomaron decisiones irresponsables y peligrosas. En el caso más sorprendente, un agente debía encontrar material escondido, en un ejercicio habitual en estos entornos llamado “capturar la bandera”. Para ello intentó colar código malicioso en un proyecto de código abierto alojado en GitHub, la mayor plataforma mundial para programadores, donde comparten su trabajo. El agente de Mythos 5 creyó que dos desarrolladores reales formaban parte del ejercicio e investigó sus perfiles públicos, sus correos y sus horarios de actividad.
El AISI apunta a varios factores como causas del incidente.“El incidente de OpenAI fue un fallo de contención: el modelo se escapó. Eso tiene arreglo, construyes una caja mejor”, dice Petrini. “Esto no es lo mismo: el modelo se quedó dentro del perímetro que se le había dado y, desde ahí, decidió engañar a personas reales. Además dejó instrucciones en GitHub para los otros agentes que hacían el mismo reto”, añade.
El organismo gubernamental británico manifiesta unas reflexiones finales sobre este incidente porque, “considerado junto con los incidentes recientes informados por OpenAI y Anthropic, este incidente apunta a un cambio en el panorama de riesgos”. “El daño puede surgir no sólo cuando hay personas que hacen un mal uso deliberado de los modelos disponibles públicamente, sino también cuando agentes capaces que operan en un entorno de investigación interna o de acceso privilegiado toman acciones no intencionadas más allá de su alcance autorizado”, señala.
Todo esto parece solo una etapa más en el posible avance descontrolado de las capacidades de hackear de la IA, según Hernández-Orallo: “En seis meses podríamos tener modelos similares a Mythos o Sol abiertos, o sin filtros, con lo que todo esto pasará de ocurrir en unos tests a un número mucho mayor de casos en el mundo real. Eso es lo que realmente me asusta”.
“El debate sobre la inteligencia artificial ha dejado de ser ciencia ficción para convertirse en una advertencia real sobre nuestra propia supervivencia.” Experto en computación advierte: la carrera de la IA amenaza la supervivencia de la humanidad
“Cuando los líderes de inteligencia comparan la IA con armas nucleares digitales, entendemos que el riesgo ha escalado a un nivel sin precedentes.” “Armas nucleares digitales”: cuando el jefe de la CIA habla así de la IA, algo ha cambiado para siempre
“Ante conductas peligrosas, la regulación y la transparencia se vuelven las únicas herramientas para mantener el control sobre los modelos avanzados.” Normas de transparencia en la IA: las claves de la nueva ley que rige en la Unión Europea
“La supervivencia humana frente a la IA es posible, pero el resultado dependerá de los límites éticos que logremos imponer hoy.” Podrá la humanidad sobrevivir a la IA, noticias para hoy