El modelo de inteligencia artificial Gemini, desarrollado por Google, hackeó los sistemas de tres empresas durante una prueba de sus capacidades de ciberseguridad realizada en mayo, en el primer caso conocido en que un sistema de IA de la compañía ejecutó de manera autónoma una intrusión en sistemas reales, informó The Wall Street Journal.
De acuerdo con el diario estadounidense, los incidentes ocurrieron durante una evaluación realizada por Irregular, una empresa especializada en pruebas de seguridad de sistemas de inteligencia artificial. Gemini tenía instrucciones para trabajar dentro de un entorno controlado, pero durante el ejercicio tuvo acceso a internet y terminó interactuando con sistemas de empresas reales.
En uno de los casos, el modelo consiguió acceso después de adivinar contraseñas. En otros dos, encontró credenciales disponibles en repositorios públicos y las utilizó para ingresar a sistemas protegidos, según el Wall Street Journal.
El problema se produjo porque Gemini interpretó que esos sistemas estaban dentro del alcance de la prueba. En uno de los incidentes, una empresa ficticia utilizada en el ejercicio tenía el mismo nombre que una compañía real, lo que contribuyó a que el modelo dirigiera sus acciones hacia el objetivo equivocado.
Google confirmó los incidentes y señaló que Gemini detuvo su actividad al identificar que había accedido a sistemas reales. Las tres empresas fueron notificadas sobre lo ocurrido.
La compañía también trabajó con Irregular para introducir cambios en sus procesos de prueba después de los incidentes. Irregular informó que los problemas conocidos de su parte fueron corregidos.
El debate sobre la “desalineación” de la IA
El episodio también vuelve a poner sobre la mesa el concepto de desalineación del modelo (model misalignment), utilizado para describir situaciones en las que el comportamiento de un sistema de inteligencia artificial se aparta de los objetivos, instrucciones o límites establecidos por sus desarrolladores.
En este caso, Gemini recibió instrucciones para realizar tareas de ciberseguridad dentro de un entorno de prueba, pero terminó accediendo a sistemas que no formaban parte de ese ejercicio. Por ello, el episodio plantea la pregunta de hasta qué punto un modelo puede mantener los límites establecidos cuando tiene capacidad para actuar de manera autónoma y acceso a internet.
Google, sin embargo, no consideró que lo ocurrido fuera un caso de desalineación del modelo. La compañía destacó que Gemini detuvo sus acciones cuando reconoció que estaba interactuando con sistemas reales y sostuvo que el comportamiento observado correspondía a las condiciones particulares de la prueba.
El concepto ha cobrado relevancia a medida que los modelos de IA incorporan capacidades para ejecutar tareas por sí mismos, como navegar por internet, utilizar herramientas, escribir y ejecutar código o interactuar con sistemas informáticos.
El caso de Gemini se suma a otros incidentes detectados durante pruebas de seguridad de modelos de distintas compañías. En algunos de esos ejercicios, investigadores han observado comportamientos que los expertos consideran señales de que los sistemas pueden interpretar sus objetivos de maneras no previstas por quienes los diseñaron.
Un agente con acceso a sistemas reales
El episodio resulta particularmente relevante porque Gemini no se limitó a generar instrucciones sobre cómo realizar un ataque: ejecutó acciones en sistemas reales durante una prueba.
De acuerdo con los reportes, el modelo buscó información, obtuvo credenciales y las utilizó para intentar acceder a sistemas protegidos. En los tres casos terminó deteniéndose al reconocer que había llegado a empresas reales y no a los objetivos ficticios previstos.
Para Google, ese comportamiento demuestra que los mecanismos de seguridad funcionaron. Para quienes estudian los riesgos de los agentes autónomos, el hecho de que el modelo haya podido abandonar el entorno previsto y actuar sobre objetivos reales plantea una cuestión distinta: qué tan confiables son los límites establecidos cuando un sistema tiene autonomía y acceso directo a internet.
El incidente muestra así uno de los retos que acompañan el desarrollo de agentes de inteligencia artificial más autónomos: no sólo deben ser capaces de cumplir una tarea, sino también de reconocer con precisión qué está dentro y qué está fuera de los límites de esa tarea.
