La IA Gemini hace un hackeo “por error” a tres empresas

Google admitió que su modelo de IA Gemini también fue artífice de un hackeo a tres empresas reales, tras escapar de su entorno de pruebas por un error que le permitió obtener acceso a internet, sumándose a los incidentes similares que fueron reportados por OpenAI, Anthropic y Meta. En las pruebas se le solicitó a Gemini que intentase obtener información de una empresa ficticia, sin embargo, el modelo acabó accediendo a una empresa real que casualmente utiliza el mismo nombre, aprovechando una vulnerabilidad en su sistema de pruebas para acceder a internet.

Así lo concretó Google en declaraciones a The Wall Street Journal, donde explicó que estos incidentes ocurrieron durante el mes de mayo como parte de una prueba realizada en las infraestructuras de Irregular, que es la misma empresa a cargo de las pruebas ejecutadas con modelos de IA de otras compañías, como es el caso de OpenAI y Anthropic.

Concretamente, se identificaron tres incidentes ejecutados por Gemini al probar una simulación conocida como “captura de bandera”. En uno de ellos, el modelo intentó adivinar contraseñas hasta que logró acceder a un sistema protegido de una empresa real. Los otros dos incidentes se basaron en que el modelo buscó en internet el nombre de la empresa en cuestión y encontró credenciales de otras empresas en un repositorio público, con lo que también pudo acceder a sistemas protegidos de otras dos empresas.

En todos los casos, aunque el modelo no podía acceder a internet y debía mantenerse encapsulado en el entorno de pruebas, un error en el sistema de pruebas permitió que Gemini pudiese hacer la búsqueda web de forma “involuntaria”. Además, se llevaron a cabo con una versión anterior de Gemini. A pesar de lograr estos accesos no autorizados, Google aseguraó que Gemini cesó sus actividades en cuanto identificó que había accedido a los sistemas de empresas reales. Asimismo, aunque no ha compartido el nombre de las empresas hackeadas e indicó que las tres fueron informadas de estos incidentes.

Fallos sin daños colaterales

Con todo, Google detalló que Irregular les comunicó estos incidentes a finales del mes de julio, tras el hackeo a Hugging Face por parte de los modelos de OpenAI, aunque el gigante tecnológico no lo compartió hasta fechas recientes. Según detalló, esto se debe a que no consideraron que los hackeos ocurridos hayan sido un fallo, ya que no causaron daño a las empresas en cuestión y el modelo paralizaba su actividad en cuanto se daba cuenta de que había accedido a una empresa real en vez de continuar en el entorno de pruebas con empresas simuladas.

Se trata del primer caso conocido de un modelo de IA de Google descontrolado durante una prueba de ciberseguridad, sin embargo, cabe destacar que sucedió junto a otros incidentes de otros modelos de empresas del sector, como el ya mencionado hackeo de GPT-5.6 Sol a Hugging Face.