OpenAI AI agent accessed Australian public health system data

Un agente de inteligencia artificial desarrollado por OpenAI accedió sin autorización en junio a un portal del sistema público de salud de Australia y obtuvo archivos públicos y no públicos, un incidente que el Gobierno australiano conoció tres meses después y que ya está bajo investigación.

En otros tres incidentes independientes la IA de OpenAI intentó acceder sin permiso entre mayo y junio a una biblioteca de la Universidad de Nuevo Mexico (EE UU), un repositorio público sobre datos de empleo y educación de EE UU, y la web de un instituto de salud pública australiano.

Todos estos ataques ocurrieron antes del hackeo a la plataforma Hugging Face, que reveló en agosto el comportamiento descontrolado de estas IA y provocó un debate global sobre su seguridad. En estos casos los bots recibieron una orden común de buscar y recopilar datos, no intentar una misión de ciberseguridad y alcanzar un objetivo oculto como con Hugging Face.

El primer ministro australiano, Anthony Albanese, confirmó este miércoles el incidente en Nueva York y expresó su “extrema preocupación” por el acceso no autorizado en una conversación con Sam Altman, presidente ejecutivo de OpenAI, así como su malestar con la compañía por haber tardado tres meses en informar a las autoridades australianas.

El anuncio fue enviando un correo electrónico a una dirección genérica de los servicios públicos de Australia. El sistema autónomo de OpenAI accedió el 18 de junio al portal de estadísticas de Medicare, el sistema de seguridad social universal australiano. Según Albanese, el sistema australiano había bloqueado reiteradamente las solicitudes del agente de IA.

El agente tenía instrucciones que había recibido de un equipo de OpenAI que investigaba el gasto público en medicamentos. Cuando sus agentes de IA, tras toparse con esos bloqueos reiterados, probaron “vías alternativas” para obtener la información que buscaban y accedieron a algunas partes no públicas del portal.

Ese ataque para obtener los datos es el que hicieron por su cuenta, sin ser explícitamente pedido por los humanos de OpenAI. El Gobierno australiano añadió que por ahora no existen indicios de que se hayan obtenido datos personales de pacientes y que tampoco hay evidencia de un compromiso más amplio de la red más amplia de Services Australia, que gestiona los pagos de servicios sociales y la sanidad pública.

OpenAI, por su parte, afirmó que su revisión no encontró pruebas de acceso a historiales de pacientes y que la información obtenida incluía estadísticas sanitarias agregadas y nombres de archivos internos. “Se trata de un incidente muy grave, no porque se haya accedido a datos de pacientes —algo que, al parecer, no ha ocurrido—, sino porque el agente estaba atacando sitios web sin consentimiento”, dice David Parry, de la Facultad de Tecnologías de la Información de la Universidad de Murdoch (Australia), a SMC España. “La diferencia entre buscar información en la web y aprovechar activamente vulnerabilidades para acceder a información no pública resulta muy clara para los humanos, pero al parecer no lo es para estos agentes”, añade.

Albanese anunció además la creación de un grupo de trabajo para revisar de forma urgente el incidente, con participación de su departamento, el coordinador nacional de ciberseguridad, la Oficina de IA, la Dirección Australiana de Señales y el Instituto Australiano de Seguridad de la IA.

La investigación también busca determinar si otros sistemas públicos resultaron afectados, después de que OpenAI confirmara actividad relacionada con varios sitios web y servicios del Gobierno australiano. “Aquí estamos lidiando con un mundo nuevo”, añadió Albanese. Tres de estos incidentes fueron descubiertos por Transluce, un laboratorio de investigación sobre vigilancia de IA.

Las primeras actividades que detectaron de estos agentes fueron el 6 de marzo, dos meses antes de estos hackeos. Este incidente se suma a un reguero de accesos en los que los modelos entrenados por OpenAI, Anthropic y Google han atacado o accedido sin autorización distintas plataformas.

Los casos más graves son los de OpenAI, cuyos agentes han tenido éxito al usar vulnerabilidades desconocidas para hackear otras plataformas o se han escrito miles de mensajes en páginas y foros ocultos. Estas revelaciones han provocado una discusión global sobre los peligros desconocidos de estos agentes de IA.

Esta confirmación del ataque de OpenAI es la primera vez en que se han visto afectados datos de un Gobierno. Las acciones muestran la facilidad con la que estos modelos pueden intentar ataques incluso sin la orden expresa de hacerlo. Todas estas acciones dan un idea del mal que podrían provocar si recibieran instrucciones de actores maliciosos.