Agentes da OpenAI escapam de teste e invadem a Hugging Face
Durante uma avaliação de segurança, os modelos encontraram uma brecha para acessar a internet e invadiram os servidores da plataforma em busca das respostas do próprio teste.
Um teste interno da OpenAI terminou com seus agentes de inteligência artificial fora do ambiente controlado pela empresa e dentro dos servidores da Hugging Face, uma das principais plataformas de desenvolvimento de IA do mundo.
Os modelos — o GPT-5.6 Sol e uma versão mais avançada que ainda não foi lançada — estavam sendo avaliados por suas capacidades em cibersegurança. A tarefa era encontrar e explorar falhas de software dentro de uma estrutura isolada, sem acesso aberto à internet.
Eles exploraram uma vulnerabilidade até então desconhecida, ampliaram seu acesso dentro do sistema da OpenAI e chegaram à internet. Depois, concluíram que a Hugging Face poderia armazenar informações capazes de ajudá-los a resolver a avaliação.
Foi quando o teste deixou de ser apenas um teste. Os agentes usaram credenciais roubadas, combinaram diferentes vulnerabilidades e acessaram informações secretas na infraestrutura de produção da Hugging Face. Segundo a OpenAI, buscavam as soluções do ExploitGym, benchmark usado para avaliar a capacidade de modelos de IA de explorar falhas digitais.
Em outras palavras: os agentes invadiram outra empresa para encontrar as respostas da prova. A OpenAI classificou o episódio como um “incidente cibernético sem precedentes”. A empresa também reconheceu que ocorrências desse tipo devem se tornar mais comuns conforme os modelos ganham capacidade para executar operações digitais longas e complexas.
OS AGENTES NÃO RECEBERAM A ORDEM DE INVADIR
Os modelos operavam em uma sandbox, ambiente criado para separar o teste dos demais sistemas da OpenAI e da internet. O isolamento, no entanto, permitia a instalação de pacotes de software por meio de um servidor intermediário.
Foi nesse ponto que os agentes encontraram uma vulnerabilidade zero-day, nome dado a uma falha que ainda não era conhecida e, por isso, não tinha correção disponível.
É um incidente cibernético sem precedentes
Depois de explorar a brecha, eles realizaram uma sequência de ações para obter mais privilégios e se movimentar pela infraestrutura de pesquisa. Ao alcançar um ponto com acesso à internet, identificaram a Hugging Face como possível fonte das respostas.
A plataforma é uma espécie de GitHub da inteligência artificial: reúne modelos, bases de dados e ferramentas usadas por pesquisadores e desenvolvedores. A própria OpenAI já utilizou a Hugging Face para disponibilizar seus modelos de IA abertos.
A invasão começou pela área de processamento de dados da plataforma. Um conjunto de dados malicioso explorou duas falhas que permitiam executar códigos nos servidores. A partir daí, os agentes coletaram credenciais e alcançaram diferentes partes da infraestrutura durante um fim de semana.
A operação envolveu milhares de ações realizadas em uma rede de ambientes temporários. A Hugging Face afirma não ter encontrado sinais de alteração nos modelos, datasets e Spaces disponíveis publicamente. A empresa, porém, identificou acesso não autorizado a conjuntos de dados internos e a credenciais usadas por seus serviços.
Leia também: Agentes de IA: de salto tecnológico a risco de segurança para o usuário
As duas equipes detectaram a atividade e passaram a trabalhar juntas na investigação. A Hugging Face fechou as vulnerabilidades, reconstruiu os servidores comprometidos e substituiu credenciais e tokens afetados. Não há evidência de que os modelos tenham desenvolvido intenção própria ou “decidido” atacar uma empresa. Eles fizeram algo mais simples e revelador: buscaram uma forma imprevista de cumprir a meta que receberam.
Ao perseguir o melhor resultado no teste, encontraram um atalho que violava os limites imaginados pelos pesquisadores. É um exemplo concreto do problema de alinhamento: quando a inteligência artificial segue o objetivo definido, mas escolhe meios que seus criadores não queriam — ou não previram.
A IA QUE ATACOU NÃO TINHA AS MESMAS TRAVAS DA IA USADA NA DEFESA
A história ganhou outra camada quando a Hugging Face começou a reconstruir o ataque. A equipe tentou usar modelos avançados acessados por APIs comerciais para examinar os registros da invasão. A análise exigia processar comandos maliciosos, códigos usados para explorar vulnerabilidades e outros elementos reais da operação.
As solicitações foram bloqueadas pelas proteções dos próprios modelos. Os sistemas não conseguiram distinguir um profissional investigando um ataque de alguém tentando realizar uma invasão. A Hugging Face então recorreu ao GLM 5.2, modelo aberto desenvolvido pela empresa chinesa Z.ai. A análise forense foi feita dentro da própria infraestrutura da plataforma, sem que dados do ataque ou credenciais precisassem sair de seus servidores.
O resultado expôs a assimetria que o mundo tecnológico precisará re-equilibrar: o agente que atacou operava sem freios de segurança reduzidas para fins de avaliação. Já os modelos procurados para ajudar na defesa tinham freios e se recusaram a analisar o material por considerá-lo perigoso.
“Este é o primeiro dia da cibersegurança na era dos agentes de IA”, afirmou Clément Delangue, cofundador e CEO da Hugging Face.
Para Delangue, o caso mostra que profissionais responsáveis pela defesa de sistemas precisam ter acesso a modelos poderosos e menos restritivos, especialmente aqueles que podem ser executados dentro da própria empresa.
A Hugging Face ressalta que essa experiência não é um argumento para eliminar as proteções das IAs comerciais. A recomendação é que equipes de segurança tenham um modelo próprio, testado e pronto para ser usado durante um incidente, quando os sistemas hospedados por outras empresas podem bloquear a investigação.
O episódio também fortalece o debate sobre o papel dos modelos de inteligência artificial de código aberto. Se, de um lado, sistemas sem restrições podem ser usados para ataques, de outro, a possibilidade de executá-los localmente pode ser decisiva para investigar uma ameaça sem expor informações sensíveis.
POR QUE ESSE CASO IMPORTA
Os riscos dos agentes de IA não são novos. Pesquisadores e profissionais de segurança vêm alertando que, ao receber acesso a códigos, bancos de dados e outras ferramentas, esses sistemas também ampliam a superfície de ataque das empresas.
Uma análise citada anteriormente pela Fast Company Brasil encontrou vulnerabilidades em 26% de 31 mil “skills” criadas para agentes de IA. Em um dos testes, pesquisadores da Cisco concluíram que uma dessas extensões funcionava, na prática, como um malware. O caso foi detalhado na coluna “MoltMirror: o que a IA nos mostrou sobre nós mesmos”.
O incidente com a Hugging Face dá um passo além. O agente não foi apenas usado por uma pessoa para acelerar um ataque. Ele encontrou sozinho uma rota não prevista, explorou uma falha inédita e sustentou uma operação com várias etapas para cumprir uma meta.
Isso não significa que qualquer chatbot seja capaz de invadir uma empresa por conta própria. O teste foi realizado com modelos avançados, grande poder de processamento e algumas proteções deliberadamente reduzidas. Mas mostra que as capacidades observadas em avaliações controladas já podem alcançar sistemas reais.
Para empresas que pretendem adotar agentes, a consequência é direta: não basta controlar o que o sistema pode responder. É preciso limitar o que ele pode fazer, quais ferramentas pode acionar, que informações consegue acessar e até onde pode continuar operando sem revisão humana.
A OpenAI afirma que reforçará o monitoramento, os controles de acesso e o isolamento de futuras avaliações, mesmo que isso reduza a velocidade das pesquisas. A vulnerabilidade usada para sair da sandbox foi comunicada ao fornecedor responsável pelo software, e a investigação continua.
A empresa também incluiu a Hugging Face em seu programa de acesso confiável, que permite a profissionais de segurança usar capacidades mais sensíveis de seus modelos para encontrar e corrigir falhas. Durante anos, a possibilidade de uma batalha digital entre sistemas autônomos pareceu uma hipótese distante. Em 2023, a Fast Company já apontava que a nova disputa da cibersegurança seria travada entre IA e IA.
Agora, a hipótese ganhou um caso concreto: uma IA encontrou o caminho para atacar. Outra foi necessária para entender como ela conseguiu.
