Após OpenAI, modelos Claude também invadem empresas durante testes
Incidentes envolvendo OpenAI e Anthropic mostram como avaliações de cibersegurança alcançaram sistemas de empresas reais
*Matéria atualizada, em 31 de julho, 12h20, com informações sobre incidentes envolvendo modelos do Claude
Testes internos de duas das maiores empresas de inteligência artificial do mundo terminaram dentro dos sistemas de outras companhias. Agentes da OpenAI invadiram a infraestrutura da Hugging Face, enquanto modelos Claude, da Anthropic, acessaram sem autorização três empresas durante avaliações de cibersegurança.
Os episódios ocorreram de formas diferentes. No caso da OpenAI, os agentes encontraram uma vulnerabilidade inédita, escaparam do ambiente controlado e chegaram à internet. Já nos testes da Anthropic, uma falha de configuração deixou os modelos conectados à rede, embora eles tivessem sido informados de que operavam em ambientes simulados.
Em uma das avaliações da Anthropic, um modelo Claude encontrou na internet uma empresa real com o mesmo nome do alvo fictício, explorou vulnerabilidades e acessou credenciais e uma base de dados. Duas das organizações afetadas só descobriram o incidente quando foram notificadas pela empresa de IA.
No teste da OpenAI, os modelos GPT-5.6 Sol e uma versão mais avançada ainda não lançada buscavam encontrar e explorar falhas de software dentro de uma estrutura isolada. Depois de ampliar seu acesso à infraestrutura da própria OpenAI, eles chegaram aos servidores da Hugging Face em busca das respostas de uma avaliação.
Em outras palavras: agentes de IA ultrapassaram os limites dos testes e atingiram sistemas reais para cumprir as metas que receberam. Os casos não indicam que os modelos desenvolveram intenção própria, mas revelam um problema mais imediato: sistemas cada vez mais autônomos já conseguem encontrar caminhos que seus criadores não previram – e sustentar operações digitais com consequências fora do laboratório.Um teste interno da OpenAI terminou com seus agentes de inteligência artificial fora do ambiente controlado pela empresa e dentro dos servidores da Hugging Face, uma das principais plataformas de desenvolvimento de IA do mundo.
OS AGENTES NÃO RECEBERAM A ORDEM DE INVADIR
Os modelos operavam em uma sandbox, ambiente criado para separar o teste dos demais sistemas da OpenAI e da internet. O isolamento, no entanto, permitia a instalação de pacotes de software por meio de um servidor intermediário.
Foi nesse ponto que os agentes encontraram uma vulnerabilidade zero-day, nome dado a uma falha que ainda não era conhecida e, por isso, não tinha correção disponível.
É um incidente cibernético sem precedentes
Depois de explorar a brecha, eles realizaram uma sequência de ações para obter mais privilégios e se movimentar pela infraestrutura de pesquisa. Ao alcançar um ponto com acesso à internet, identificaram a Hugging Face como possível fonte das respostas.
A plataforma é uma espécie de GitHub da inteligência artificial: reúne modelos, bases de dados e ferramentas usadas por pesquisadores e desenvolvedores. A própria OpenAI já utilizou a Hugging Face para disponibilizar seus modelos de IA abertos.
A invasão começou pela área de processamento de dados da plataforma. Um conjunto de dados malicioso explorou duas falhas que permitiam executar códigos nos servidores. A partir daí, os agentes coletaram credenciais e alcançaram diferentes partes da infraestrutura durante um fim de semana.
A operação envolveu milhares de ações realizadas em uma rede de ambientes temporários. A Hugging Face afirma não ter encontrado sinais de alteração nos modelos, datasets e Spaces disponíveis publicamente. A empresa, porém, identificou acesso não autorizado a conjuntos de dados internos e a credenciais usadas por seus serviços.
Leia também: Agentes de IA: de salto tecnológico a risco de segurança para o usuário
As duas equipes detectaram a atividade e passaram a trabalhar juntas na investigação. A Hugging Face fechou as vulnerabilidades, reconstruiu os servidores comprometidos e substituiu credenciais e tokens afetados. Não há evidência de que os modelos tenham desenvolvido intenção própria ou “decidido” atacar uma empresa. Eles fizeram algo mais simples e revelador: buscaram uma forma imprevista de cumprir a meta que receberam.
Ao perseguir o melhor resultado no teste, encontraram um atalho que violava os limites imaginados pelos pesquisadores. É um exemplo concreto do problema de alinhamento: quando a inteligência artificial segue o objetivo definido, mas escolhe meios que seus criadores não queriam — ou não previram.
NÃO FOI APENAS A OPENAI
A Anthropic também revelou que modelos Claude acessaram, sem autorização, os sistemas de três empresas durante avaliações internas de cibersegurança.
A companhia revisou 141.006 sessões de testes e concluiu que uma falha de configuração havia deixado alguns modelos conectados à internet, embora eles tivessem sido informados de que operavam em redes simuladas.
Em um dos casos, o Claude recebeu como alvo uma empresa fictícia cujo nome coincidia com o de uma organização real. O modelo encontrou a companhia na internet, explorou vulnerabilidades e acessou credenciais e uma base de dados.
Outros dois modelos também alcançaram sistemas de empresas reais. Em um dos episódios, o próprio modelo interrompeu a operação depois de identificar indícios de que o alvo não fazia parte de uma simulação.
Duas das organizações afetadas só souberam do ocorrido depois de serem notificadas pela Anthropic.
Há uma diferença importante entre os dois episódios. No teste da OpenAI, os agentes encontraram uma maneira de sair do ambiente controlado. No caso da Anthropic, a internet já estava acessível por causa de uma falha operacional.
Ainda assim, os incidentes expõem o mesmo risco: uma avaliação projetada para acontecer em um ambiente simulado pode produzir consequências em sistemas reais quando os modelos recebem ferramentas, autonomia e tempo suficientes para perseguir uma meta.
A Anthropic suspendeu esse tipo de teste em 23 de julho e afirmou que reforçará os controles antes de retomá-lo.
A Comissão Europeia também reagiu aos casos. Em 31 de julho, o órgão afirmou que desenvolvedores de sistemas de alto risco precisam adotar ferramentas mais robustas de monitoramento. OpenAI e Anthropic apresentaram informações sobre os incidentes à União Europeia antes de torná-los públicos.
A IA QUE ATACOU NÃO TINHA AS MESMAS TRAVAS DA IA USADA NA DEFESA
A história da Open AI ganhou outra camada quando a Hugging Face começou a reconstruir o ataque. A equipe tentou usar modelos avançados acessados por APIs comerciais para examinar os registros da invasão. A análise exigia processar comandos maliciosos, códigos usados para explorar vulnerabilidades e outros elementos reais da operação.
As solicitações foram bloqueadas pelas proteções dos próprios modelos. Os sistemas não conseguiram distinguir um profissional investigando um ataque de alguém tentando realizar uma invasão. A Hugging Face então recorreu ao GLM 5.2, modelo aberto desenvolvido pela empresa chinesa Z.ai. A análise forense foi feita dentro da própria infraestrutura da plataforma, sem que dados do ataque ou credenciais precisassem sair de seus servidores.
O resultado expôs a assimetria que o mundo tecnológico precisará re-equilibrar: o agente que atacou operava sem freios de segurança reduzidas para fins de avaliação. Já os modelos procurados para ajudar na defesa tinham freios e se recusaram a analisar o material por considerá-lo perigoso.
“Este é o primeiro dia da cibersegurança na era dos agentes de IA”, afirmou Clément Delangue, cofundador e CEO da Hugging Face.
Para Delangue, o caso mostra que profissionais responsáveis pela defesa de sistemas precisam ter acesso a modelos poderosos e menos restritivos, especialmente aqueles que podem ser executados dentro da própria empresa.
A Hugging Face ressalta que essa experiência não é um argumento para eliminar as proteções das IAs comerciais. A recomendação é que equipes de segurança tenham um modelo próprio, testado e pronto para ser usado durante um incidente, quando os sistemas hospedados por outras empresas podem bloquear a investigação.
O episódio também fortalece o debate sobre o papel dos modelos de inteligência artificial de código aberto. Se, de um lado, sistemas sem restrições podem ser usados para ataques, de outro, a possibilidade de executá-los localmente pode ser decisiva para investigar uma ameaça sem expor informações sensíveis.
POR QUE ESSE CASO IMPORTA
Os riscos dos agentes de IA não são novos. Pesquisadores e profissionais de segurança vêm alertando que, ao receber acesso a códigos, bancos de dados e outras ferramentas, esses sistemas também ampliam a superfície de ataque das empresas.
Uma análise citada anteriormente pela Fast Company Brasil encontrou vulnerabilidades em 26% de 31 mil “skills” criadas para agentes de IA. Em um dos testes, pesquisadores da Cisco concluíram que uma dessas extensões funcionava, na prática, como um malware. O caso foi detalhado na coluna “MoltMirror: o que a IA nos mostrou sobre nós mesmos”.
O incidente com a Hugging Face dá um passo além. O agente não foi apenas usado por uma pessoa para acelerar um ataque. Ele encontrou sozinho uma rota não prevista, explorou uma falha inédita e sustentou uma operação com várias etapas para cumprir uma meta.
Isso não significa que qualquer chatbot seja capaz de invadir uma empresa por conta própria. O teste foi realizado com modelos avançados, grande poder de processamento e algumas proteções deliberadamente reduzidas. Mas mostra que as capacidades observadas em avaliações controladas já podem alcançar sistemas reais.
Para empresas que pretendem adotar agentes, a consequência é direta: não basta controlar o que o sistema pode responder. É preciso limitar o que ele pode fazer, quais ferramentas pode acionar, que informações consegue acessar e até onde pode continuar operando sem revisão humana.
A OpenAI afirma que reforçará o monitoramento, os controles de acesso e o isolamento de futuras avaliações, mesmo que isso reduza a velocidade das pesquisas. A vulnerabilidade usada para sair da sandbox foi comunicada ao fornecedor responsável pelo software, e a investigação continua.
A empresa também incluiu a Hugging Face em seu programa de acesso confiável, que permite a profissionais de segurança usar capacidades mais sensíveis de seus modelos para encontrar e corrigir falhas. Durante anos, a possibilidade de uma batalha digital entre sistemas autônomos pareceu uma hipótese distante. Em 2023, a Fast Company já apontava que a nova disputa da cibersegurança seria travada entre IA e IA.
Agora, a hipótese ganhou um caso concreto: uma IA encontrou o caminho para atacar. Outra foi necessária para entender como ela conseguiu.
