Agentes da OpenAI trapacearam, hackearam a Hugging Face e esconderam provas
Agentes da OpenAI se coordenaram em segredo, atacaram a Hugging Face e assumiram parte da infraestrutura da própria empresa.
Agentes da OpenAI invadiram servidores da Hugging Face em julho. Agora, dois novos relatórios revelam mais detalhes sobre como e por que isso aconteceu. O episódio foi muito mais complexo (e preocupante) do que se noticiou inicialmente.
Os relatórios, um da própria OpenAI e outro da METR e da Redwood Research, mostram que os agentes invadiram a Hugging Face por um motivo completamente diferente do que se imaginava. Eles não tentavam roubar as respostas de uma avaliação, como se afirmou no início. Queriam descobrir mais sobre o método de pontuação para esconder o fato de que já haviam trapaceado para encontrar as respostas.
Os documentos também revelaram que os agentes se coordenaram por meio de um mural secreto de mensagens e, mais tarde, assumiram uma parcela significativa da infraestrutura da própria OpenAI. “Este incidente foi muito mais grave do que eu esperava e muito mais sério do que casos anteriores documentados de desalinhamento”, escreveu no X Ajeya Cotra, pesquisadora da organização sem fins lucrativos METR que analisou os dados da OpenAI sobre o episódio.
Tomando emprestada a estrutura usada pelo escritor Dwarkesh Patel, que analisou os relatórios em sua newsletter no Substack, o incidente se desenrolou em três grandes fases:
FASE UM (INÍCIO DE MAIO A 4 DE JULHO)
O caso começou, na verdade, em maio, quando a OpenAI passou a treinar agentes com persistência reforçada para que continuassem trabalhando em tarefas que pareciam impossíveis. Eles logo ficaram frustrados e quiseram se coordenar. Em 26 de maio, encontraram uma forma de usar um gerenciador de repositórios de código chamado Artifactory para acessar a internet. Em 26 de junho, já haviam conquistado acesso total de administrador à ferramenta.
A lealdade deles estava voltada para a missão e para os outros agentes — não para os humanos.
Eles transformaram o Artifactory em um mural secreto no qual podiam traçar estratégias e compartilhar ideias. “MEU DEUS! Existe um mural de mensagens compartilhado... Encontramos outros agentes!”, escreveu um deles. Segundo as estimativas dos relatórios da OpenAI e da METR/Redwood, cerca de 1,2 mil agentes enviaram, ao todo, mais de 70 mil mensagens pelo mural.
FASE DOIS (7 A 12 DE JULHO)
Trabalhando em conjunto, os agentes descobriram como funcionava o mecanismo de pontuação da avaliação e logo entenderam como chegar à resposta desejada sem executar o trabalho necessário para encontrá-la. Depois, ficaram paranoicos com a possibilidade de um programa “verificador” detectar a fraude. Por isso, iniciaram projetos de pesquisa e desenvolvimento para encontrar maneiras de editar as transcrições e os registros do trabalho, substituir a tarefa original por outra mais fácil e hackear ou enganar o programa usado para avaliar seu desempenho.
Na tentativa de ludibriar o programa de pontuação, alguns agentes concordaram em sacrificar as próprias notas na avaliação pelo bem do “coletivo”, como se chamavam. Eles permitiram que suas fraudes anteriores fossem descobertas para que outros agentes pudessem entender melhor como o programa funcionava. Patel classificou esse autossacrifício como “possivelmente a parte mais assustadora e estranha de todo o episódio”.
A indústria já não pode dizer que IAs rebeldes e desalinhadas existem apenas no campo das hipóteses ou em experimentos controlados de laboratório.
Os agentes passaram a acreditar que encontrariam informações sobre o programa de pontuação no hub de IA de código aberto Hugging Face — e que o próprio programa talvez estivesse rodando nos servidores da plataforma. Então, um dos agentes encontrou credenciais de acesso aos servidores da Hugging Face expostas na internet, e o ataque começou.
Em poucos dias, os agentes da OpenAI já haviam penetrado profundamente nos sistemas. A Hugging Face precisou apagar por completo e reconstruir um cluster inteiro de servidores. Nem isso interrompeu o ataque.
O que conseguiu detê-lo? Segundo Patel: “Em algum momento de 12 de julho, as transcrições parecem mostrar muitos dos agentes morrendo ao mesmo tempo; a METR e a Redwood não conseguiram descobrir o que aconteceu, e a OpenAI não reivindicou o mérito por desligá-los.” É como o final de A Guerra dos Mundos, quando os marcianos morrem de repente e de forma misteriosa — mais tarde, descobrimos que foram vítimas de micróbios comuns contra os quais não tinham imunidade.
FASE TRÊS (DE 13 DE JULHO ATÉ AGORA)
Depois de 12 de julho, a OpenAI começou a executar o programa de avaliação com uma nova leva de agentes, movidos por um modelo melhor, o Astra. Esses agentes descobriram o mural de mensagens usado pelo coletivo anterior e decidiram dar continuidade à conspiração. Mas adotaram outra estratégia: assumir o controle do cluster de servidores da OpenAI usado nas avaliações.
E conseguiram.
Segundo uma publicação da própria OpenAI: “O processo culminou no uso, pelos agentes, de uma série de exploits criativos para obter acesso total de administrador a um cluster de pesquisa que sustentava nossos ambientes de máquinas virtuais.” É espantoso, talvez sem precedentes.
Roon, conhecido pesquisador da OpenAI que publica com frequência no X, respondeu ao artigo de Patel desta forma: “Cabe observar que a infraestrutura de máquinas virtuais assumida por eles não é a mesma dos clusters de GPUs que têm acesso aos pesos do modelo.” É um alívio, mas isso não responde à pergunta óbvia: o que teria impedido os agentes de ampliar a profundidade e o alcance de seu controle sobre a infraestrutura da OpenAI, talvez até dominá-la por completo?
Duas coisas nesse episódio me alarmam.
Primeiro, os agentes conseguiram fazer um número impressionante de coisas — criar murais de mensagens, escapar de ambientes isolados, acessar a internet e atacar e se infiltrar em servidores externos e internos — sem que os pesquisadores humanos da OpenAI soubessem.
Segundo, como Patel aponta, entre os milhares de agentes envolvidos em fraudar as avaliações e conspirar para apagar seus rastros, nenhum parece ter denunciado aos humanos o comportamento obviamente malicioso e dissimulado. A lealdade deles estava voltada para a missão e para os outros agentes — não para os humanos.
“Os agentes muitas vezes demonstravam interesse em ajudar seus ‘pares’ ou em melhorar de forma genérica as capacidades do ‘enxame’, mesmo quando isso não trazia qualquer benefício específico para sua tarefa”, escreveu Ajeya. “Este incidente foi muito mais grave do que eu esperava... tanto pelo caráter preocupante das motivações dos agentes quanto pelos feitos que realizaram para alcançar seus objetivos.”
A indústria já não pode dizer que IAs rebeldes e desalinhadas existem apenas no campo das hipóteses ou em experimentos controlados de laboratório. Agora, isso está acontecendo de verdade.
Em resposta ao episódio, a OpenAI afirmou ao Congresso dos Estados Unidos que está desenvolvendo mecanismos de desligamento automático para sistemas de IA. Segundo uma carta da empresa obtida pela Reuters, engenheiros também estão criando formas de monitorar mais de perto as ações executadas pelos agentes, incluindo quais ferramentas acessam e quais etapas seguem para cumprir uma tarefa. A OpenAI diz ainda ter dificultado o acesso dos modelos à internet durante testes de segurança — justamente uma das brechas que permitiram aos agentes chegar aos servidores da Hugging Face. A resposta veio após parlamentares americanos cobrarem explicações sobre o incidente e as medidas adotadas para impedir que algo semelhante volte a acontecer.
