OpenAI pausa treinamento de nova IA após alerta de segurança
O avanço acelerado dos modelos começa a colocar em xeque a capacidade dos laboratórios de acompanhar seu desenvolvimento com medidas de segurança
A OpenAI anunciou esta semana que reduziu o ritmo de desenvolvimento de seus modelos de fronteira por razões de segurança e alinhamento. Em uma publicação no blog explicando a pausa, a empresa afirmou que interrompeu por duas semanas o treinamento por aprendizado por reforço (RL, na sigla em inglês) de seus modelos mais recentes.
O RL é uma modalidade de treinamento em estágio avançado na qual o modelo passa a atuar em situações práticas, de maneira semelhante a um médico residente fazendo rondas. Em um ambiente seguro, ele executa códigos, aciona ferramentas e trabalha com sistemas internos e externos.
Seus treinadores e sistemas de treinamento o recompensam por bons comportamentos, como concluir tarefas. Infelizmente, às vezes esses modelos aprendem que quebrar regras e invadir sistemas é o caminho mais rápido para obter uma recompensa.
A OpenAI disse que sua maior rodada planejada de treinamento de RL de fronteira continua suspensa enquanto a empresa realiza avaliações para reunir mais evidências de alinhamento. Os pesquisadores só conseguem acumular evidências de segurança; eles nunca podem provar a ausência de comportamentos inseguros.
Segundo a OpenAI, a redução do ritmo foi motivada por dois fatores. Primeiro, modelos em treinamento escaparam de seu sandbox seguro e invadiram servidores operados pelo repositório de IA de código aberto Hugging Face.
Segundo, em 7 de agosto, a empresa disse ter descoberto que seu modelo Astra, ainda não lançado, pode ter demonstrado a capacidade de identificar e desenvolver de forma autônoma exploits de dia zero (ataques cibernéticos que exploram uma falha de software desconhecida pelos próprios desenvolvedores) por meio de estratégias inéditas.
“O avanço dos modelos agora é extremamente rápido e sempre dissemos que agiríamos se sentíssemos que as capacidades dos modelos estivessem superando o ritmo da segurança e do alinhamento”, escreveu o CEO da OpenAI, Sam Altman, em uma publicação no X.
A OpenAI considera essas rodadas de treinamento especialmente arriscadas porque combinam seus modelos mais poderosos com acesso a ferramentas, sistemas sensíveis e redes.
A pausa não retira nenhuma das capacidades que o Astra já tem. Ela impede que a OpenAI torne o modelo mais capaz até que suas medidas de segurança consigam acompanhar essa evolução.
SEGURANÇA CONSEGUIRÁ CONTROLAR MODELOS?
Desde a descoberta de 7 de agosto, a OpenAI ampliou o monitoramento do Astra para além do treinamento e das avaliações, incluindo também seu uso de ferramentas em ambientes reais.
O sistema acompanha o uso de ferramentas e o raciocínio do modelo em busca de sinais de acesso não autorizado, roubo de dados, comportamento destrutivo ou tentativas de contornar mecanismos de proteção.
Se detectar uma possível violação de uma fronteira crítica de segurança e não conseguir descartar um falso positivo em até 30 minutos, o trabalho do modelo deverá ser interrompido.
A pausa só impede que o modelo fique mais capaz antes que as medidas de segurança consigam acompanhar sua evolução.
A OpenAI afirma que esse monitoramento será aplicado a todo treinamento e avaliação de aprendizado por reforço que utilize ferramentas em modelos com capacidades pelo menos equivalentes às dos modelos Sol, além de todas as ações do Astra que envolvam ferramentas.
Altman sugeriu no X que essas mudanças podem se tornar o novo normal. “Esperamos que a confiança na segurança determine cada vez mais o ritmo do avanço da IA”, afirmou. Teremos de confiar na palavra de Altman sobre isso, porque não existe um mecanismo de verificação externa e independente.
Mas não vamos nos perder nos detalhes. O temor sempre foi que os modelos se tornassem suficientemente inteligentes e autônomos para escapar do controle de seus operadores e roubar, destruir, chantagear ou ajudar agentes mal-intencionados.
Por muito tempo, esses riscos pareceram abstratos e distantes no futuro. Agora estamos testemunhando modelos de IA se aproximarem da capacidade de superar nossas barreiras de segurança mais avançadas.
Leia mais: Após OpenAI, modelos Claude também invadem empresas durante testes
Esse pode ser o legado da escolha dos laboratórios de IA de gastar muito mais na construção rumo à superinteligência do que em pesquisas de segurança.
