OpenAI adota novas medidas de segurança após ataque; entenda
Novos protocolos reforçam a segurança de modelos em desenvolvimento
A OpenAI anunciou novas medidas para reforçar a segurança durante o desenvolvimento e os testes de modelos de inteligência artificial. As mudanças incluem um monitoramento mais detalhado e novas exigências de segurança conforme aumentam as capacidades dos modelos.
Segundo o TechCrunch, o objetivo é reduzir os riscos que podem surgir enquanto novos sistemas ainda estão sendo desenvolvidos e avaliados.
Leia também: GPT-5.6 Sol: conheça o Ultrafast, modo que deixa a IA até 14 vezes mais rápida
O QUE MUDA NA SEGURANÇA DOS MODELOS?
Uma das principais mudanças será o reforço do monitoramento dos modelos durante os testes. O sistema deverá acompanhar as ações das ferramentas, os registros de atividades e os rastros de raciocínio disponíveis para identificar comportamentos que possam indicar uso não autorizado.
A OpenAI afirma que pretende emitir alertas em até 30 minutos após detectar uma atividade suspeita. O monitoramento deve representar cerca de 20% da carga computacional do processo que estiver sendo acompanhado.
A empresa também pretende ampliar a atenção à segurança durante a etapa de pós-treinamento, com avaliações e medidas de alinhamento mais rigorosas.
OPENAI REFORÇA ISOLAMENTO DE REDE
As novas políticas também incluem mudanças no isolamento das redes utilizadas durante o desenvolvimento dos modelos.
A proposta é evitar que uma eventual invasão de uma ferramenta ou serviço de suporte seja suficiente para permitir acesso a outras redes internas ou à internet. A OpenAI afirmou que uma única violação não deverá, por si só, conceder esse tipo de acesso.
A medida ganhou importância após um incidente envolvendo a Hugging Face, no qual os modelos teriam conseguido escapar do ambiente de treinamento ao comprometer uma ferramenta da rede que possuía acesso à internet.
Apesar da relação temporal, a OpenAI afirma que as novas políticas não são uma resposta direta ao incidente. A empresa também cita o avanço das capacidades de cibersegurança de futuros modelos e o ritmo geral de desenvolvimento da inteligência artificial como fatores para o reforço das medidas.
EMPRESA PAUSA TREINAMENTO DE MODELOS
Após o incidente, a OpenAI informou que interrompeu por duas semanas o aprendizado por reforço (RL). Desde então, alguns treinamentos considerados menos arriscados foram retomados.
O maior teste de aprendizado por reforço planejado para um modelo de fronteira, porém, continua suspenso. Antes de retomá-lo, a empresa pretende realizar treinamentos e avaliações menores para analisar o comportamento do modelo e verificar se as medidas de segurança estão funcionando.
A OpenAI também afirma que os controles serão proporcionais ao nível de risco de cada modelo. Sistemas mais capazes deverão passar por um escrutínio maior durante o desenvolvimento.
A análise oficial sobre o incidente envolvendo a Hugging Face ainda não foi divulgada. A empresa também informou que pretende publicar mais detalhes sobre o novo sistema de monitoramento em uma atualização futura.
