Agentes de IA: de salto tecnológico a risco de segurança para o usuário
Em ataques coordenados com uma avalanche de prompts, pesquisadores conseguiram manipular ferramentas de IA para contornar sua programação
A chamada IA agêntica vem sendo anunciada como o futuro da revolução da inteligência artificial generativa por alguns dos principais líderes do setor.
Do ChatGPT, que já incorpora recursos desse tipo, ao navegador Comet (da Perplexity, baseado em agentes de IA), passando pelo Manus, criado na China, a tendência de dar mais controle às ferramentas de inteligência artificial parece inevitável.
Pelo menos, essa é a visão dos CEOs da Microsoft, Satya Nadella; da Shopify,Tobias Lütke; da Amazon, Jeff Bezos; e da Nvidia, Jensen Huang.
Mas antes de ceder totalmente o controle, é preciso pesar os riscos. Se os agentes de IA estão prestes a se espalhar pela sociedade, terão de se tornar mais “malandros”. As primeiras preocupações dizem respeito justamente à “ingenuidade” desses agentes, um ponto fraco que pode acabar nos prejudicando.
Os agentes de IA só começaram a prevalecer de verdade nos últimos meses, à medida que o foco passou de “apenas conversar com o chatbot” para dar a ele ferramentas capazes de agir no mundo real – o que aumenta dramaticamente os riscos.
oito em cada 10 empresas já usam algum tipo de agente de IA, segundo a PwC.
Segundo Andy Zou, pesquisador da empresa de segurança de TI Gray Swan AI, a preocupação é que a IA agêntica acabe se parecendo com “George, o Rei da Floresta”: pronta para acreditar em qualquer coisa, sem medir consequências.
“Descobrimos que é possível manipular a IA para contornar sua programação”, afirma Zou. Em um novo estudo, ele e seus colegas testaram 22 dos principais agentes de IA do mercado, aplicando 1,8 milhão de ataques de injeção de prompts.
Em cerca de 60 mil casos, os ataques tiveram sucesso, levando os agentes a sair de suas trilhas de segurança para conceder acesso não autorizado a dados, realizar transações financeiras ilícitas e burlar normas regulatórias.
VULNERABILIDADES DA IA AGÊNTICA
Um estudo anterior já havia mostrado defesas ainda mais frágeis: assistentes de IA foram enganados em quase 70% das vezes, convencidos – por instruções escondidas em letras miúdas – a transferir dinheiro para fraudadores.
Esta semana, a desenvolvedora do navegador Brave alegou que um ataque semelhante, baseado em sites, poderia manipular o Comet. A Perplexity corrigiu a falha, mas a Brave sustenta que a solução é insuficiente.
A lição é clara: mesmo taxas de sucesso modestas, quando aplicadas em larga escala, se traduzem em vulnerabilidades perigosas. Antes de entregar as chaves a esses bots, eles precisarão adquirir um pensamento crítico mais aguçado.
Os riscos não são apenas hipotéticos. Um usuário de criptomoedas perdeu US$ 50 mil quando um agente de IA foi induzido a enviar fundos para a carteira errada por meio de instruções maliciosas, compreensíveis apenas por esses agentes.
Com a adoção crescendo – oito em cada 10 empresas já usam algum tipo de agente de IA, segundo a PricewaterhouseCoopers –, os riscos se multiplicam.
Tianshi Li, professora assistente da Northeastern University que liderou o estudo anterior, lembra que os agentes foram projetados para executar tarefas complexas em nome dos usuários, muitas vezes sem supervisão direta.
Embora sejam úteis para trabalhos tediosos, Li alerta: “essa capacidade de realizar tarefas complexas sem supervisão direta é incompatível com garantias de segurança e privacidade.”
AGENTES ESTÃO APENAS COMEÇANDO A SER TESTADOS
Ao contrário de chatbots estáticos, os agentes são vulneráveis porque seus inputs não vêm apenas do usuário: eles interagem com ferramentas e coletam dados de fontes não confiáveis, criando riscos que podem passar despercebidos.
O agente “vai lá fora, conversa com uma ferramenta, recupera dados de uma fonte que você não confia totalmente e, sem perceber, você pode estar se expondo a esses riscos”, explica Matt Fredrikson, professor da Universidade Carnegie Mellon e coautor do estudo.
Com esforço direcionado, Zou e Fredrikson conseguiram comprometer agentes de 10 laboratórios de ponta em poucas horas. Para engenheiros de segurança, não é surpresa: tratar qualquer informação lida por um agente na web como confiável equivale a dar a estranhos controle parcial do prompt do sistema.
A adoção corporativa reflete tanto curiosidade quanto cautela. James Robinson, diretor de segurança da Netskope – empresa de proteção em nuvem que publicou recentemente orientações sobre riscos de agentes de IA –, afirma que as companhias estão experimentando de forma controlada.
“Os agentes estão apenas começando a ser testados”, pondera, ao apontar que, por enquanto, eles não recebem “controle total para fazer mudanças em produção”.
Segundo Robinson, os agentes ficam confinados a ambientes centralizados, como IDEs (ambientes de desenvolvimento integrados), com barreiras como controle de alterações e revisão por pares. Em setores altamente regulados, como o bancário, as restrições são ainda mais rígidas.
A capacidade de realizar tarefas complexas sem supervisão direta é incompatível com garantias de segurança e privacidade.
Mesmo assim, o diretor da Netskope alerta contra a adoção sem os devidos cuidados. “É como ter um funcionário que entra na sua organização sem nunca ter sido contratado” – alguém com acesso potencialmente ilimitado, 24 horas por dia.
Fredrikson, da Carnegie Mellon, acrescenta que, embora algumas organizações tomem os devidos cuidados, “há outras que não estão totalmente a par de todas as ferramentas de mitigação e segurança que poderiam usar.”
“As pessoas estão empolgadas para implementar [a tecnologia] e as coisas estão acontecendo muito rápido”, diz Fredrikson. Essa combinação, alerta, “parece uma receita para problemas de segurança surgirem de todos os lados”.
Esta reportagem foi apoiada por uma bolsa do Centro Tarbell para Jornalismo com IA.
