A IA virou um risco que as empresas não previram
Entenda como o recurso acaba causando interrupções na rotina de muitos profissionais
A inteligência artificial (IA) corporativa prometeu aos executivos algo muito próximo da certeza operacional: menos interrupções, menos erros humanos e sistemas capazes de detectar problemas antes mesmo que os clientes percebessem.
Mas um novo relatório da empresa de software Splunk sobre o tempo de inatividade relacionado à IA sugere que essas promessas estão colidindo com uma realidade bem mais caótica.
Para as empresas, o tempo de inatividade, ou seja, interrupções inesperadas nos sistemas de software e aplicativos que mantêm as operações funcionando, pode desencadear desde perda de vendas até o congelamento de redes logísticas e reações negativas dos clientes.
Por anos, as empresas trataram o problema como fundamentalmente solucionável: automatize a quantidade certa dos processos corretos e o erro humano seria, em grande parte, eliminado pela engenharia.
Agindo com base nessa lógica, as empresas gastaram uma mediana de US$ 24,5 milhões anualmente em sistemas de inteligência artificial projetados para evitar o tempo de inatividade, de acordo com o relatório da Splunk, uma unidade da Cisco. Mas muitas agora relatam que a própria IA está se tornando parte do problema das interrupções, introduzindo silenciosamente vários novos modos de falha no processo.
Metade das organizações pesquisadas passou por tempos de inatividade atrelados a automações incorretas de IA ou ao desvio de modelo. Quase um terço atribuiu a culpa a bugs introduzidos pela incorporação de IA em sistemas de produção.
Realizado em parceria com a Oxford Economics com mais de 2.000 executivos de empresas da Global 2000, o relatório da pesquisa estima que o tempo de inatividade não planejado custa agora às empresas US$ 600 bilhões anualmente, um aumento de 50% em apenas dois anos.
Cada minuto de inatividade custa cerca de US$ 15.000, e as empresas perdem uma média de US$ 300 milhões por ano antes mesmo que alguém chame formalmente a situação de crise.
A Splunk chama isso de paradoxo da confiabilidade: quanto mais agressivamente as empresas implantam IA para eliminar o risco operacional, mais elas se veem gerenciando uma categoria de risco mais nova e menos previsível.
“As organizações estão implantando IA em sistemas críticos para a missão sem fluxos de escalonamento claramente definidos”, diz Kamal Hathi, vice-presidente sênior e gerente geral da Splunk. “Falta a elas um monitoramento ajustado para detectar o desvio de modelo, e não há uma liderança clara de quem é o dono do problema quando as coisas dão errado.”
A exposição financeira vai muito além dos orçamentos de TI. Hathi observa que o preço das ações caiu, em média, 3,4% por grande incidente, os pagamentos de resgates por ransomware quase triplicaram para US$ 40 milhões e as multas regulatórias agora somam uma média de US$ 51 milhões.
A IA CRIADA PARA REDUZIR RISCOS AGORA OS ESTÁ FABRICANDO
A corrida da IA recompensa a velocidade acima de quase tudo. O que começou com copilotos e interfaces de chat está se acelerando em direção a agentes autônomos, muitas vezes sem um humano no circuito. Essa velocidade também está mudando a cara das falhas.
Hathi diz que as empresas não estão avaliando mal o valor da IA, mas sim subestimando o que uma implantação responsável exige. Há uma tendência de tratar a implantação de IA como uma atualização de software.
Mas a IA aprende com ambientes em constante mudança e interage com os sistemas de maneiras que não seguem uma lógica determinística. “A resiliência não pode ser pensada depois”, diz ele, referindo-se à capacidade de absorver perturbações, recuperar-se rapidamente e manter a continuidade.
O relatório constatou que 44% das organizações usam IA agente de forma autônoma, mas 68% temem que esses sistemas possam se comportar de maneira imprevisível. A gama de tipos de ataque também está se ampliando.
A injeção de prompt - ou prompt injection - e o envenenamento de dados, duas formas de ataques direcionados à IA nos quais agentes mal-intencionados manipulam o que um sistema de IA vê ou aprende para alterar seu comportamento, estão em ascensão.
Quase uma em cada quatro organizações já se deparou com eles, e 77% dos líderes de tecnologia acreditam que cibercriminosos armados com IA generativa aumentarão o tempo de inatividade em suas organizações.
“Os sistemas agentes precisam conquistar sua autonomia de forma incremental”, diz Hathi. “Eles devem ser governados por visibilidade e responsabilidade em cada etapa, e não implantados em escala para depois serem monitorados retroativamente.”
O MODO DE FALHA SILENCIOSO PARA O QUAL NINGUÉM SE PLANEJOU
Greg Leffler, diretor de evangelismo de desenvolvedores e evangelista-chefe da Splunk, diz que o tempo de inatividade relacionado à IA raramente se parece com uma interrupção tradicional. Em vez de um colapso dramático, muitas vezes se parece com uma erosão progressiva do comportamento do sistema que se espalha muito antes de alguém pensar em investigar.
Ele apontou para dois padrões que aparecem repetidamente nos ambientes corporativos. O primeiro é o desvio de modelo, que ele descreve como “um fluxo de automação que tomava decisões corretas há seis meses, mas cujos dados de treinamento já não refletem o tráfego atual.
Quando alguém percebe, o estrago já está se espalhando por serviços interconectados.
” O segundo são as integrações quebradas, em que um sistema de IA age com base em dados incompletos e engatilha uma cadeia de falhas em sistemas conectados que nenhuma equipe sozinha possui ou monitora de ponta a ponta. Ambos degradam a confiança gradualmente, até que algo crítico finalmente desabe.
Os sistemas de IA são implantados com muita frequência sob a premissa de que são autocorretivos, uma premissa que a infraestrutura tradicional nunca teve a permissão de assumir. “A disciplina de engenharia aplicada aos lançamentos de software (implantações em etapas, testes canário, procedimentos de reversão) deve agora ser aplicada a cada modelo em produção que carregue autoridade de tomada de decisão”, diz Leffler.
A constatação mais contundente do relatório, no entanto, não é sobre a capacidade do modelo, mas sobre quem está no controle. Apenas 38% dos executivos de tecnologia pesquisados relataram identificar consistentemente a causa raiz dos incidentes de inatividade, apesar dos pesados investimentos em plataformas de monitoramento.
Leffler explicou que, à medida que a automação absorve as decisões operacionais mais rotineiras, menos engenheiros desenvolvem a intuição profunda do sistema necessária para diagnosticar falhas quando a automação quebra.
Ao mesmo tempo, a infraestrutura tecnológica de hoje depende fortemente de provedores externos de IA e serviços de terceiros, nos quais as equipes têm pouca visibilidade direta, criando o que ele chama de um problema de opacidade cumulativa: camadas de risco interconectadas que ficam, em grande parte, fora do que pode ser observado.
“Sistemas agentes deveriam diagnosticar problemas de forma independente, executar correções rotineiras e realizar reversões de código, mas escalar qualquer decisão de maior impacto para aprovação humana”, diz Leffler.
Ele acrescenta que o desafio é tanto cultural quanto técnico. “Se as equipes de engenharia não estiverem medindo a confiabilidade com o mesmo rigor com que medem a velocidade, os modelos de governança sempre perderão para os prazos de entrega.”
A “SHADOW IA” ESTÁ SUPERANDO A VISIBILIDADE CORPORATIVA
Alguns dos problemas mais difíceis de quantificar, e talvez os mais difíceis de corrigir, estão acontecendo fora da infraestrutura de tecnologia oficial. As gerações anteriores de "Shadow IT" (TI invisível) normalmente envolviam funcionários adotando softwares não aprovados, serviços em nuvem ou ferramentas de colaboração fora da supervisão formal da TI, criando dores de cabeça de segurança e conformidade. A Shadow AI (IA invisível) eleva o nível do desafio.
Leia também: Shadow AI: como evitar que a inteligência artificial vire uma inimiga
Exatos 66% das organizações relatam que funcionários usam ferramentas de IA não aprovadas no trabalho para escrever códigos, gerar entregas de negócios e automatizar decisões, muitas vezes sem uma visibilidade centralizada sobre quais dados essas ferramentas acessam ou como suas recomendações influenciam os ambientes de produção.
Diferente da Shadow IT, a Shadow AI pode moldar o comportamento operacional deixando poucos rastros de como ou por que as decisões foram tomadas.
“Trata-se de três coisas: um problema de política, um problema de visibilidade e um problema de governança”, diz Hathi. “A política por si só não vai resolver. As organizações precisam implantar um sistema de avaliação para o que a IA deve fazer, respaldado por uma camada de telemetria baseada em registros (logs), métricas e rastreamentos (traces).”
A IA continuará ficando mais inteligente. O desafio mais difícil, e aquele que a maioria das empresas está apenas começando a enfrentar, é construir sistemas capazes de enxergar e corrigir o comportamento inteligente antes que ele se torne uma crise de negócios.
“Cada concorrente agora tem acesso a modelos e infraestruturas em nuvem semelhantes”, diz Hathi. “Resiliência, governança e observabilidade estão se tornando os verdadeiros diferenciais. As empresas que internalizarem isso primeiro definirão o que significa excelência operacional na era da IA.”
