Por que decisões importantes estão cada vez mais nas mãos da IA
Quando decisões difíceis se tornam fáceis, as pessoas param de questionar, pois a IA já decidiu. O papel humano passa a ser apenas confirmar
Nas primeiras 24 horas da guerra com o Irã, os Estados Unidos atingiram mil alvos. Ao fim da semana, o total ultrapassava três mil, o dobro da fase de “choque e pavor” da invasão do Iraque em 2003, segundo o secretário de Defesa dos EUA, Pete Hegseth.
Esse volume sem precedentes de ataques só foi possível graças à inteligência artificial.
O Comando Central dos EUA (Centcom) afirma que humanos continuam no circuito em todas as decisões de seleção de alvos e que a IA serve para ajudá-los a tomar “decisões mais inteligentes com mais rapidez”. Mas qual é, de fato, o papel humano quando os sistemas operam nesse ritmo ainda não está claro.
O uso de IA por Israel para definir alvos em sua guerra contra o Hamas pode oferecer pistas. Uma investigação no ano passado revelou que o exército israelense utilizou um sistema de IA chamado Lavender para identificar suspeitos em Gaza.
A versão oficial diz que todas as decisões envolveram avaliação humana. Mas, segundo um operador do Lavender, à medida que os humanos passaram a confiar no sistema, limitaram suas verificações a algo mínimo: confirmar que o alvo era um homem.
“Eu investia 20 segundos por alvo”, disse o operador. “Meu valor agregado como humano era zero, além de servir como um carimbo de aprovação. Isso economizava muito tempo.”
O mesmo padrão já se instalou no mundo dos negócios. Em 2023, a ProPublica revelou que a Cigna, uma das maiores seguradoras de saúde dos Estados Unidos, havia implementado um algoritmo para sinalizar pedidos de reembolso a serem negados.
Seus médicos, legalmente obrigados a exercer julgamento clínico, passaram a aprovar em lote as decisões do algoritmo, gastando em média 1,2 segundo por caso. Um único médico negou mais de 60 mil solicitações em um mês. “Literalmente clicamos e enviamos”, disse um ex-médico da Cigna. “Leva uns 10 segundos para fazer 50 de uma vez.”
Vinte segundos para autorizar um ataque; 1,2 segundo para negar um tratamento.
O humano está no circuito. A humanidade, não.
DIFICULDADE BY DESIGN
A IA promete aliviar o peso de trabalhos difíceis e cognitivamente exigentes, ou seja, tornar o trabalho mais leve. As decisões ficam mais rápidas e fáceis. Em muitos casos, isso é progresso real.
Mas algumas decisões são importantes demais para não sentirmos seu peso. Decidir matar alguém ou negar um tratamento médico deveria levar tempo. Escolher quais prédios bombardear deveria ser difícil.
Nesses casos, a dificuldade cumpre uma função: ela é um recurso, não um defeito. É o mecanismo que obriga instituições a encarar o que estão fazendo.
nem toda dificuldade é um problema a ser resolvido. Às vezes, a dificuldade é o ponto central da questão.
Quando a IA remove esse peso, a instituição não se torna mais eficiente, ela se torna insensível. Quando a IA elimina o fardo de decidir quem vive e quem morre, isso não é progresso. É degradação moral.
Se o humano no circuito gasta meros segundos por decisão, a distinção entre sistema autônomo e supervisionado por humanos passa a ser, em grande parte, apenas formal. Precisamos exigir humanidade no circuito também.
Nesses casos, o humano precisa ter permissão para ser humano, mesmo que isso signifique ser mais lento, menos preciso e menos eficiente. Esse é o custo de algo absolutamente necessário: sentir o peso das decisões. Porque a dificuldade cria o atrito que faz as pessoas pararem, questionarem e resistirem.
Quando decisões difíceis se tornam fáceis, a própria instituição muda. As pessoas param de questionar, porque nada parece digno de questionamento. O sistema já decidiu, o papel humano é apenas confirmar.
A discordância desaparece, porque ela exige atrito, e o atrito foi projetado para fora do sistema. A responsabilização enfraquece, porque todos sabem que quem decide é o computador.
A médica da Cigna que negou 60 mil pedidos em um mês não era cruel. Ela foi inserida em um sistema onde negar um pedido exigia pouco mais do que clicar um botão.
O sistema fez algo mais insidioso do que corromper seu julgamento: tornou-o desnecessário.
Leia mais: Dispositivos com IA: nós os controlamos ou somos controlados por eles?
É por isso que o caso da Cigna não é sobre um indivíduo problemático. É sobre o que acontece com qualquer instituição que sistematicamente elimina o peso de suas decisões mais difíceis.
O TESTE DO PESO
Antes de usar IA para facilitar qualquer processo decisório, líderes deveriam se fazer quatro perguntas:
1. Que comportamentos institucionais a dificuldade atual dessa decisão gera (como escrutínio, escalonamento, discordância) e qual o custo de perdê-los?
2. Se algo der errado, conseguimos identificar alguém que realmente lidou com a decisão ou apenas alguém que clicou no botão “aprovar”?
3. Como saberíamos se os humanos nesse processo viraram meros carimbadores? O que mediríamos? Estamos medindo isso?
4. Se as pessoas afetadas por essa decisão soubessem exatamente como ela foi tomada e quanto tempo o humano levou, a instituição se sentiria confortável em defender esse processo em público?
Essas perguntas não aparecem em nenhum checklist de implementação de IA. E é justamente por isso que importam.
a dificuldade cria o atrito que faz as pessoas pararem, questionarem e resistirem.
Dizem que a IA nos liberta – do trabalho repetitivo, da lentidão, do peso de decisões difíceis. E, muitas vezes, isso é verdade. Mas nem toda dificuldade é um problema a ser resolvido. Às vezes, a dificuldade é o ponto central.
O peso que um comandante deveria sentir antes de autorizar um ataque, o esforço que um médico deveria fazer antes de negar um tratamento, não são ineficiências a serem eliminadas. São os mecanismos que mantêm as instituições honestas sobre o poder que exercem.
Organizações que eliminam esse peso serão mais rápidas e leves. Por um tempo, pode até parecer que estão ganhando. Mas serão também as que vão descobrir, tarde demais, que a dificuldade era o preço a ser pago por deter o poder de decisão. E que, no momento em que deixam de pagá-lo, já não deveriam decidir mais nada.
