E se a IA errar e ninguém mais souber arrumar a bagunça?
A dependência de sistemas automatizados pode deixar profissionais menos preparados para assumir o controle quando a tecnologia falha
Imagine um sistema de inteligência artificial que funciona de maneira confiável há meses. Suas recomendações quase sempre estão certas, e o funcionário responsável por revisá-las aprendeu que uma análise minuciosa raramente muda o resultado.
Então, algo fora do comum acontece. A IA comete um erro ou não consegue prosseguir e precisa da intervenção humana. Espera-se que o funcionário entre em ação e continue responsável pelo resultado. Mas será que ele ainda sabe executar a tarefa?
Em minha pesquisa sobre as relações entre humanos e IA, chamo isso de risco latente: a possibilidade de as pessoas perderem capacidades das quais suas organizações ainda dependem e que esperam que elas exerçam.
A IA pode continuar apresentando bons resultados enquanto as pessoas que a supervisionam perdem a prática de exercer o próprio julgamento e ficam menos preparadas para intervir.
O risco se torna latente quando a organização ainda depende da capacidade humana de intervir, mas tem poucos motivos para perceber que essa capacidade pode estar se enfraquecendo.
O paradoxo do sucesso
Quanto melhor a IA se torna, mais muda a natureza do trabalho humano. Uma atividade que antes exigia que um funcionário analisasse um problema e chegasse a uma decisão pode passar a ser executada pela IA, deixando para a pessoa apenas a tarefa de revisar a recomendação.
O funcionário não está mais realizando o mesmo trabalho com a ajuda da IA. Sua função mudou: em vez de executar a atividade, ele passou a supervisionar o que a IA faz.
Há mais de quatro décadas, a psicóloga cognitiva Lisanne Bainbridge descreveu uma das “ironias da automação”: à medida que os sistemas assumem uma parcela maior do trabalho, as pessoas não têm simplesmente sua carga de trabalho reduzida. Elas podem acabar diante de novos desafios para monitorar os sistemas e lidar com situações incomuns que eles não conseguem resolver.
Estudos posteriores identificaram outro problema: quando as pessoas se envolvem menos em uma tarefa, podem ficar menos preparadas para assumir o controle quando necessário. Os pesquisadores chamam esse fenômeno de problema de desempenho fora do circuito de controle (out-of-the-loop).
Essa redução do envolvimento pode afetar mais do que a prontidão de uma pessoa para intervir. Ela pode alterar as capacidades de que a organização dispõe.
O trabalho que sobra para as pessoas não necessariamente se torna mais fácil. Pode ficar mais difícil. São justamente essas situações que exigem mais experiência e julgamento independente.
O resultado é um paradoxo: as pessoas podem ser chamadas a exercer seu próprio julgamento com menos frequência, mesmo quando as decisões que continuam sob sua responsabilidade se tornam mais difíceis.
O problema da responsabilização
A responsabilização pode não mudar tão rapidamente quanto o trabalho quando as organizações implementam sistemas de IA. Um funcionário pode passar a supervisionar muito mais decisões do que efetivamente toma, mas continuar responsável pelos resultados.
As expectativas da organização ainda podem refletir a divisão de tarefas anterior à ampliação do papel da IA. Assim, a empresa corre o risco de responsabilizar as pessoas por decisões sobre as quais elas têm menos controle.
Isso cria um descompasso. Pesquisas sobre controle humano significativo (meaningful human control) sugerem que a responsabilidade deve corresponder à autoridade e à capacidade de ação de uma pessoa.
Um funcionário pode manter a autoridade formal para rejeitar uma recomendação da IA e continuar responsável pelo resultado, mas perder a capacidade de fazer isso. Autoridade, responsabilidade e capacidade podem começar a se dissociar.
O risco latente passa a ser um problema de desenho organizacional, e não apenas de desempenho humano.
O problema da mensuração
As organizações costumam avaliar processos que utilizam IA por meio de indicadores como precisão e produtividade. Esses números podem continuar positivos mesmo quando o papel humano está mudando.
Imagine que os funcionários passem a contestar as recomendações da IA com menos frequência ao longo do tempo. Isso seria um sinal de dependência crescente? Talvez.
Mas também pode significar que a IA se tornou mais precisa e que há menos motivos para intervir. O número de vezes que os funcionários contestam as recomendações, por si só, revela pouco sobre se eles continuam preparados para exercer o próprio julgamento.
O fundamental é compreender como está mudando a divisão do trabalho entre pessoas e IA. Quais decisões deixaram de ser tomadas por pessoas e passaram para a IA? Quais responsabilidades continuam com os funcionários? Avaliar o desempenho do funcionário ou da IA isoladamente pode deixar de lado justamente o que está mudando na relação entre ambos.
O problema da governança
A governança organizacional — a definição de papéis e responsabilidades — também está sob pressão com o avanço da IA.
Uma pessoa pode continuar formalmente envolvida no processo decisório de um sistema de IA, mesmo que seu papel efetivo tenha mudado. Definir as funções humanas e as da IA quando um sistema é implementado é apenas o ponto de partida. À medida que a tecnologia melhora e as pessoas se acostumam a utilizá-la, essas funções tendem a mudar ao longo do tempo. Não há nada inerentemente errado nisso.
O problema surge quando a relação muda, mas as premissas que a sustentam permanecem as mesmas. É importante que as organizações se perguntem periodicamente: que relação entre pessoas e IA planejamos inicialmente? E que relação temos, de fato, hoje?
Em resumo, a governança organizacional precisa ser dinâmica.
Como manter a capacidade humana de intervir
Nem toda capacidade humana precisa ser preservada. Se a IA consegue executar bem uma tarefa, há poucos motivos para exigir que as pessoas continuem fazendo exatamente o mesmo trabalho. As organizações precisam decidir quais capacidades esperam que os funcionários mantenham para os momentos em que o julgamento humano for necessário. Se as pessoas ainda puderem ser chamadas a exercer determinada capacidade, ela precisará ser preservada.
Supervisionar a IA não é o mesmo que exercer o próprio julgamento. Se as pessoas raramente tomam decisões por conta própria, a organização não pode presumir que estarão preparadas quando precisarem fazê-lo. Uma maneira de testar isso é pedir, ocasionalmente, que os funcionários tomem uma decisão sem antes ver a recomendação da IA. A organização precisa saber se a retaguarda humana com a qual conta realmente funcionará quando for necessária.
À medida que a IA assume mais tarefas, algumas capacidades humanas inevitavelmente serão menos utilizadas. Outras talvez deixem de ser relevantes. Mas algumas continuarão sendo essenciais quando a tecnologia atingir seus limites. O desafio é saber distinguir umas das outras e fazer essa escolha de maneira deliberada.
Para mim, a questão central é esta: de quais capacidades humanas uma organização ainda depende — e elas estarão disponíveis quando forem necessárias?
Este artigo foi republicado do site The Conversation sob licença Creative Commons. Leia o artigo original.
