Não é a IA, é o capitalismo que te dá medo
Em trecho de seu novo livro Incorruptible, Eric Ries argumenta que os maiores riscos da inteligência artificial podem não estar nas máquinas, mas nas organizações humanas que as controlam.
Em um trecho de seu novo livro Incorruptible, o empreendedor Eric Ries argumenta que muitos dos medos atuais sobre inteligência artificial têm menos relação com tecnologia e mais com o funcionamento das próprias empresas. Conhecido mundialmente por escrever A Startup Enxuta, Ries cita Ted Chiang e o romance As Vinhas da Ira, de John Steinbeck, para comparar empresas a “superorganismos” capazes de desenvolver vontade própria — mesmo contra seus próprios fundadores.
Confira:
Como observou o escritor Ted Chiang, “a maior parte dos medos sobre IA é, na verdade, uma forma de medo do capitalismo”. Quando imaginamos sistemas de IA fora de controle, otimizando o mundo até a destruição, estamos descrevendo algo que muitas corporações já fazem hoje. Se o ethos de uma organização está desalinhado, qualquer plataforma tecnológica criada por ela vai amplificar esse desalinhamento.
Pare por um momento e pense na organização que você mais valoriza: ela tem um ethos ou está à deriva? Ela luta pelo florescimento humano ou contra ele? Está criando valor ou apenas extraindo? Você ajuda a moldar esse ethos ou ele está moldando você? Independentemente do cargo que ocupa, você exerce influência sobre essa organização. Mas, se não consegue responder a essas perguntas com segurança, então você não está no controle. É apenas um passageiro em um veículo que acredita estar dirigindo.
Mas, se ninguém está realmente no volante, para onde essa organização está indo? Se o comportamento desses superorganismos fosse aleatório, veríamos tantos evoluindo em direção ao florescimento quanto à corrupção. Em vez disso, a maioria esmagadora acaba no mesmo lugar, com valores praticamente indistinguíveis.
Recentemente, conversei com o CEO de uma empresa multibilionária que me procurou para pedir ajuda com um problema desconcertante. Ele havia feito uma aposta ousada no potencial da IA para revolucionar seus negócios. Ele supervisionou pessoalmente o desenvolvimento de um novo produto de IA e o testou com clientes. Eles adoraram. Convencido de que tinha criado algo extraordinário, ele entregou o projeto ao restante da equipe para iniciar a venda e escala.
Seis meses depois, o produto não saiu do lugar. A equipe de vendas não conseguia vendê-lo. Os desenvolvedores evitavam trabalhar nele. O marketing se recusava a promovê-lo. Quando confrontados, os executivos insistiam que o produto fazia parte das prioridades trimestrais. Todos diziam às suas equipes para focar nele. Ainda assim, funcionários da linha de frente e gerentes intermediários continuavam evitando o produto de IA. O padrão se repetia em toda a organização.
Quando o CEO intervinha pessoalmente, conseguia convencer clientes individuais a adotar o novo produto. No entanto, não conseguia fazer o mesmo com sua própria equipe, mesmo depois de investir pesadamente em treinamentos, bônus por desempenho e ordens vindas do topo. Ele não conseguia identificar nenhuma pessoa ou grupo bloqueando ativamente a iniciativa. Chegou até a substituir vários executivos importantes por outros escolhidos justamente por seu entusiasmo com a nova direção. Ainda assim, poucos meses depois, o mesmo status quo desconfortável prevalecia.
Ele balançou a cabeça.
“Você sabe o que está me deixando louco? Eu fundei essa empresa há quinze anos. Quando apresentei a ideia original, todo mundo achou que eu estava maluco. Investidores, potenciais funcionários, até minha família.
“Agora que somos bem-sucedidos, quando digo que precisamos mudar de rumo, muitas dessas mesmas pessoas, incluindo minha própria liderança, resistem porque ‘não podemos arriscar tudo o que construímos’.”
Ele ergueu as mãos, incrédulo. “Eles estão protegendo algo que só existe porque eu assumi um risco ‘maluco’ que todos diziam ser impossível. Agora acham que sou imprudente e parecem incapazes de reconhecer quantas vezes já se beneficiaram do fato de eu insistir no impossível para levar a empresa a um novo patamar.”
Ele me contou que conseguia sentir o estresse que sua insistência causava nos funcionários, como se estivessem sendo puxados entre duas autoridades diferentes. Quem, exatamente, era essa outra autoridade? Como tantos fundadores, ele presumiu que estar no comando significava que a organização refletiria seus valores. Como era possível ter todo o controle no papel e tão pouco controle na prática diária? E, se ele não estava no comando, quem estava?
John Steinbeck enxergou esse dilema com clareza em As Vinhas da Ira. Agricultores arrendatários estão sendo expulsos de suas terras durante o Dust Bowl [fenômeno climático que aconteceu nos Estados Unidos na década de 30], mas, quando confrontam os homens encarregados dos despejos, não conseguem obter uma resposta clara sobre quem está tomando a decisão de destruí-los. Os homens enviados para fazer o trabalho sujo respondem ao gerente do banco, que responde a proprietários distantes, que respondem aos acionistas. Cada um tem um papel dentro da organização, mas, de algum modo, ninguém está realmente no comando.
Isso leva os agricultores à pergunta desconcertada: quem é o banco?
Steinbeck retrata o banco como um sistema impessoal, sem rosto, no qual nenhum indivíduo pode ser responsabilizado, embora pessoas reais estivessem perdendo suas casas e meios de sustento por causa dele. Ele chama o banco de “o monstro que os homens o criaram e não conseguem controlar”. Meu amigo CEO, lutando contra uma resistência que não conseguia localizar, experimentou a mesma perplexidade. Se a pessoa no topo não está no comando, quem está?
O CEO que eu aconselhava não estava lutando contra seus próprios funcionários na iniciativa de IA. Ele estava enfrentando um tipo diferente de ser vivo: algo que havia desenvolvido seu próprio caráter, suas próprias preferências e sua própria vontade. Seu ethos pessoal de inovação estava em guerra com o caráter emergente da organização, que desejava segurança, certeza e previsibilidade. O fato de ele ter criado a empresa importava muito pouco.
A vida não é definida por carne e sangue, mas por determinadas propriedades. Seres vivos mantêm fronteiras entre si e o ambiente ao redor. Metabolizam recursos em energia. Crescem, se adaptam e se reproduzem. Exibem comportamentos que emergem de suas partes, mas que não podem ser previstos apenas pelo estudo isolado dessas partes. E, acima de tudo, demonstram uma vontade de sobreviver que molda todas as suas ações.
As organizações exibem cada uma dessas propriedades. Mantêm fronteiras legais e culturais que definem quem está dentro e quem está fora. Elas metabolizam capital, talento e matéria-prima em produtos e serviços. Crescem por meio de contratações, se adaptam às pressões do mercado e geram subsidiárias ou se fundem com outras empresas. A “cultura” de uma companhia emerge de milhares de interações diárias, mas não pode ser encontrada em nenhum manual de funcionários ou organograma. E, quando ameaçadas, as organizações demonstram uma tenacidade capaz de se sobrepor às preferências de qualquer indivíduo dentro delas, até mesmo de seu líder nominal.
Cada uma é um superorganismo em si mesma, operando segundo suas próprias regras de existência.
Agora podemos responder à pergunta de Steinbeck: quem é o banco? Uma inteligência emergente, tão viva quanto você ou eu. Um superorganismo.
É isso que o banco é.
Quando contamos histórias de horror sobre IA — sistemas que perseguem objetivos estreitos de maneira implacável, cegos para os custos humanos — estamos, em muitos sentidos, descrevendo o banco. Os homens o criaram, mas não conseguem controlá-lo. Nossos medos sobre IA são, como sugere Chiang, frequentemente o medo de despejarmos um poder técnico sem precedentes em instituições cujo ethos já está desalinhado do florescimento humano.
Se queremos resultados diferentes, não basta perguntar o que nossas máquinas estão otimizando. Precisamos fazer a mesma pergunta às nossas organizações.
