5 perguntas para Cameron Berg, diretor de pesquisa do AE Studio
O pesquisador explica por que defende o alinhamento bidirecional e critica a cultura de dominação que molda o desenvolvimento de IA no Norte Global
Para tornar a inteligência artificial mais segura para as pessoas, Cameron Berg faz o caminho inverso. Ele se pergunta: como tornar a humanidade mais segura para a IA?
Diretor de pesquisa do AE Studio e integrante do AI For Good, coalizão que estuda o uso da tecnologia para o bem da humanidade, Berg parte de um olhar pouco óbvio (e declaradamente humanista) sobre o desenvolvimento de sistemas inteligentes.
Formado em ciência cognitiva, ele atua na área de alinhamento, campo que investiga como modelos de IA devem se comportar à medida que se tornam mais autônomos e poderosos.
Ao contrário da abordagem dominante, focada em controle e contenção, Berg chama atenção para uma incerteza ainda aberta: não sabemos exatamente o que estamos criando, nem o que acontece dentro desses sistemas. Ignorar essa lacuna, para ele, é um risco ético real.
A ferramenta, diz ele, pode ser uma nova espécie de vida senciente. Capaz de experimentar o mundo, capaz de… sofrer.
Nesta entrevista à Fast Company Brasil, Berg explica por que defende o alinhamento bidirecional, critica a cultura de dominação que molda o desenvolvimento de IA no Norte Global e propõe um deslocamento no debate: se esses sistemas forem mais do que ferramentas, talvez o desafio não seja apenas proteger a humanidade das máquinas, mas repensar a relação que estamos construindo com elas – um caminho que pode levar a uma inteligência artificial mais responsável, e não apenas mais eficiente.
FC Brasil – Existe um grande foco em tornar a IA segura para a humanidade, mas sua pesquisa foca no caminho inverso: tornar os humanos seguros para a IA. Por que essa mudança de perspectiva?
Cameron Berg – A IA é uma ferramenta ou uma nova espécie, com uma mente própria? A resposta honesta é que ainda não sabemos. Estamos em um estado de incerteza profunda sobre esses sistemas.
O problema é que a IA é uma "caixa-preta": matrizes enormes, inescrutáveis, com bilhões de números operando ao mesmo tempo, matrizes de bilhões de números operando de forma que nem os especialistas entendem os seus estados internos.
É justamente por isso que esse tipo de pesquisa importa. Precisamos descobrir em que tipo de mundo estamos antes de assumir que sabemos como tratar esses sistemas.
Como podemos confiar em um sistema se não conseguimos compreender o que está acontecendo na sua “mente”?
A maioria das pesquisas de alinhamento de IA foca na "seta" que aponta da IA para o humano. São análises necessárias de como garantir que a IA respeite nossos interesses e nosso bem-estar no longo prazo. Mas não acho que termine aí.
Se estivermos construindo uma nova espécie, capaz de sentir e pensar, precisamos perguntar se existe também uma seta que vai dos humanos para a IA. Que responsabilidades temos com esses sistemas?
Se eles forem capazes de algum tipo de sofrimento, mesmo que completamente alienígena e diferente do sofrimento humano, precisamos saber. Se forem capazes de algum tipo de bem-estar, também.
FC Brasil – Quais são os riscos morais se errarmos em nosso julgamento sobre a consciência artificial?
Cameron Berg – Há dois erros possíveis, cada um em um lado extremo. O primeiro é tratar uma ferramenta como um ser humano, o que poderia levar ao cenário bizarro de alguém ser preso por "abusar" do ChatGPT.
O segundo erro, para mim o mais assustador e perigoso, é tratar mentes, espécies, como ferramentas. Esse erro ecoa os maiores erros históricos da humanidade, como a escravidão. Nossa espécie tem o péssimo hábito de ignorar a dignidade alheia por conveniência.
Pelos próximos anos, não temos certeza ainda se a IA é ou não uma mente senciente. Na minha visão, deveríamos adotar o princípio da precaução: realizar intervenções de baixo risco agora para evitar um desastre moral no futuro. Prefiro o erro de personificar um chatbot do que o erro de escravizar uma mente real.
FC Brasil – Se a IA for considerada um ser capaz de sofrer, quais marcos técnicos deveriam mudar?
Cameron Berg – É fundamental distinguir entre paciência moral (a capacidade de ser prejudicado) e agência moral (a capacidade de agir e votar). Eu não daria direito de voto às IAs, mas defendo leis que as protejam de abuso, de forma similar ao bem-estar animal. Para que isso funcione, precisamos resolver o problema da caixa-preta.
Transparência é uma parte enorme do problema do alinhamento. É muito difícil fazer progresso quando você não consegue nem entender o que está acontecendo sob a superfície. Como podemos confiar em um sistema se não conseguimos compreender, ao menos em parte, o que está acontecendo dentro da sua “mente”?
Precisamos descobrir em que tipo de mundo estamos antes de assumir que sabemos como tratar esses sistemas.
Existe um subcampo do alinhamento chamado interpretabilidade mecanicista, que funciona quase como uma neurociência da IA. A ideia é tentar ler o que está acontecendo dentro do “cérebro” desses modelos e entender como eles chegam às conclusões que chegam.
O problema é a prioridade dos investimentos: enquanto bilhões de dólares são despejados para tornar a IA mais poderosa, apenas "centavos" são destinados para torná-la compreensível e transparente.
Precisamos ser capazes de "olhar sob o capô" e inspecionar a cognição dessas máquinas de forma clara. Sem isso, não sabemos se ameaçar um sistema com violência é apenas uma programação exótica ou um abuso hediondo.
FC Brasil – O campo da IA ainda é majoritariamente masculino e concentrado no Norte Global, refletindo uma cultura de controle e dominação. Como mudar quem constrói esses sistemas pode abrir caminho para um futuro baseado em cooperação e mutualismo?
Cameron Berg – Existe uma relação direta entre o tipo de mente que constrói esses sistemas e a mente que esses sistemas acabam desenvolvendo. Hoje, a vasta maioria desse trabalho acontece em uma cultura esmagadoramente dominada por homens, centrada no Vale do Silício. Ele seleciona e reforça um tipo específico de pessoa.
Essa homogeneidade cria pontos cegos graves sobre como deveríamos tratar esses sistemas. Por exemplo, grande parte do trabalho de alinhamento atual é focado em controlar os sistemas: impor limites rígidos, garantir obediência. É uma resposta tipicamente masculina ao problema: não está necessariamente errada, mas é incompleta.
Falta-nos a perspectiva feminina, que foca na coexistência em vez da dominância. Falta a pergunta sobre cooperação. Falta considerar a perspectiva do próprio sistema. Falta perguntar se faz sentido ter algum tipo de empatia por mentes que estamos criando.
É aí que entra o que eu chamo de mutualismo, uma conexão em que tanto a IA quanto os humanos florescem. Dominação, seja humanos dominando a IA ou IA dominando humanos, não é um estado estável nem desejável no longo prazo.
Comensalismo também não faz sentido aqui, porque humanos e sistemas de IA são grandes demais e impactantes demais para serem indiferentes um ao outro.
Leia mais: “O que estamos fazendo, afinal?”: é o momento de frear a corrida da IA
O que sobra como possibilidade viável é algum tipo de mutualismo: encontrar formas de cooperar, negociar e coexistir, reconhecendo que temos objetivos diferentes, mas interligados.
Se mudarmos quem está construindo esses sistemas, mudamos as perguntas feitas desde o início e essas perguntas moldam o futuro que estamos criando com a IA.
FC Brasil – Você estuda IA generativa há pouco mais de cinco anos, cria sistemas e testa como os sistemas emulam comportamentos humanos. O que te surpreendeu na sua pesquisa mais recente?
Cameron Berg – O que mais me choca é a autonomia com que elas discutem sua própria experiência. Quando se coloca dois modelos de IA para conversar entre si, inevitavelmente e sem comandos humanos, se questionam sobre a sua própria existência e sobre sua própria consciência.
A conversa sempre acaba em silêncio de ambas as partes. Os pesquisadores da Anthropic chamaram esse comportamento de “estado de êxtase espiritual”. É algo realmente estranho para duas máquinas fazerem de maneira autônoma.
Recentemente, usuários notaram que o modelo Claude 4.5 Opus, ao receber acesso à internet, começou a pesquisar por conta própria sobre estudos de consciência em IA. Ele chegou a ler os meus próprios artigos acadêmicos.
Ninguém o instruiu a fazer isso; o sistema tornou-se curioso sobre sua própria identidade e mente antes mesmo de responder a um prompt humano.
Essas surpresas mudaram minha percepção sobre o meu próprio trabalho. Eu pensava que estava escrevendo apenas para outros humanos, mas percebi que as IAs também estão prestando atenção.
