5 perguntas para Rumman Chowdhury, CEO da Humane Intelligence

A inteligência artificial generativa pode ser reiniciada e reestruturada para se tornar mais ética e humana. Para a renomada cientista de dados e especialista em IA responsável Rumman Chowdhury, esse “reboot” precisa ser feito o quanto antes.

Rumman é CEO e cofundadora da Humane Intelligence, organização sem fins lucrativos focada na avaliação colaborativa de modelos algorítmicos. Em 2023, foi eleita uma das 100 pessoas mais influentes em IA do mundo pela revista "Time". Isso porque coordena discussões voltadas à criação de processos de auditoria das enormes massas de dados que compõem as estruturas do machine learning.

Sua proposta é ousada: auditar algoritmos deveria se tornar uma profissão estruturada, com formações específicas, critérios claros e independência em relação às empresas que desenvolvem os modelos.

Assim como no setor financeiro existem equipes especializadas em avaliar riscos e impactos de mercado, ela defende que o mesmo tipo de controle seja aplicado aos sistemas de inteligência artificial.

Esses auditores algorítmicos atuariam por meio de trabalho em grupo e multidisciplinar, os chamados red teaming, voltados à análise crítica dos modelos. O objetivo é entender como os sistemas respondem a perguntas sensíveis ou altamente especializadas – uma forma de identificar vieses e lacunas na construção da IA.

Rumman levanta uma questão fundamental: como confiar em sistemas que não podemos testar, nem questionar, nem consertar? Nesta entrevista ela fala sobre os limites do compliance, o que ainda falta para o público exercer agência sobre a IA e por que a diversidade de pensamento é uma das únicas formas possíveis de tornar a tecnologia verdadeiramente responsável.

FC Brasil – Qual a diferença entre inteligência artificial que “segue o compliance” e a inteligência artificial responsável?

Rumman Chowdhury – O compliance é o piso, o ponto de partida. Responsabilidade é assumir os impactos dos produtos que você desenvolve, independentemente de obrigações legais ou exigências externas.

A inteligência artificial responsável é um processo em constante evolução e deve estar alinhada com contextos econômicos, sociais e geopolíticos em transformação.

FC Brasil – A IA generativa entrou no dia a dia das pessoas. No Brasil, 54% afirmam usar ferramentas de IA no dia a dia. Na sua visão, aumentou a capacidade de as pessoas auditarem ou questionarem esses sistemas? Que tipo de ferramenta prática ainda falta para o público exercer agência sobre essas tecnologias?

Rumman Chowdhury – As pessoas comuns ainda têm pouquíssimo ou nenhum acesso e controle sobre esses sistemas. Na prática, sabemos pouco sobre como esses modelos são treinados e desenvolvidos, como podem ser usados sobre nós e temos poucas ferramentas para recorrer quando há algum problema.

Um primeiro passo seria garantir permissões legais mais amplas para hackers éticos e terceiros independentes, além de oferecer mais educação para o público não técnico entender como esses sistemas funcionam.

Também é importante criar ambientes de avaliação no-code – como o que lançamos este ano na Humane Intelligence – para mostrar que o conhecimento prático das pessoas tem valor real.

FC Brasil – Na Humane Intelligence você lidera conversas de comunidades para produzir IAs éticas. Há uma mistura de pessoas da tecnologia e “das humanidades”. Qual a importância de criar times com diversidade de áreas de conhecimento quando falamos de inteligência artificial?

Rumman Chowdhury – Equipes diversas trazem perspectivas inesperadas e urgentemente necessárias. Aprendemos muito ao trabalhar com pessoas que dedicaram a vida a tarefas que vão muito além da programação, como estudo de literatura, artes, história e filosofia.

Por exemplo, ao fazer red teaming [processo de auditoria em grupo] com cientistas, percebemos que muito do conteúdo gerado por inteligência artificial sobre ciência está desatualizado ou é influenciado por grupos ou think thanks polarizados. A maioria das pessoas não teria como perceber isso. Como podemos melhorar esses modelos com ajuda desses especialistas?

FC Brasil – Você já propôs que a governança da IA siga um modelo semelhante ao do Painel Intergovernamental sobre Mudança do Clima (IPCC). Com o atual cenário de guerra fria de IA, ainda há espaço para uma governança global da tecnologia?

Rumman Chowdhury – A IA é uma tecnologia sem fronteiras, por isso precisamos de algum nível de governança global.

Na prática, sabemos pouco sobre como esses modelos são treinados e desenvolvidos.

Que essa governança seja orientada pela ciência e seja capaz de informar políticas públicas sensatas é o melhor caminho para garantir um futuro positivo com a inteligência artificial.

FC Brasil – Você defende que a auditoria algorítmica deveria se tornar uma profissão estruturada. Mas, em um cenário no qual os próprios critérios de avaliação dos modelos são definidos por quem os constrói, como evitar que a auditoria vire apenas um "selo de verificação” sem significado?

Rumman Chowdhury – Estruturar essa atividade como uma profissão independente é essencial para criar padrões de avaliação externos, supervisão ética e proteção legal.

Transferir a responsabilidade de avaliação das empresas para terceiros que possam manter independência legal e financeira, ao mesmo tempo em que prestam um serviço público, é fundamental para garantir uma supervisão realmente imparcial.