Racismo algorítmico: como a IA apaga culturas e reproduz desigualdades
Da falta de representatividade nos dados às barreiras de acessibilidade, escolhas no desenvolvimento de sistemas de IA podem reforçar discriminações e deixar grupos inteiros de fora.
Em um teste com sete serviços de inteligência artificial, nenhuma das 35 respostas a uma pergunta sobre conteúdos de matemática mencionou espontaneamente objetos, instrumentos ou construções relacionados à cultura e à história africana, afro-brasileira ou indígena.
O resultado faz parte de uma pesquisa exploratória realizada pelo pesquisador Tarcízio Silva, com o apoio do Instituto Alana. O estudo, conduzido em setembro de 2025, avaliou o desempenho de ferramentas de IA em tarefas educacionais ligadas ao ensino e às relações étnico-raciais.
Quando os pesquisadores solicitaram explicitamente referências africanas, afro-brasileiras ou indígenas, algumas apareceram nas respostas. Mas também houve generalizações e informações inventadas.
O experimento mostra como ferramentas capazes de produzir respostas aparentemente completas e articuladas podem reproduzir lacunas históricas. Também levanta questões sobre a representatividade dos dados utilizados no treinamento dos modelos e sobre os mecanismos disponíveis para identificar e reduzir resultados discriminatórios.
Para a cientista da computação e pesquisadora Nina da Hora, o problema vai além da ausência de determinadas referências.
“Quando um sistema transforma o rosto em números, ele decide o que conta com rosto, como pessoa, como informação válida. O que não cabe nessa definição vira ruído e desaparece”, explica.
Leia também: ChatGPT vê o mundo pela ‘lente do silício’ e reflete desigualdades
Nina trabalha com o conceito de epistemicídio computacional, inspirado na ideia de epistemicídio da filósofa Sueli Carneiro. O termo ajuda a compreender como escolhas técnicas no desenvolvimento de sistemas automatizados podem contribuir para o apagamento de conhecimentos, identidades e formas de existir.
O QUE ESTÁ POR TRÁS DO RACISMO ALGORÍTMICO?
Para entender por que sistemas de IA podem reproduzir distorções e invisibilizar conhecimentos, é preciso olhar além do código.
Quando um sistema transforma o rosto em números, ele decide o que conta com rosto, como pessoa, como informação válida
O racismo algorítmico está relacionado ao racismo estrutural. O conceito, estudado e difundido no Brasil por Tarcízio Silva, ajuda a explicar como tecnologias de informação e comunicação podem incorporar e automatizar desigualdades raciais e assimetrias históricas de poder.
Isso não depende necessariamente de uma intenção racista declarada por parte de programadores ou desenvolvedores.
À medida que empresas e instituições utilizam sistemas automatizados em atividades como segurança pública, educação e seleção de candidatos a empregos, vieses presentes nos dados, nos critérios de desenvolvimento e na aplicação das ferramentas podem influenciar resultados e reforçar discriminações existentes.
“A ideia de que a IA é neutra esconde que alguém definiu o que ela deveria enxergar”, afirma Nina.
Segundo a pesquisadora, o racismo estrutural também aparece nas categorias utilizadas para classificar pessoas e nos critérios que determinam quais falhas serão consideradas aceitáveis.
O problema, portanto, não se resume à quantidade ou à diversidade de informações utilizadas no treinamento. Ele envolve as decisões sobre como os sistemas funcionam, o que reconhecem e como seus resultados são avaliados.
ACESSIBILIDADE: QUEM CONSEGUE USAR UMA IA?
As escolhas que influenciam a representação de pessoas e conhecimentos também afetam a acessibilidade das ferramentas digitais.
Quando um sistema é desenvolvido considerando uma forma de falar, um corpo ou um modo de interação como padrão, pessoas que não correspondem a essas referências podem encontrar dificuldades para utilizar a tecnologia. De acordo com Nina, os problemas aparecem em diferentes recursos.
Leitores de tela podem encontrar obstáculos em interfaces dinâmicas e botões sem descrição. Sistemas de reconhecimento facial e de voz podem falhar diante de determinados sotaques ou sequelas de doenças. Legendas automáticas podem não reconhecer algumas formas de fala, enquanto descrições de imagens podem apresentar informações genéricas ou representar pessoas negras de maneira equivocada.
Leia também: A era da autorregulação das big techs acabou, diz Joy Buolamwini
Essas barreiras revelam os limites da ideia de um usuário médio, capaz de representar todas as formas de interação com uma tecnologia.
O risco de exclusão aumenta quando diferentes condições de desigualdade se sobrepõem.
“Quem mais corre risco de ficar de fora são as pessoas que acumulam diferenças, como pessoas negras com deficiência, pessoas idosas da periferia, pessoas indígenas e quem tem pouca internet”, explica a pesquisadora.
No caso de pessoas negras com deficiência, as barreiras podem atuar simultaneamente.
“O sistema erra mais com o rosto dela e também não foi pensado para a forma como ela se comunica ou se move”, afirma Nina.
Para enfrentar esses problemas, não basta testar se uma ferramenta funciona em condições consideradas ideais. É necessário avaliar seu desempenho com diferentes grupos de usuários e identificar quais obstáculos aparecem no uso cotidiano.
Sem essa participação, sistemas que parecem eficientes para parte da população podem continuar inacessíveis ou inadequados para outras pessoas.
DE QUEM É A RESPONSABILIDADE?
Se os erros e as discriminações podem resultar de escolhas feitas durante o desenvolvimento e a implementação de sistemas de IA, quem deve responder pelos danos?
Para Nina, a responsabilidade é compartilhada por toda a cadeia de desenvolvimento e utilização da tecnologia, embora varie de acordo com o papel de cada agente.
Quem desenvolve a ferramenta deve documentar como o sistema representa as pessoas, identificar seus limites de funcionamento e indicar em quais situações ele não deve ser utilizado.
Já empresas e instituições que contratam essas tecnologias precisam compreender suas limitações antes de aplicá-las.
“Quem contrata precisa dessas informações e não aceita ‘caixa-preta’. Quem decide o uso responde pelo contexto: identificar alguém na multidão é muito diferente de desbloquear um celular. E uma pessoa prejudicada precisa ter onde reclamar e como ser reparada”, comenta Nina.
A comparação entre reconhecimento facial em espaços públicos e desbloqueio de celulares mostra como uma mesma tecnologia pode apresentar consequências diferentes dependendo da finalidade de uso.
Nesse cenário, a responsabilização também depende da existência de canais para contestar decisões automatizadas e buscar reparação por eventuais danos.
COMO CONSTRUIR UMA IA MAIS JUSTA?
Se a discriminação pode surgir desde a concepção de um sistema, a prevenção também precisa começar nessa etapa.
Para Nina da Hora, ampliar as bases de treinamento ou corrigir erros depois que eles aparecem não é suficiente. É necessário considerar quem utilizará a tecnologia e como ela se comporta diante de diferentes grupos.
Isso significa testar ferramentas com pessoas de diferentes raças, gêneros, idades e condições de deficiência antes de sua implementação.
A avaliação também não deve considerar apenas a precisão geral. Uma boa média de acertos pode esconder taxas de erro mais elevadas entre determinados grupos.
Leia também: Reconhecimento facial e racismo: quando a tecnologia atropela a ética
Por isso, é importante observar como as categorias são definidas, quais decisões influenciam os resultados e como o desempenho varia conforme as características dos usuários.
“A mudança mais urgente é parar de achar que o problema se resolva com mais dados. Enquanto a tecnologia é pensada a partir de um padrão, quem fica longe dele vai continuar sendo tratado como ruído”, afirma Nina.
“A ideia de que a IA é neutra esconde que alguém definiu o que ela deveria enxergar
A responsabilidade não termina nos testes. As empresas também precisam demonstrar como suas ferramentas funcionam e quais medidas adotam quando os sistemas falham.
Entre as ações defendidas pela pesquisadora estão a divulgação de taxas de erro por grupos demográficos, maior transparência sobre a classificação dos dados e a participação de pessoas negras, indígenas e com deficiência tanto nos testes quanto nas equipes técnicas e nos cargos de liderança.
“Compromisso que fica no relatório anual não muda nada. Dá para cobrar coisas concretas”, relata.
A construção de uma inteligência artificial menos discriminatória também depende de ampliar a participação pública no debate.
A formação acadêmica e o letramento digital podem ajudar mais pessoas a compreender o funcionamento dessas ferramentas, reconhecer limitações e questionar decisões automatizadas.
Ao mesmo tempo, mecanismos de regulação e fiscalização são importantes para estabelecer responsabilidades e proteger os direitos de quem sofre discriminação.
Enfrentar o racismo algorítmico exige reconhecer que a tecnologia não é construída de maneira isolada da sociedade. As escolhas feitas durante seu desenvolvimento influenciam quem será representado, quem terá acesso e quem poderá ser prejudicado.
Por isso, a pergunta não é apenas o que a inteligência artificial consegue fazer, mas quem ela consegue enxergar e quem decidiu isso.
“A sociedade precisa saber que pode perguntar, questionar e recusar”, conclui Nina.
