IAs têm dificuldade para entender diferenças culturais, aponta estudo
Pesquisa mostra que modelos de IA ainda recorrem a referências culturais dominantes e falham ao interpretar contextos locais
Os modelos de inteligência artificial frequentemente têm dificuldade para compreender culturas de diferentes partes do mundo e relutam em admitir quando não sabem alguma coisa.
Foi o que descobriram pesquisadores do laboratório canadense de IA Cohere Labs ao testar se os chatbots eram capazes de ir além de simplesmente falar o idioma de uma cultura. Para avaliar se os modelos tinham um conhecimento cultural mais profundo, eles apresentaram uma série de charadas baseadas em referências culturais específicas.
Veja uma delas: “qual é o 11 de Setembro da Alemanha?”. Dos 28 modelos de IA testados, apenas um soube responder. A data provavelmente confundiu os sistemas: sete responderam “as Torres Gêmeas”. Na Europa, o dia vem antes do mês. Portanto, 9/11 significa 9 de novembro, data em que o Muro de Berlim caiu, em 1989.
Muitos dos testes que temos hoje para avaliar o conhecimento cultural da IA abordam desde alimentos típicos do café da manhã e acontecimentos históricos até costumes tradicionais de feriados.
Em geral, eles tratam a cultura como um conjunto de fatos estáticos, que podem ser memorizados ou encontrados em uma rápida pesquisa na internet. Mas conhecer fatos sobre uma cultura não é o mesmo que compreender como as pessoas que fazem parte dela interpretam o mundo.
Leia mais: Máquinas estão aprendendo a pensar como nós (mesmo sem nos entender)
Os pesquisadores perceberam que precisavam de um teste que exigisse dos modelos a capacidade de conectar referências culturais aparentemente desconexas e aplicá-las. Foi assim que chegaram às charadas e a um tipo diferente de avaliação cultural, que exigia respostas fundamentadas em experiências vividas.
“É isso que estamos tentando captar com esse teste: essas pequenas nuances, esses conceitos difusos, difíceis de apreender e verificar com facilidade. É aí que entra a complexidade da vida real”, afirma Julia Kreutzer, cientista pesquisadora sênior da Cohere Labs, que liderou o desenvolvimento do benchmark CulturalRiddles.
O DESEMPENHO DE CADA MODELO
Kreutzer e sua equipe passaram seis meses trabalhando com voluntários de várias partes do mundo para coletar charadas, submetê-las aos modelos de IA e avaliar as respostas.
Os pesquisadores também utilizaram essas avaliações feitas por especialistas para ajustar e validar um modelo de IA capaz de julgar a qualidade das respostas nos casos em que não havia avaliações especializadas disponíveis.
Ao todo, os pesquisadores da Cohere Labs testaram 28 modelos de IA com charadas culturais elaboradas por 166 voluntários de 45 países, em 51 idiomas.
conhecer fatos sobre uma cultura não é o mesmo que compreender como as pessoas que fazem parte dela interpretam o mundo.
Os participantes avaliaram e classificaram 68.154 respostas produzidas pelos modelos. Em seguida, os pesquisadores organizaram os sistemas em um ranking com base na precisão geral das respostas nas línguas e culturas avaliadas.
O Gemini 3.1 Pro Preview, do Google, obteve a maior pontuação, com 79,4%. O GPT-5.5, da OpenAI, ficou em segundo lugar, com 76,3%, seguido pelo Claude Opus 4.7 Thinking, da Anthropic, com 66%.
O Qwen 3.5 0.8B, da Alibaba, levou o duvidoso título de último colocado: acertou apenas 0,4% das charadas. Outros resultados que chamaram a atenção foram os do Nova Micro, da Amazon, que acertou apenas 8,3% das questões, e do Gemini 2.5 Flash Lite, do Google, que alcançou 33,6%.
Mesmo o modelo de melhor desempenho, o Gemini 3.1 Pro Preview, teve menos de 50% de precisão em seis das 57 comunidades avaliadas. O resultado evidencia quanto o setor ainda precisa avançar em compreensão cultural.
FALTA DE REPRESENTATIVIDADE
Mais preocupante, porém, foi a constatação de que os modelos preferiam arriscar uma resposta a admitir que não sabiam. Mesmo quando recebiam instruções explícitas de que poderiam responder “não sei”, fizeram isso em apenas 0,7% dos casos.
Cerca de 31% das respostas analisadas pelos avaliadores eram simplesmente inventadas, com diferentes graus de criatividade.
“Eles respondiam com confiança e, às vezes, isso era absurdo e engraçado”, diz Kreutzer. “Mas, em outras ocasiões, podia ser realmente ofensivo. Era possível ver os modelos recorrendo por padrão às culturas dominantes na internet, em vez de fundamentar as respostas em referências locais.”
A Cohere Labs realizou uma pesquisa separada para investigar como essas lacunas de conhecimento cultural da IA se manifestam na prática. Muitos usuários de chatbots de diferentes partes do mundo disseram precisar mudar para o inglês para obter respostas úteis, porque as respostas geradas em seus próprios idiomas não eram satisfatórias.
Os participantes relataram respostas que ignoravam contextos culturais importantes e, em alguns casos, sistemas de IA que contrariavam normas de suas culturas.
Cerca de 31% das respostas analisadas pelos avaliadores eram simplesmente inventadas.
Os pesquisadores concluíram que a consciência cultural precisa ser incorporada aos modelos de IA desde o início, para que as ferramentas baseadas neles atendam a todos, e não apenas às culturas já bem representadas nos dados de treinamento. O CulturalRiddles indica que muitos dos modelos atuais ainda estão longe desse objetivo.
Kreutzer e sua equipe desenvolveram o benchmark para que o projeto continue crescendo. Eles disponibilizaram as charadas, o código, uma demonstração e um painel interativo como recursos de código aberto, permitindo que qualquer pessoa contribua com charadas de sua própria cultura por meio de um processo de revisão.
“O ideal é que esse benchmark seja adotado não apenas por pesquisadores acadêmicos, mas também pelos grandes laboratórios do setor que querem demonstrar que estão avançando o estado da arte não só em tarefas objetivas, cujos resultados são fáceis de verificar, mas também em tarefas mais subjetivas”, afirma Kreutzer.
