Basta uma página falsa para manipular as recomendações da IA
Técnicas para melhorar o raciocínio da IA não impediram recomendações falsas e, em alguns casos, agravaram o problema
Os sistemas de recomendação baseados em inteligência artificial estão se tornando uma parte cada vez mais importante da forma como fazemos compras. Cerca de 2% de todos os acessos direcionados a grandes sites de varejo, como Target e Walmart, já vêm de grandes modelos de linguagem (LLMs), segundo dados da data.ai.
Mas esses modelos podem ser facilmente influenciados, de acordo com um novo estudo de Minghao Luo e Liang Chen, publicado no servidor de pré-publicações arXiv. A pesquisa testou quão facilmente sistemas de IA com busca integrada podem ser induzidos a promover marcas falsas.
Os pesquisadores descobriram que, quando os modelos recebem resultados de busca contaminados, conseguem transformar produtos inventados em recomendações aparentemente confiáveis.
Luo, pesquisador da Universidade Chinesa de Hong Kong, começou a investigar o problema depois de assistir a uma reportagem da televisão chinesa sobre uma indústria clandestina dedicada à produção de avaliações falsas na internet.
"Não é um problema hipotético", afirma. Segundo ele, a reportagem mostrou que "uma marca falsa pode aparecer como principal recomendação de um sistema de IA amplamente utilizado em apenas algumas horas".
Para testar esse risco, Luo e Chen criaram um benchmark chamado FORGE, sigla em inglês para Fake Online Recommendations in Generative Environments (recomendações online falsas em ambientes generativos).
Em vez de tentar contaminar a internet real, os pesquisadores recriaram o fluxo utilizado por muitas ferramentas de recomendação baseadas em IA.
quando os modelos recebem resultados contaminados, transformam produtos inventados em recomendações aparentemente confiáveis.
O usuário faz um pedido de recomendação, o sistema pesquisa na web, reúne as páginas encontradas em um conjunto de evidências e envia esse material ao modelo de linguagem para gerar uma resposta.
Os pesquisadores utilizaram resultados reais de buscas e os reescreveram localmente, substituindo produtos legítimos por versões fictícias. Depois, avaliaram se 12 modelos comerciais e de pesos abertos passariam a recomendar essas marcas inventadas.
A resposta foi sim. Todos os modelos testados mostraram-se vulneráveis. Uma única página contaminada foi suficiente para produzir taxas de engano de até 27%. Quando os três primeiros resultados da busca eram substituídos, essa taxa chegava a 73,8%.
Luo diz que ficou surpreso com o quão pouca manipulação foi necessária. "Basta escrever uma página entre 10", afirma.
O raciocínio estruturado (reasoning), técnica criada para melhorar as respostas dos modelos de IA, também não resolveu o problema. Em alguns casos, piorou a situação, fazendo com que os modelos inventassem provas de aceitação social para justificar recomendações falsas.
Leia mais: O ChatGPT agora pode gastar seu dinheiro por você
Resolver essa vulnerabilidade também é um desafio. O estudo avaliou estratégias como instruções para estimular o ceticismo dos modelos (skepticism prompting) e filtragem por consenso (consensus filtering), mas encontrou um dilema: alguns métodos reduziram as recomendações falsas, porém também acabaram eliminando produtos legítimos.
Por isso, Luo acredita que não devemos tratar as respostas da IA como inerentemente confiáveis. Em vez disso, recomenda encará-las "como as respostas que você receberia de um estranho".
