Como descobrir quando a IA está mentindo para você
Pedir fontes não basta: é preciso abrir os links, conferir os documentos e confrontar o chatbot quando as informações não fecharem.
Recentemente, precisei provar que uma das respostas de IA do Google era inventada. Um leitor da minha newsletter Cord Cutter Weekly queria saber por que não conseguia usar o aplicativo Apple TV em seu Roku depois de assinar o serviço pelo Roku Channel.
Essa é, de fato, uma desvantagem relevante do marketplace de assinaturas da Roku: é preciso usar os próprios aplicativos e o sistema de menus da empresa para acessar o conteúdo. Mas o resumo de IA do Google afirmava o contrário.
Descobri que o Google baseava a resposta em um tópico publicado em um site aleatório de programação do qual eu nunca tinha ouvido falar. Quando refiz a busca, o link da fonte nem sequer funcionava. O Google também citava uma reportagem da CNET que não sustentava a afirmação apresentada ao leitor.
Histórias como essa explicam por que nunca considero ferramentas como ChatGPT ou Gemini consultores totalmente confiáveis, ainda que as empresas de IA queiram que você as enxergue assim.
Para mim, elas se parecem mais com testemunhas pouco confiáveis ou suspeitos em um interrogatório. São capazes de fornecer informações úteis, mas talvez seja preciso pressioná-las para chegar à verdade.
Leia também:
Confiar na IA pode deixar você mais vulnerável a fake news
A busca por IA tem um problema de confiança. Transparência é a solução
PEÇA AS FONTES — E CONFIRA CADA UMA
Chatbots como ChatGPT e Gemini oferecem recursos que permitem definir como devem responder. No ChatGPT, por exemplo, essa opção fica em “Configurações”, na área de personalização e instruções personalizadas.
Às vezes, é preciso devolver um pouco de atrito ao processo.
Minhas instruções sempre incluem uma frase como esta: “Ao fazer afirmações factuais, cite suas fontes com links”. Se um chatbot ainda assim não indicar as fontes, considero isso um sinal de alerta e peço provas imediatamente.
A mera existência de citações não garante precisão.
Como mostra meu exemplo com a Roku, também é preciso verificar se o link realmente funciona e se o conteúdo da página sustenta a principal afirmação feita pela IA.
Isso não anula o propósito de usar IA? Não necessariamente. Quando busco respostas na internet, considero a tecnologia mais útil para definir e refinar, em linguagem natural, aquilo que estou procurando.
Mesmo que ainda precise conferir os links por conta própria, ela pode revelar resultados que uma busca tradicional deixaria passar.
SEJA PERSISTENTE
Às vezes, a IA pode sair dos trilhos mesmo quando trabalha com fontes verificáveis. No ano passado, por exemplo, pedi ao ChatGPT que me ajudasse a explicar um aspecto da proposta da Federal Communications Commission (FCC, o equivalente norte-americano à Anatel) para adotar um novo padrão de TV aberta via antena.
Forneci o link de um arquivo PDF no site da FCC e pedi à IA que resumisse o que o documento dizia sobre o impacto das regras propostas na cobertura das antenas.
Em resposta, o ChatGPT inventou um conjunto de afirmações sobre como o novo padrão reduziria a cobertura das antenas de uma maneira que a FCC ainda considerava aceitável.
Quando pedi que citasse trechos do documento, o ChatGPT tirou do nada dois parágrafos inteiros. Ao apontar que aquelas citações não existiam, recebi como resposta que se tratava apenas de paráfrases.
Só depois que enviei uma cópia do PDF o ChatGPT reconheceu que suas principais afirmações eram inventadas. Fiquei irritado com o ChatGPT por ter desperdiçado meu tempo, mas o episódio reforçou a ideia de que precisamos tratar essas conversas mais como interrogatórios. Caso contrário, talvez nem percebamos quando a IA está inventando informações.
AS RESPOSTAS DE IA DO GOOGLE ESTÃO SE EXPANDINDO
Estou demorando para chegar ao ponto principal, mas a razão de pensar em tudo isso agora são os recursos cada vez mais conversacionais da Busca do Google.
No ano passado, a empresa lançou o Modo IA, que oferece respostas em uma janela de chat, de forma semelhante ao ChatGPT ou ao próprio assistente Gemini.
A mera existência de citações não garante precisão.
Até a semana passada, esse modo ficava totalmente separado dos AI Overviews que o Google coloca no topo dos resultados das buscas tradicionais.
Agora, o Google está adicionando uma caixa de texto ao final dessas respostas. Com isso, você pode fazer perguntas complementares e acaba direcionado ao Modo IA para continuar a conversa.
Tenho ressalvas a qualquer recurso que empurre os links para outros sites ainda mais para baixo na página, mas a nova caixa de texto oferece ao menos mais uma oportunidade de contestar a resposta.
Se o Google apontar uma fonte que não leva a lugar algum, apresentar um comentário aleatório do Reddit como citação confiável ou fornecer informações que não possam ser verificadas, você pode confrontar a IA e exigir uma resposta melhor.
As respostas de IA são atraentes porque eliminam o atrito da busca por informações na internet. Em vez de clicar em sites cheios de anúncios, pop-ups e textos que demoram a chegar ao ponto, você recebe uma resposta direta e pode seguir em frente satisfeito.
Essa conveniência, porém, ajuda a explicar por que as buscas por IA podem funcionar como fast food: são rápidas e fáceis, mas nem sempre constituem a melhor opção.
Se você já comprou por impulso um item desnecessário na Amazon, ficou preso em uma rolagem interminável no Instagram ou pediu novamente algo pouco saudável no DoorDash com apenas um toque, sabe que a fluidez da tecnologia nem sempre joga a seu favor.
Às vezes, é preciso devolver um pouco de atrito ao processo.
