Pedir esse tipo de resposta a chatbots pode aumentar suas alucinações; entenda
A Inteligência Artificial presta ajudas significativas ao longo do dia, mas nem sempre há precisão
As Inteligências Artificiais (AIs) de chatbots estão presentes no dia a dia de quase todo trabalhador moderno. Para gerar uma imagem sem direitos autorais ou para tirar aquela dúvida em um diagnóstico médico, um mundo sem as IAs já é difícil de ser imaginado.
No entanto, segundo a pesquisa da Giskard, uma empresa de testes de IA sediada em Paris, as respostas dessas tecnologias podem conter alucinações.
“Nossos dados mostram que mudanças simples nas instruções do sistema influenciam drasticamente a tendência de um modelo a alucinar”, escreveram os pesquisadores nas suas publicações por meio de um blog. “Essa descoberta tem implicações importantes para a implantação, visto que muitas aplicações priorizam saídas concisas para reduzir o uso [de dados], melhorar a latência e minimizar custos.”
- Leia mais em: 5 ferramentas de inteligência artificial gratuitas para conversas inteligentes e buscas rápidas
Basicamente, a pesquisa revela que as alucinações estão previstas nas IAs, mas pedir para os chatbots darem respostas curtas/concisas pode fazer com que as respostas não condizam com a realidade.
Na pesquisa, a Giskard fez prompts simples para as tecnologias OpenAI’s GPT-4o, Mistral Large e Claude 3.7 Sonnet, que não apresentam precisão quando os comandos não são detalhados. Isso acontece porque, quando há mais detalhes, as IAs não possuem tanta margem para erro.
“Talvez o mais importante para os desenvolvedores seja que avisos aparentemente inocentes do sistema, como "seja conciso", podem sabotar a capacidade de um modelo de desmascarar informações incorretas", explicam os pesquisadores da Gikard.
Outra informação curiosa apontada por esse estudo foi a de que, de acordo com o nível de confiança que o usuário dá ao comando, o chatbot estará menos propenso a ir contra a informação que ele trouxe — indo ao encontro da opinião de alguns especialistas que criticam a "bajulação”das IAs.
