Pesquisadores desenvolvem técnica para flagrar a IA em artigos científicos
Novo estudo revela como grandes modelos de linguagem discretamente influenciaram a produção científica entre 2020 e 2024
Uma pesquisa de grande escala analisou mais de um milhão de artigos científicos em busca de sinais de uso de inteligência artificial – e o resultado foi contundente: a IA está por toda parte.
Publicado recentemente na revista “Nature Human Behaviour”, o estudo examinou pré-publicações e artigos publicados entre 2020 e 2024, procurando por marcas típicas deixadas por ferramentas de geração de texto.
Embora alguns autores que usam IA de forma indevida ainda deixem pistas evidentes – como trechos de prompts ou frases suspeitas, do tipo “regenerate response” (regenerar resposta) –, com o tempo eles têm ficado mais cuidadosos e discretos.
No estudo, os pesquisadores criaram um modelo estatístico de frequência de palavras a partir de trechos de resumos e introduções escritos antes do surgimento do ChatGPT. Em seguida, processaram esse material em um grande modelo de linguagem e compararam os textos. Assim, conseguiram identificar padrões ocultos característicos de textos gerados por IA, como a alta incidência de termos específicos – “pivotal” (“fundamental”), “intricate” (complexo) e “showcase” (destacar) –, pouco comuns na escrita científica feita por humanos.
ALGUMAS ÁREAS DEPENDEM MAIS DE IA DO QUE OUTRAS
Os autores constataram que grandes modelos de linguagem são usados de forma ampla em diferentes áreas de pesquisa, mas algumas se mostraram muito mais dependentes da tecnologia. Em resumos de ciência da computação, por exemplo, cerca de 22,5% das frases apresentavam sinais de uso de IA, contra 9,8% em artigos de física e 7,8% em artigos de matemática.
“Os maiores aumentos estão justamente nas áreas mais próximas da própria IA”, observa James Zou, coautor do estudo e biólogo computacional da Universidade Stanford, nos EUA. Artigos mais curtos e pesquisas em áreas muito concorridas também apresentaram mais indícios de terem sido, ao menos parcialmente, escritos por inteligência artificial.
Artigos mais curtos e pesquisas em áreas muito concorridas também apresentaram mais indícios de terem usado IA
Muitas revistas científicas já exigem que os autores informem o uso de ferramentas de IA generativa, como o ChatGPT. Publicações de prestígio, como “Science” e “Nature”, deixam claro que a inteligência artificial não pode ser creditada como autora de um artigo, embora seja permitida para tarefas menores, como revisão de texto e ajustes gramaticais. Em alguns casos, os prompts usados precisam ser descritos detalhadamente na seção de metodologia.
Além do risco de inserir “alucinações” no conteúdo, quem tenta usar IA sem declarar corre o perigo de ser identificado por bancos de dados criados especialmente para registrar casos de uso indevido dessa tecnologia em pesquisas.
“As máquinas têm um papel importante, mas como ferramentas para quem formula hipóteses, conduz experimentos e interpreta resultados”, escreveu Holden Thorp, editor-chefe da “Science”, em carta sobre o uso de IA na pesquisa. “No fim das contas, o trabalho precisa vir – e ser expresso – pelo maravilhoso computador que carregamos na cabeça.”
