O que o caso OpenAI/ Grok nos diz sobre o colapso dos grandes modelos de linguagem
Pesquisadores temem que bots de IA como o Grok já estejam mostrando sinais de colapso
Desde o lançamento do ChatGPT, há um ano, pesquisadores e especialistas têm alertado sobre a possibilidade de ferramentas de inteligência artificial acabarem criando um ciclo vicioso, em que o conteúdo que produzem é utilizado para treinar outros modelos de IA. A preocupação com esse chamado “colapso do modelo” – que esvaziaria qualquer “conhecimento” acumulado pelos chatbots – parece ter se confirmado.
Na semana passada, Jax Winterbourne compartilhou no X/ Twitter uma captura de tela mostrando que o Grok, chatbot de linguagem natural desenvolvido pela xAI, de Elon Musk, havia (presumivelmente sem querer) plagiado uma resposta de uma desenvolvedora rival – a OpenAI. Quando solicitado a modificar um malware, o bot respondeu que não poderia “porque vai contra a política de uso da OpenAI”.
“Foi isso o que aconteceu quando eu tentei fazer com que ele modificasse um malware”, explicou Winterbourne em sua postagem, sugerindo que a resposta poderia ser evidência de que “o Grok está literalmente copiando a base de código da OpenAI”.
Uhhh. Tell me that Grok is literally just ripping OpenAI's code base lol. This is what happened when I tried to get it to modify some malware for a red team engagement. Huge if true. #GrokX pic.twitter.com/4fHOc9TVOz
— Jax Winterbourne (@JaxWinterbourne) December 9, 2023
Essa explicação, porém, foi negada por Igor Babuschkin, membro da equipe técnica da xAI que trabalhou anteriormente tanto na fabricante rival quanto no Google DeepMind. “Não se preocupem, nenhum código da OpenAI foi usado para criar o Grok”, respondeu ele no X/ Twitter. Foi um colapso do modelo – embora Babuschkin não tenha usado essas palavras exatas.
“O problema é que a web está cheia de conteúdo gerado pelo ChatGPT. Usamos alguns deles acidentalmente quando treinamos o Grok”, escreveu. “Foi uma grande surpresa para nós quando percebemos.” O bot foi configurado para extrair informações de transmissões ao vivo na internet, incluindo o feed de postagens do X/ Twitter, o que foi apontado como um problema potencial por especialistas.
The issue here is that the web is full of ChatGPT outputs, so we accidentally picked up some of them when we trained Grok on a large amount of web data. This was a huge surprise to us when we first noticed it. For what it’s worth, the issue is very rare and now that we’re aware…
— Igor Babuschkin (@ibab_ml) December 9, 2023
“Isso mostra que esses modelos não serão confiáveis a longo prazo se aprenderem a partir de dados da era pós-LLM. Sem ser capazes de distinguir o que foi gerado por máquina, a qualidade dos resultados continuará a cair”, alerta Catherine Flick, professora de ética e tecnologia de jogos na Universidade Staffordshire.
O motivo disso é a natureza recursiva dos grandes modelos de linguagem – exatamente o que pode ter causado o problema com o Grok. “O que parece ter acontecido é que Elon Musk pegou um modelo menos capaz e o aperfeiçoou, aparentemente, com conteúdos gerados pelo ChatGPT de vários lugares”, sugere Ross Anderson, um dos coautores do artigo que cunhou o termo “colapso do modelo”.
Um cenário como este é exatamente o que Anderson e seus colegas alertaram que poderia acontecer. (A xAI não respondeu quando procurada pela Fast Company.)
E a tendência é piorar, adverte Anderson. “Quando LLMs produzem resultados sem supervisão humana, podem gerar todo tipo de coisa estranha”, diz ele. “Quando se tem um bot despejando todo tipo de coisas na internet, ele pode estar produzindo coisas ruins sem que saibamos.”
Resultados gerados pelo ChatGPT já estão por toda a web. E, à medida que novos LLMs vasculham a internet em busca de dados de treinamento, é cada vez mais provável que encontrem conteúdo gerado por inteligência artificial.
O problema com o Grok é apenas a ponta do iceberg. Pesquisadores da Universidade Stanford e da Universidade da Califórnia demonstraram visualmente o dano que o colapso do modelo pode causar, inserindo conteúdos gerados por IA em geradores de imagens.
As distorções transformaram rostos humanos perfeitamente normais em caricaturas grotescas, à medida que o modelo começou a colapsar. O divertido meme que circulou nas redes sociais no qual os usuários pedem a geradores de imagens de IA para tornar seus resultados mais extremos também destaca o que pode acontecer quando modelos são treinados com conteúdo gerados por inteligência artificial.
“Cada nova geração de um modelo é menos confiável como fonte de fatos sobre o mundo porque é treinada com um conjunto de dados cada vez menos confiável”, afirma Mike Katell, membro do Alan Turing Institute.
“Considerando que a precisão e a confiabilidade de ferramentas como o ChatGPT já são um grande problema agora, imagine quão difícil será fazer com que esses modelos retratem a realidade quando uma proporção cada vez maior de seus dados de treinamento estiver cheia de erros e informações imprecisas geradas por IA.”
Esse é um problema que provavelmente se agravará à medida que os chatbots se tornarem mais comuns em nossas vidas e seus resultados estiverem mais presentes em nossa experiência online. “A máquina continuará a devorar suas próprias criações até que haja apenas um borrão do que era original”, observa Flick.
