Meta “manipulou um pouco” resultados da nova geração de IA, admite cientista-chefe
Declaração expõe tensão interna na Meta após testes do Llama 4 gerarem dúvidas sobre o real avanço da IA
Yann LeCun, cientista-chefe de inteligência artificial em fim de mandato na Meta, afirmou que a empresa testou a versão mais recente do modelo Llama de uma forma que pode ter feito o sistema parecer melhor do que realmente é.
Em entrevista ao jornal "Financial Times", LeCun disse que pesquisadores da Meta “deram uma pequena maquiada” nos resultados ao usar versões diferentes dos modelos Llama 4 Maverick e Llama 4 Scout em benchmarks distintos, escolhendo, em cada caso, a variante que teria melhor desempenho.
Normalmente, os pesquisadores utilizam uma única versão de um novo modelo em todos os testes, em vez de selecionar aquela que pontua melhor em cada benchmark específico.
Depois que a Meta lançou os modelos Llama 4, pesquisadores independentes e avaliadores terceirizados tentaram verificar as métricas divulgadas pela empresa rodando seus próprios testes.
Muitos, porém, descobriram que os resultados não batiam com os da Meta. Alguns chegaram a questionar se os modelos usados nos benchmarks eram, de fato, os mesmos disponibilizados ao público.
Ahmad Al-Dahle, vice-presidente de IA generativa da Meta, negou essa acusação e atribuiu as discrepâncias a diferenças na implementação dos modelos em ambientes de nuvem.
Segundo LeCun, essa “maquiagem” nos benchmarks contribuiu para a frustração da equipe interna com o ritmo de evolução dos modelos Llama e levou a uma perda de confiança entre a liderança da Meta, incluindo o CEO Mark Zuckerberg.
AQUISIÇÃO E REESTRUTURAÇÃO
Em junho, Zuckerberg anunciou uma reestruturação da área de IA da empresa, que incluiu a criação de uma divisão chamada Meta Superintelligence Labs (MSL).
A Meta também pagou entre US$ 14,3 bilhões e US$ 15 bilhões para adquirir 49% da Scale AI, empresa especializada em dados para treinamento de modelos, e convidou o CEO da Scale, Alexandr Wang, para liderar a nova divisão.
No papel, ao menos, LeCun – vencedor do prestigiado Prêmio Turing por seu trabalho pioneiro em redes neurais – passou a se reportar a Wang, de apenas 28 anos.
Naquele momento, a Meta vinha ficando atrás de concorrentes como Anthropic, OpenAI e Google na corrida por modelos cada vez mais avançados. A empresa estava sob pressão para reafirmar a força do Llama, especialmente em um cenário em que o preço das ações pode oscilar com base nos benchmarks mais recentes.
LeCun ao "Financial Times", que Wang aprende rápido e sabe reconhecer o que ainda não domina, mas também é jovem e inexperiente. “Não há experiência em pesquisa ou em como se faz pesquisa, como se pratica isso. Ou no que seria atraente ou inaceitável para um pesquisador”, afirmou LeCun.
A divisão que ele comandou por uma década na Meta, o FAIR (Pesquisa Fundamental em Inteligência Artificial), era uma organização de pesquisa pura, com autonomia para definir suas próprias linhas de investigação. Um grupo adjacente de “IA aplicada” trabalhava em parceria com o laboratório para encontrar formas de transformar essas pesquisas em produtos da Meta.
Mas as mudanças na organização não foram o único motivo para a saída de LeCun. Há anos ele expressa dúvidas de que a principal aposta atual da Meta em IA – os grandes modelos de linguagem (LLMs) – seja capaz de levar à inteligência em nível humano, já que esses sistemas não conseguem aprender de forma rápida e contínua.
LLMs podem absorver uma certa compreensão do mundo por meio de palavras e imagens, mas, segundo LeCun, os modelos do futuro também precisarão entender o mundo real por meio da física.
São esses chamados “modelos de mundo” que o pesquisador espera desenvolver em sua nova empresa, a Advanced Machine Intelligence (AMI). Ele vai atuar como chairman executivo, o que lhe permitirá dedicar boa parte do tempo à pesquisa. Alex LeBrun, CEO da startup francesa de IA para saúde Nabla, assumirá como CEO da AMI.
“Sou um cientista, um visionário… consigo inspirar pessoas a trabalhar em coisas interessantes”, disse LeCun ao "Financial Times". “Sou muito bom em prever que tipo de tecnologia vai funcionar ou não.”
