Meta conseguirá passar a frente na corrida da IA com seu modelo Llama 3.1?
Novo modelo pode levar a um assistente de inteligência artificial capaz de competir diretamente com o ChatGPT
A Meta lançou uma nova série de modelos de linguagem natural de código aberto chamada Llama 3.1. O maior deles tem o potencial de criar chatbots que podem competir diretamente com o ChatGPT. O CEO da empresa, Mark Zuckerberg, acredita que o assistente de IA baseado no Llama será mais utilizado do que o bot da OpenAI até o final deste ano.
O Llama 3.1 é, na verdade, uma pequena família de modelos: Llama 3.1 405B, 70B e 8B. Estes números indicam a quantidade de parâmetros – pontos de conexão semelhantes a neurônios onde cálculos são feitos e pesos são aplicados.
O modelo 405B foi treinado com um volume imenso de dados – 15 trilhões de tokens, que representam palavras ou partes de palavras. Esses tokens vêm de dados extraídos da internet até 2024. Modelos anteriores tinham limitações de atualização devido a datas de corte, muitas vezes de anos atrás.
Para treiná-lo, foram utilizadas 16 mil unidades de processamento gráfico H100, da Nvidia. Modelos de ponta são treinados processando grandes quantidade de texto e imagens extraídos da web, licenciados ou gerados sinteticamente.
Os novos modelos também têm a capacidade de acessar outras fontes (via APIs) para ferramentas e ampliação de conhecimento, como informações atualizadas, fundamentos matemáticos e codificação. Os desenvolvedores podem baixá-los diretamente da Meta ou da Hugging Face ou acessá-los através de grandes serviços de nuvem, como AWS, Azure e Databricks.
A empresa descreve a versão 405B como “o maior e mais capaz modelo fundacional disponível publicamente no mundo”. Também afirma que ele supera o GPT-4 e GPT-4o, da OpenAI, além do Claude 3.5 Sonnet, da Anthropic, em testes de benchmark comuns, e “é competitivo” em uma variedade de tarefas.
Os novos modelos são baseados apenas em texto, não são multimodais. Mas Zuckerberg mencionou em um vídeo no Instagram que a Meta está trabalhando em modelos de próxima geração para suportar recursos multimodais, como a função “Imagine”, que cria imagens com base em uma foto de uma pessoa e um prompt (por exemplo, “imagine-me jogando futebol”).
A visão é de que a Meta é, antes de tudo, uma empresa de mídia social que ganha dinheiro vendendo anúncios em feeds.
Também afirmou que a empresa está desenvolvendo tecnologia para permitir que os usuários criem seus próprios aplicativos de IA e os compartilhem nas plataformas sociais da Meta.
Nos últimos anos, com o aumento dos investimentos em inteligência artificial, as empresas passaram a manter em segredo como seus modelos são desenvolvidos e como funcionam.
A Meta afirma que está disponibilizando publicamente os pesos do Llama 3.1 através da Hugging Face e de um grupo de parceiros tecnológicos (incluindo a Nvidia), além de novas ferramentas de segurança para garantir que não seja usado para fins prejudiciais.
Os defensores do código aberto acreditam que a IA pode evoluir mais rapidamente e se tornar mais segura se as empresas desenvolverem a tecnologia de forma mais aberta. A Meta sempre promoveu seu compromisso com o código aberto, mas muitos desenvolvedores notaram que a empresa é transparente apenas sobre alguns aspectos dos seus modelos.
“A Meta está seguindo o padrão da indústria de ‘open-washing’ [tentar transmitir uma imagem de que defende o desenvolvimento de tecnologias de código aberto] em inteligência artificial”, argumenta Nathan Lambert, especialista em aprendizado de máquina do Allen Institute for AI.
Os novos modelos são baseados apenas em texto, não são multimodais.
Lambert aponta que a definição de código aberto da empresa difere das principais definições atualmente debatidas por grupos de trabalho institucionais (dos quais a Meta também participa).
Apesar disso, o analista da Gartner Arun Chandrasekaran acredita que o Llama 3.1 terá um impacto real tanto para empresas quanto para consumidores. “Será um modelo muito útil para um grande número de clientes empresariais e podemos esperar que a Meta promova os recursos de IA de forma mais agressiva em seus produtos de consumo”, diz ele.
A visão geral é de que a Meta é, antes de tudo, uma empresa de mídia social muito rica que ganha dinheiro vendendo anúncios em feeds.
A Meta montou uma equipe impressionante de pesquisadores muito bem pagos, capazes de desenvolver modelos que ajudam em partes importantes de seu negócio, como moderação de conteúdo.
Mas também poderia fomentar o crescente ecossistema de IA com suas ferramentas e modelos gratuitos, o que poderia trazer benefícios tanto em termos de influência quanto de receita no futuro.
