A IA cobra por tokens. O problema é que ninguém sabe o que está comprando
Sistemas como ChatGPT e Claude cobram em tokens, mas poucos entendem como eles são calculados ou o que realmente compram
Mais de três anos após o início do boom da inteligência artificial, ainda estamos tentando descobrir quanto realmente vale um token de IA. Bem-vindo à era das compras estocásticas (aleatórias).
Em sua essência, os tokens são as pequenas unidades de linguagem que os sistemas de inteligência artificial processam para raciocinar (ou, pelo menos, simular raciocínio) e se comunicar com os usuários. Um token pode ser um sinal de pontuação, uma palavra ou até parte de uma palavra.
Segundo a OpenAI, em inglês um token equivale, em média, a quatro caracteres, ou cerca de três quartos de uma palavra. Seguindo esse cálculo, um parágrafo pode conter aproximadamente 100 tokens, enquanto um texto de cerca de 1,5 mil palavras soma algo próximo de 2.048 tokens.
Isso pode parecer bastante técnico, mas, para quem usa sistemas voltados ao consumidor, como Claude ou ChatGPT, e não as APIs utilizadas por desenvolvedores e grandes empresas, entender o que é um token e quanto ele realmente vale pode ser bem difícil.
Ao enviar um prompt, o usuário pode receber uma estimativa de quantos tokens aquela tarefa consumiu. O que não recebe é uma explicação clara sobre por que exatamente aquele trabalho custou aquela quantidade de tokens. O cálculo muitas vezes parece aleatório e frustrante, especialmente quando a empresa informa, de repente, que o limite de uso foi atingido.
Leia mais: Empresas correram para adotar IA. Agora tentam entender a fatura
As reclamações sobre esses limites são frequentes. Um usuário do Reddit contou que atingiu o teto de tokens e perdeu toda a nuance emocional que havia construído ao longo de uma conversa. No X, alguns usuários publicam mensagens dizendo que esgotaram rapidamente seus limites, quase como um troféu.
Mas muitos outros passaram a prestar atenção aos supostos limites de tokens e à forma como as empresas parecem restringir o uso, principalmente nos períodos de maior demanda.
AFINAL, QUANTO CUSTA UM TOKEN?
É verdade que tarefas mais complexas normalmente consomem mais tokens do que solicitações simples. Ainda assim, quanto custa um token continua sendo algo nebuloso, em parte porque cada empresa adota uma abordagem diferente para fazer essa conta.
Além disso, os modelos vão sendo personalizados com o tempo, o que pode alterar a quantidade de tokens utilizada para realizar uma mesma tarefa.
Também existem diferentes tipos de tokens. Os tokens de entrada são usados para processar e interpretar o que o usuário envia. Os tokens de saída correspondem à resposta gerada pelo modelo. Já os tokens em cache permitem que o sistema reutilize informações processadas antes, em vez de começar tudo do zero a cada solicitação.
Os próprios modelos podem apresentar estimativas diferentes para exatamente o mesmo pedido. Recentemente, um amigo e eu fizemos um experimento pedindo ao mesmo modelo da OpenAI que criasse uma linha do tempo simples da história dos Estados Unidos. A minha resposta consumiu o dobro de tokens da dele.
Um estudo publicado este ano por pesquisadores do Laboratório de Economia Digital da Universidade de Stanford mostrou que modelos de IA podem variar muito na quantidade de tokens utilizada para concluir uma mesma tarefa. Em alguns casos, a diferença chega a ser de 30 vezes.
consumidores são incentivados a adotar IA antes de entenderem bem as regras desse novo mercado.
"Esse modelo de cobrança baseado no consumo apresenta dois grandes problemas para os consumidores", diz Jiaxin Pei, pesquisador de pós-doutorado em Stanford que participou do estudo. "Não há garantia de que a tarefa será executada adequadamente. Independentemente disso, você terá de pagar o preço integral."
As estimativas de tokens ficam ainda mais confusas porque uma tarefa que exige muitos tokens para um modelo não necessariamente corresponde a uma atividade que seria trabalhosa para um ser humano.
Há outro complicador: a mesma pesquisa de Stanford aponta que os próprios modelos subestimam seu consumo de tokens. Isso significa que é difícil pedir ao sistema que informe antecipadamente quanto uma tarefa custará de fato. No máximo, é possível fazer uma estimativa aproximada.
FALTA TRANSPARÊNCIA (E NÃO SÓ NA IA)
Tudo isso levanta dúvidas sobre o momento atual da chamada maximização do uso de tokens. Sim, os tokens compram acesso a um serviço, mas os sistemas de IA são, por natureza, estocásticos – ou seja, incorporam elementos de aleatoriedade. Isso significa que o usuário nem sempre sabe exatamente o que está comprando ao gastar seus tokens.
Em vez de funcionarem como unidades de valor estáveis, os tokens são uma medida imprecisa de consumo, cuja quantidade guarda apenas uma relação parcial com a utilidade da resposta gerada pela IA.
Ainda assim, as pessoas continuam adotando ferramentas de inteligência artificial, mesmo enquanto demonstram preocupação com o poder cada vez maior acumulado pelas empresas do setor.
E os tokens estão longe de ser a única moeda de valor pouco transparente da economia moderna. Basta pensar em horas faturáveis por consultorias ou em programas de milhas aéreas.
Ainda assim, a confusão em torno dos tokens reflete uma percepção mais ampla: consumidores estão sendo incentivados a adotar a inteligência artificial antes mesmo de compreenderem plenamente as regras desse novo mercado.
Não é de surpreender que tanta gente esteja irritada.
