A forma como humanos e inteligência artificial (IA) processam informações é distinta. Enquanto você, como ser humano, lê palavras utilizando o vocabulário que possui na mente, a IA interpreta dados através de elementos chamados tokens, que são representações numéricas.
Os tokens funcionam como a linguagem compreendida por grandes modelos de linguagem (LLMs, do inglês), tais como ChatGPT, Claude e Gemini. A transformação da linguagem falada para um formato que a máquina consiga entender ocorre por meio de um processo chamado tokenização. Para que a IA possa se comunicar em termos compreensíveis para você, realiza-se a destokenização.
Esse mecanismo é fundamental para entender os custos das assinaturas nas plataformas. O processamento desses “bloquinhos” demanda energia e capacidade computacional. Assim, as empresas calculam os custos com base na quantidade de tokens usados tanto nas perguntas quanto nas respostas fornecidas pela IA, o que também influencia os limites de “memória” de cada modelo e as tarifas cobradas pelo seu uso.
O que é token e qual seu funcionamento na IA
Para que a IA compreenda sua comunicação (seja um comando ou um prompt), é necessário segmentar o que foi enviado (texto, áudio ou imagem) em partes menores: os tokens. “Um token pode ser visto como uma subpalavra”, esclarece Fabrício Carraro, Program Manager da Alura. “Por exemplo: ‘feliz’ é um token, ‘triste’ também é um token, assim como ‘divisível’.”
Mas por que usar o termo subpalavra?
No caso de termos como ‘indivisível’ ou ‘infeliz’, temos o token ‘in’. Este token ‘in’ corresponde ao número 357 dentro do vocabulário total do modelo. Já ‘feliz’ seria o token 352. Juntos – ‘in’ e ‘feliz’ – formam a palavra ‘infeliz’.
Fabrício Carraro, Program Manager da Alura
No núcleo do funcionamento da IA (o LLM), a máquina recebe uma sequência de bloquinhos numéricos (seu prompt) e executa cálculos complexos para prever quais serão os bloquinhos de saída (respostas geradas pela IA).
O papel do ‘gerente invisível’ da IA
Quando você interage com o ChatGPT, não está diretamente se comunicando com o motor de processamento; você está utilizando uma camada de software conhecida como harness. Essa camada atua como arreios que guiam o cavalo (o LLM) em suas tarefas.
Em essência: quando você envia uma mensagem à IA, é o harness que regula todo o processo de tokenização e destokenização. Ele organiza a lógica antes da resposta ser gerada pela máquina.
“O harness pega sua pergunta e desdobra em possíveis questionamentos que poderiam responder ao seu prompt”, detalha Carraro.
“Ao invés de fornecer uma resposta imediata, ele formula várias perguntas menores e divide essas questões em subproblemas, respondendo discretamente cada um deles antes de apresentar a resposta final”, explica o especialista. “Esse raciocínio complexo consome tokens.”
Outro aspecto importante durante suas interações com a IA é a janela de contexto, intimamente ligada aos tokens.
Pense na janela de contexto como uma mesa onde você organiza suas informações – ela representa a “memória de curto prazo” da IA. Os tokens funcionam como folhas espalhadas sobre essa mesa.
Tecnologicamente falando: a janela de contexto estabelece o número máximo de tokens (soma dos prompts recebidos e das respostas emitidas pela IA) que podem ser processados simultaneamente. Se sua conversa se mantiver dentro desse limite, a IA consegue recordar tudo discutido previamente ao responder. Caso contrário, algumas informações podem ser perdidas durante o diálogo.
Por que os tokens não são considerados moeda da IA
Embora os tokens estejam atrelados ao custo das assinaturas em serviços de IA, como os planos Go do ChatGPT e Plus do Gemini, eles não são classificados como moeda propriamente dita. Eles são levados em conta no momento da definição dos preços – seja para assinaturas ou créditos (que atuam como moedas nas plataformas).
Os tokens representam uma unidade fundamental para mensurar o processamento dos dados. Funcionam como “blocos construtores” utilizados pela máquina para interpretar as informações enviadas pelos usuários. Em última análise, os tokens servem como um indicador do consumo; as empresas avaliam o volume total de tokens inseridos (prompts) e retirados (respostas) para medir esforços computacionais e custos operacionais.
A partir dessa análise abrangente, estipulam-se os preços das assinaturas e créditos oferecidos aos usuários. No caso do Claude Fable 5, por exemplo, a Anthropic cobra US$ 10 (cerca de R$ 51) por milhão de tokens ingressantes e US$ 50 (aproximadamente R$ 257) por milhão dos saídos.
“Um milhão de tokens pode parecer muito à primeira vista, mas isso se esgota rapidamente”, alerta Carraro. “Para resolver problemas relacionados à programação, esse volume pode ser consumido em apenas dois ou três prompts, dependendo da complexidade.”
“Para questões menores é bastante coisa; contudo, quando lidamos com bases maiores de código com as quais trabalhamos frequentemente isso não representa tanto”, complementa ele. “Esses US$ 50 desaparecem rapidamente.”
(Esta matéria também incorporou informações provenientes do Google, Nvidia e OpenAI.)
