Token
A unidade em que o texto é convertido para o modelo processar, e a unidade em que você paga por praticamente toda IA generativa.
O que é um token
Modelos de linguagem não leem texto. Em algum ponto do caminho, tudo que você manda precisa virar número. O token é essa conversão: a representação de texto e caracteres em identificadores numéricos que o modelo consegue processar.
Se você escreve amor, a palavra é convertida em um identificador (por exemplo 53214) que existe dentro de uma matriz gigante de vocabulário. Os modelos costumam ter entre 30 mil e 100 mil entradas de vocabulário, cada uma associada a um token.
O caminho completo é sempre este:
- Entrada (texto, imagem, PDF, áudio)
- Conversão em tokens
- Processamento estatístico pelo modelo
- Tokens de saída
- Conversão de volta para o formato que você lê
Por que isso importa para o seu bolso
Toda assinatura e toda API são cobradas por quantidade de token. A cobrança é dividida em quatro linhas:
| Linha | O que é |
|---|---|
| Input | Tokens que você manda |
| Cache de escrita | Gravar contexto em cache |
| Cache de leitura | Reaproveitar o que já está em cache, bem mais barato |
| Output | Tudo que o modelo devolve |
O output custa muito mais caro que o input, tipicamente cerca de 5 vezes mais. Num modelo de fronteira, se a entrada custa 4 dólares por milhão de tokens, a saída pode custar 20.
Detalhes que mudam a conta
- Maiúscula e minúscula geram identificadores diferentes.
Amoreamornão são o mesmo token. - Espaço em branco e pontuação também contam. Um espaço antes da palavra muda o identificador.
- A regra prática mais usada é que aproximadamente 4 caracteres equivalem a 1 token em inglês. Em português a mesma ideia costuma consumir mais tokens, porque a tokenização foi otimizada para o inglês.
- Cada família de modelo tokeniza de um jeito. O processamento vem sendo otimizado, e versões novas tendem a usar menos tokens para a mesma frase.
A consequência prática é direta: aquela gentileza exagerada com a IA, o “oi, por favor, se não for incômodo”, custa dinheiro de verdade. A comunicação precisa ser concisa, precisa e contextualizada.