Módulo 2: Tokens, contexto e memória

Computador não lê texto

Você já ouviu que computador só entende zero e um. Se é assim, como ele interpreta tudo aquilo que a gente manda? A resposta honesta é: ele não interpreta. As LLMs não entendem texto. Em algum momento do caminho é preciso converter.

Essa conversão é o token: a representação de texto e caracteres em números. Quem passa pelo modelo são esses números, e só depois vem a saída.

Se você escreve a palavra amor, ela é convertida em um identificador, digamos 53214. Esse número vive dentro do modelo, numa matriz gigante que funciona como uma tabela enorme de vocabulário. Os modelos costumam ter entre 30 e 100 mil entradas de vocabulário, cada uma associada a um token.

E aqui está o detalhe que muda o seu jeito de escrever prompt: o modelo diferencia caracteres. Amor com A maiúsculo tem identificador diferente de amor minúsculo. Um espaço antes da palavra muda o identificador. Um ponto final muda. Uma exclamação muda.

Isso importa porque é por token que você paga, todo dia. Toda assinatura é baseada em quantidade de token.

Vendo isso acontecer

O Tokenizer da OpenAI mostra a conversão na prática. Você cola uma frase e ele te mostra em quantos blocos ela foi partida, com cada bloquinho colorido representando um token com seu próprio identificador.

Uma frase curta em português vira cerca de 20 tokens. A regra prática mais citada é que aproximadamente 4 caracteres equivalem a 1 token em inglês. Em português costuma dar mais tokens para a mesma ideia, porque a tokenização foi otimizada para o inglês.

Dá para comparar famílias de modelo na mesma ferramenta e ver que a contagem cai com o tempo: o GPT-4 usava um token a mais que a família seguinte para a mesma frase. Ou seja, o processamento vem sendo otimizado.

Pare de dar ordem, comece a dar objetivo

Uma mudança de postura que vale mais que qualquer truque de prompt: hoje não se recomenda mais ditar como a IA deve trabalhar. Você define o que você quer.

Em vez de “me construa um site usando Vite, Node.js, React e Prisma, primeiro faça isso, depois faça aquilo”, que é especificar arquitetura, você descreve funcionalidade: “quero que quando o usuário rolar o scroll por dois segundos, apareça um efeito de paralaxe”, e manda um exemplo.

Os modelos atuais são otimizados para tomar essas decisões técnicas sozinhos. Quem trava a decisão na mão costuma piorar o resultado.

Janela de contexto

O contexto, ou janela de contexto, é tudo aquilo que está dentro da sessão que você está executando agora. Pense numa gaveta com um tamanho máximo. O que cabe nessa gaveta são tokens, então a janela é medida em tokens.

Hoje as janelas variam entre 200 mil tokens (modelos intermediários) e 1 milhão (a maioria dos de fronteira).

O ponto crítico é este: a partir de mais ou menos 30% de uso da janela, o modelo começa a perder precisão. Ele começa a esquecer os primeiros tokens que ingeriu. Entre 30% e 40% a qualidade já cai de forma perceptível, mesmo em modelos com 1 milhão de contexto. Na teoria não deveria acontecer. Na prática acontece sempre.

E tem um efeito de bola de neve que quase ninguém considera: tudo que o modelo responde também entra na sua janela. O token da primeira resposta volta como token de entrada na segunda pergunta. Na quarta mensagem, ele relê tudo: as suas quatro perguntas e as três respostas dele. É por isso que fica caro, e é por isso que a janela envenena rápido.

A consequência prática é chata mas simples: limpe a sessão e não misture trabalhos diferentes na mesma conversa. Se você está mexendo na estética de um site, abre uma sessão só para a logo, resolve, fecha, e abre outra para a próxima alteração. Senão ele fica relembrando coisas que não têm nada a ver com a tarefa nova.

Memória, estado, pipeline, artefato e cache

Cinco palavras que vão aparecer o curso inteiro:

• Memória: diferente do contexto, ela precisa sobreviver de uma sessão para a outra. É o nome, a idade, o trabalho, o tom de voz do seu canal, o que não pode ser esquecido nunca. No fundo, memória é um arquivo de texto no seu computador que a IA fica consultando. Alguns programas alimentam esse arquivo automaticamente.
• Estado: o status em que você está dentro de um processo.
• Pipeline: o processo em si, as etapas até chegar num objetivo. A pipeline de um vídeo seria pesquisa de mercado, pesquisa de tema, validação de nicho, roteiro, revisão de roteiro, e assim por diante.
• Artefato: o resultado produzido, geralmente um arquivo, pela interação com a IA.
• Cache: uma espécie de segunda memória dentro da janela de contexto, que guarda tokens já processados para não precisar reconstruí-los a cada interação. Economiza token para você, e por isso mesmo as empresas cobram por ele.

A regra prática do módulo

Três frases para levar embora:

1. Não encha o contexto de lixo. Ele degrada a resposta e a qualidade de tudo que você produz.
2. Maximize memória e estado em arquivos. Mantenha arquivos atualizados com o que é fixo: quem você é, qual o tom do canal, quais as restrições do negócio.
3. Nunca dependa do contexto, porque contexto é caro e limitado.

Próximo módulo

No Módulo 3 a gente descobre por que existe um jeito de pagar por IA que quase ninguém comenta, e por que ele pode custar menos que a sua assinatura.