Janela de Contexto
O limite de tokens que uma sessão comporta, e o ponto a partir do qual o modelo começa a perder precisão mesmo tendo espaço sobrando.
O que é
A janela de contexto é tudo aquilo que está dentro da sessão que você está executando agora. Pense numa gaveta com tamanho máximo. O que cabe nessa gaveta são tokens, então a janela é medida em tokens.
Hoje as janelas variam entre 200 mil tokens (modelos intermediários) e 1 milhão (a maioria dos modelos de fronteira).
O ponto crítico dos 30%
Aqui está a informação que a maioria das pessoas não conhece e que explica muita frustração:
A partir de aproximadamente 30% de uso da janela, o modelo começa a perder precisão. Entre 30% e 40% a queda já é perceptível.
Ele começa a esquecer os primeiros tokens que ingeriu. Você manda tanta informação que ele perde o que foi definido lá atrás, mesmo com 1 milhão de tokens disponíveis. Na teoria não deveria acontecer. Na prática acontece sempre.
O efeito bola de neve
Existe um agravante que quase ninguém calcula: tudo que o modelo responde também entra na janela.
O token da primeira resposta volta como token de entrada na segunda pergunta. Na quarta mensagem, ele relê as suas quatro perguntas e as três respostas dele. É por isso que fica caro e é por isso que a janela envenena rápido.
A regra prática
- Limpe a sessão com frequência.
- Não misture trabalhos diferentes na mesma conversa. Se está mexendo na logo de um site, abre uma sessão só para a logo, resolve, fecha, abre outra para a próxima tarefa.
- Maximize memória e estado em arquivos, não na conversa. Contexto é caro e limitado.
É justamente para resolver isso que existem skills e a separação em subagentes, já que cada agente tem a própria janela.