Inferência
A etapa em que o modelo já treinado gera uma resposta. É o que você usa todo dia, e é bem diferente do treinamento em custo, tempo e hardware.
Treinamento e inferência não são a mesma coisa
Um modelo de IA tem duas etapas bem distintas, e confundir as duas leva a conclusões erradas sobre custo e sobre impacto ambiental.
Treinamento é a construção do modelo. Inferência é o uso dele.
| Treinamento | Inferência | |
|---|---|---|
| Tempo | Semanas, meses, às vezes anos | Segundos ou minutos |
| Hardware | Supercomputadores e clusters na faixa de milhões de reais | Seu PC, seu celular ou a nuvem da empresa |
| Dados | Bilhões de dados, terabytes e petabytes | O tamanho do arquivo que você mandou ou recebeu |
| Controle | Em constante mudança, gera as versões novas | Modelo fixo, congelado até sair a próxima versão |
O que isso esclarece
Sobre meio ambiente: a crítica de que a IA consome muita energia e muita água se refere ao treinamento, não ao seu uso diário. Um cluster são centenas ou milhares de computadores ligados 24 horas por dia.
Sobre acessibilidade: a inferência está cada vez mais barata. Um computador de três a cinco mil reais roda modelos tranquilamente, e você pode baixar um modelo aberto e rodar localmente sem depender da infraestrutura de ninguém.
Sobre defasagem: o modelo que você usa agora está parado no tempo. Foi esse limite que fez a Perplexity nascer, para pesquisar na web em tempo real. Hoje quase toda LLM já faz busca em paralelo, mas o modelo em si continua congelado até a próxima versão.
Definição formal
Um modelo é um motor de inferência estatística: um programa treinado com uma quantidade enorme de dados para prever qual é a próxima resposta mais provável, com base nos padrões que identificou. Ele aprende só com o passado. Não gera conhecimento novo, não raciocina e não tem vontade própria.