Erik Kristensen e Napalys Klicius, engenheiros do GitHub, publicaram um detalhamento de como o Copilot corta custo de inferência — e o princípio central que eles descrevem é direto: otimizar o resultado completo da tarefa, não a chamada de ferramenta isolada. Uma resposta mais concisa que força o agente a fazer uma segunda chamada pra completar o que faltou custa mais no total do que uma resposta mais longa que resolve de primeira.
Quatro técnicas, quatro números
O post detalha mudanças específicas com a redução de custo que cada uma trouxe isoladamente: remover prefixos de visualização (view prefixes) do output cortou 3,1%; um compressor seletivo de output reduziu 5,5%; compactar o prompt usado nas chamadas de ferramenta (task-tool prompt) tirou 2,9%; e reduzir round-trips de notificação — menos idas e vindas de confirmação entre agente e sistema — cortou 2,3%.
Um exemplo concreto que o post cita: remover os prefixos de número de linha do output reduziu o custo de inferência em cerca de 5% em teste offline, e cerca de 3% em produção real no Copilot CLI — a diferença entre os dois números já é um dado interessante por si só, mostrando que otimizações medidas em bancada nem sempre se sustentam inteiras em produção.
RTK e o compressor seletivo
Duas ferramentas internas têm nome próprio no post. A primeira é o RTK (Rust Token Killer), que reduz a saída de shell antes do agente processar aquele conteúdo — mas o próprio post é honesto sobre uma limitação encontrada: em certos casos, o RTK acabava causando uma “recuperação de tokens” no fim da tarefa, ou seja, o agente precisava buscar de volta informação que tinha sido cortada cedo demais.
A segunda é o compressor seletivo de output, que trabalha em três frentes ao mesmo tempo: preserva saída que parece código-fonte (sem comprimir isso, porque é exatamente o que importa manter intacto), reorganiza resultados de busca pra ficarem mais densos, e comprime seletivamente ruído repetitivo — como logs repetidos ou saída de comando verborrágica que não muda o significado do resultado.
Compactação de prompt e o efeito em cascata
Compactar o prompt de chamada de ferramenta economizou cerca de 1.300 tokens por turno de conversa — o que parece pequeno isoladamente, mas o post reporta que isso se traduziu em aproximadamente 1,8% de economia total, ou 2,9% de custo normalizado, quando multiplicado pelo volume de turnos que passam por esse caminho. Entregar trabalho em segundo plano (evitando que o usuário precise reabrir contexto pra checar status) economizou cerca de 2,3% em AI Credits.
O resultado mais expressivo do post inteiro, porém, veio de uma mudança estrutural, não de uma técnica de compressão: migrar o Copilot code review pra ferramentas compartilhadas com o resto do produto reduziu custo em aproximadamente 20% — de longe o maior número citado, e um lembrete de que consolidar infraestrutura duplicada às vezes economiza mais do que otimizar cada chamada individual de modelo.
O que fica pra quem constrói com LLM
O padrão geral dos números do GitHub é que nenhuma técnica isolada resolve sozinha — cada uma contribui uma fatia de poucos pontos percentuais, e o ganho real vem de empilhar várias ao mesmo tempo. A exceção é a mudança arquitetural (consolidar ferramentas compartilhadas), que rendeu mais que todas as otimizações de prompt somadas. Vale lembrar disso antes de gastar semanas otimizando prompt token a token: às vezes o maior ganho está em eliminar duplicação de infraestrutura, não em comprimir texto.
