O GitHub publicou os números do Project HydraFusion, e eles são mais específicos do que “custo significativamente menor”. Em três benchmarks diferentes, a orquestração multi-modelo cortou custo entre 36% e 67% comparado a rodar tudo direto no Claude Opus 5 — com qualidade que, dependendo do benchmark, ficou acima, igual ou levemente abaixo do modelo frontier sozinho.
Os números por benchmark
No TerminalBench 2.1, o HydraFusion reduziu custo em 67% e ainda ficou 4,9 pontos percentuais acima do Opus 5 em qualidade — o melhor resultado dos três. No DeepSWE, a economia foi de 36%, com qualidade 1,5 ponto percentual abaixo do Opus 5 puro. No CheckpointBench — benchmark interno do GitHub, construído a partir de sessões reais de uso do Copilot, não de tarefas sintéticas — a redução de custo foi de 65%, com qualidade praticamente empatada (-0,1 ponto percentual).
O padrão que aparece nos três casos: o HydraFusion não vence o modelo frontier isolado em toda métrica, mas fica perto o bastante enquanto custa uma fração do preço. No pior caso (DeepSWE), ainda assim é 36% mais barato perdendo pouco mais de um ponto percentual de qualidade — troca que faz sentido pra maioria dos casos de uso do dia a dia de um editor de código.
Três jeitos de rotear, não um só
O sistema não é um roteador binário de “modelo pequeno ou modelo grande”. O GitHub descreve três padrões de execução: Single, onde um modelo resolve a tarefa diretamente sem escalar; Cascade, onde um modelo mais eficiente tenta primeiro e só escala pra um modelo maior se necessário; e Critique, onde um modelo gera o rascunho, um segundo modelo independente revisa criticamente, e o primeiro ajusta a resposta uma vez com base nessa crítica. A escolha de qual padrão usar, como a escolha de modelo, acontece de forma automática com base nas características da tarefa.
O padrão Critique em particular é o mais caro dos três (envolve rodar pelo menos dois modelos por solicitação), e por isso deve ficar reservado pra tarefas onde o custo de um erro é alto o bastante pra justificar a revisão cruzada — não pra completar um import ou sugerir nome de variável.
Quem está usando e o que diz
Um Principal Software Engineer da Microsoft, citado no post oficial, resumiu a experiência interna: a capacidade de raciocínio e resolução de tarefas do HydraFusion está “no nível do Opus ou melhor” em uso real. O ecossistema por trás do roteamento inclui mais de 20 modelos disponíveis no Copilot, incluindo Claude Opus 5 e GPT-5.6 Sol entre as opções que o sistema pode escolher dependendo da tarefa.
Por que isso importa pra quem constrói com múltiplos modelos
O caso do HydraFusion é um argumento de peso a favor de orquestração em vez de fixar um único modelo frontier pra tudo — mas os números também mostram onde a técnica tem limite. Em DeepSWE (a métrica mais difícil das três, focada em engenharia de software real), a perda de qualidade de 1,5 ponto percentual, mesmo pequena, é o tipo de coisa que importa em tarefa complexa de refatoração. A decisão de quando vale a troca depende do quanto uma perda de qualidade marginal é aceitável frente à economia de custo — e isso varia por caso de uso, não é uma resposta universal.
