Como alcançar 44% no ARC-AGI-1 gastando apenas 67 centavos

O benchmark ARC-AGI (Abstraction and Reasoning Corpus) é conhecido como um dos testes mais desafiadores para sistemas de inteligência artificial, focando em raciocínio abstrato e generalização — capacidades que vão além da simples memorização de padrões. Recentemente, um desenvolvedor demonstrou que é possível alcançar resultados surpreendentes nesse benchmark gastando menos de um dólar.

Em um post técnico publicado em seu blog, o desenvolvedor detalha como conseguiu 44% de acerto no ARC-AGI-1 com um custo total de apenas 67 centavos de dólar. O mais impressionante não é apenas o custo baixíssimo, mas a abordagem metódica de otimização que tornou isso possível.

A arquitetura da solução

A implementação utiliza uma combinação de técnicas de engenharia de prompts e estratégias de inferência otimizadas. O sistema não depende de fine-tuning de modelos — uma abordagem cara e demorada — mas sim de prompt engineering cuidadosamente elaborado para maximizar o desempenho com modelos de linguagem disponíveis comercialmente.

A estratégia central envolve decomposição de problemas: em vez de tentar resolver os desafios do ARC-AGI de uma só vez, o sistema quebra cada tarefa em sub-problemas menores e mais gerenciáveis. Essa decomposição permite que o modelo de linguagem analise padrões visuais abstratos de forma mais eficaz, identificando transformações e regras subjacentes em etapas.

Otimização de custos sem sacrificar performance

O ponto crucial dessa implementação está no equilíbrio entre custo e desempenho. Para manter os gastos em 67 centavos enquanto alcançava 44% de acerto, algumas decisões de design foram fundamentais:

Seleção estratégica de modelos: Não usar sempre o modelo mais potente (e caro) disponível. A implementação alterna entre modelos de diferentes capacidades dependendo da complexidade percebida de cada problema do benchmark.

Caching inteligente: Reutilização de análises intermediárias e padrões identificados em problemas similares, reduzindo o número de chamadas necessárias à API.

Limite de tentativas: Estabelecer um número máximo de iterações por problema, evitando que casos particularmente difíceis consumam todo o orçamento de tokens.

A metodologia técnica

O processo de resolução segue um pipeline estruturado. Primeiro, o sistema analisa as grades de entrada e saída dos exemplos fornecidos, buscando identificar padrões visuais e transformações. Essa análise inicial é crítica: quanto melhor a representação do problema, mais eficiente será a geração da solução.

Em seguida, o sistema formula hipóteses sobre a regra de transformação que governa cada desafio. Essas hipóteses são testadas contra os exemplos de treino disponíveis. A validação acontece internamente, sem necessidade de múltiplas chamadas à API — mais uma otimização de custo.

Quando uma hipótese é validada com confiança suficiente, o sistema aplica a transformação identificada ao caso de teste e submete a resposta. Casos onde nenhuma hipótese atinge o limiar de confiança são tratados com uma estratégia de fallback mais conservadora.

Implicações práticas para desenvolvedores

Essa abordagem demonstra princípios importantes para quem trabalha com LLMs em cenários de custo controlado:

Nem sempre mais é melhor: Usar o modelo mais caro e potente para todas as tarefas raramente é a estratégia ótima. Distribuir o trabalho entre modelos de diferentes capacidades pode oferecer o melhor custo-benefício.

Estruturação do problema: Investir tempo em como representar e decompor o problema pode render dividendos muito maiores do que simplesmente aumentar o número de tokens ou usar modelos mais poderosos.

Validação local: Sempre que possível, implementar lógica de validação que não dependa de chamadas adicionais à API. Isso reduz custos e latência.

Medição rigorosa: Monitorar custos por operação permite identificar gargalos e otimizar onde realmente importa.

O contexto do ARC-AGI

É importante contextualizar o que representa 44% de acerto no ARC-AGI-1. Este benchmark foi especificamente projetado para avaliar raciocínio abstrato e capacidade de generalização — áreas onde sistemas de IA tradicionalmente apresentam dificuldades significativas. Diferentemente de benchmarks que testam conhecimento factual ou processamento de linguagem natural, o ARC-AGI requer que o sistema identifique padrões visuais abstratos e aplique transformações lógicas.

Alcançar 44% de acerto com menos de um dólar demonstra que abordagens bem arquitetadas podem competir com soluções muito mais caras, especialmente quando o objetivo é aprendizado, experimentação ou casos de uso onde acurácia perfeita não é mandatória.

Próximos passos e experimentação

Para desenvolvedores interessados em explorar otimizações similares, alguns caminhos valem a investigação: experimentar com diferentes estratégias de decomposição de problemas, testar caching mais agressivo de padrões intermediários, e explorar modelos locais para componentes específicos do pipeline onde a latência da API não é crítica.

A lição central aqui é que otimização real vem de entender profundamente o problema e o comportamento dos modelos, não apenas de jogar mais recursos computacionais na equação. Em um cenário onde custos de API podem escalar rapidamente, essa mentalidade de eficiência se torna cada vez mais valiosa.