Por que você não deve pedir um score de confiança a um LLM

Num texto de 27 de julho, Justin Flick argumenta que pedir a um modelo uma nota de confiança não serve para nada. O post “Why I Hate LLM Confidence Scores” chama essas notas de truques de segurança psicológica: dão sensação de confiabilidade sem entregar confiabilidade.

Os argumentos

Primeiro, o estado interno do modelo. Flick reconhece que a pesquisa da Anthropic sobre estados latentes é interessante, mas lembra que os próprios pesquisadores descrevem essa capacidade como altamente não confiável e dependente de contexto. E, se a confiança precisa ser avaliada, quem avalia a nota?

Segundo, a palavra “confiança” é vaga: confiança de que está correto, coerente ou concluído são coisas diferentes, e o número junta tudo. Terceiro, a incerteza não é uniforme. Alguns tokens são estrutura quase certa e outros carregam o fato. Reduzir isso a uma nota única “não é uma medição, é um palpite”, escreve ele. Quarto, a probabilidade bruta de tokens mistura “eu poderia ter dito de outro jeito” com “eu não sei”. A entropia semântica, de Farquhar e outros, funciona justamente porque exige várias amostras e comparação externa.

A evidência que ele cita

Do lado crítico: o artigo da DeepMind de 2023 mostrando que modelos ainda não se autocorrigem no raciocínio, a avaliação de Xiong e outros achando as notas verbalizadas muito exageradas, e um artigo de 2025 em que 78% das respostas se agrupam em números redondos, com um modelo respondendo 100 em 68% dos casos.

Do lado favorável, ele admite: Lin e outros mostram confiança verbal calibrada com ajuste fino, e Tian e outros reduziram o erro de calibração em mais da metade com o prompt certo mais ajuste de temperatura. Mas todos exigem ajuste fino, prompts específicos, formatos restritos ou escala posterior, nada disponível “de fábrica”.

O que ele sugere no lugar

Rótulos categóricos de um conjunto pequeno e bem definido, em vez de escala de 0 a 100. Classificadores de aprendizado de máquina clássicos para produção séria, usando o LLM para gerar dados de treino. Esforço em qualidade de recuperação, já que o problema real costuma ser busca e escolha de fontes. E, se o modelo detecta um erro, que corrija em vez de marcar com uma nota.

O que o autor não fez

Flick não testou modelos por conta própria e não apresenta resultados numéricos de experimentos dele. Ele admite que pode estar errado, que a reflexão ajuda a pegar alguns erros e que LLMs funcionam como classificadores ad hoc razoáveis. Também não indica quando uma nota de confiança seria aceitável em casos de baixo risco. É uma opinião fundamentada em literatura, e a leitura ganha mais valor se você a trata assim.

Leia também: Na minha visão, a saída é avaliar o modelo de forma sistemática, como no ciclo de avaliação de LLMs do GitHub. E vale desconfiar de ajuste fino de parâmetro também: o Google recomenda não mexer em temperature, top_p e top_k no Gemini 3.

No fundo, pedir um score de confiança é tratar o modelo como se ele soubesse o que sabe. Eu explico por que isso não acontece em A Ilusão da Mente.