~/studies/work 2026-11-21
Evals que decidem
Como construo evals para um assistente de IA de modo que possam resolver a pergunta de lançar ou não: execuções pareadas com seed, checks determinísticos antes de qualquer LLM judge, erros de infra fora da taxa de acerto e canaries de vazamento de prompt.
- evals
- llm
- testing
- assistant
- ~/project/versatile-sh
Um eval precisa poder dizer não
Construo um assistente de IA no trabalho: um assistente conversacional que responde perguntas e executa ações sobre dados de negócio. A maioria das mudanças que faço nele é pequena e parece boa numa demo. Uma demo não me diz se a mudança ajudou, então quero um eval cujo resultado decida.
Quatro hábitos tornam isso possível. Este post é sobre eles, com números dos meus próprios registros de mudanças. Onde algo é convenção minha e não resultado medido, eu digo.
Um baseline e um candidate pareados e com seed
Os itens vêm de um gerador com uma seed registrada, de modo que outra pessoa pode regenerar o mesmo conjunto. Os mesmos itens passam pela build baseline e pela candidate, com o mesmo provedor fixado e sem fallbacks, ao mesmo tempo. Um fallback que dispara em só um braço é uma diferença escondida.
Leio o resultado como uma tabela 2x2 e testo os itens discordantes com um teste exato de McNemar (veja o post sobre ele). Dois exemplos reais dos registros, cada um com 52 itens:
| Seed | Baseline | Candidate | Corrigidos / quebrados | p exato |
|---|---|---|---|---|
| 7101 | 3/52 | 50/52 | 47 / 0 | 1.4e-14 |
| 7202 (fresh) | 2/52 | 48/52 | 46 / 0 | 2.8e-14 |
A segunda linha é a que mais importa. Uma seed nova depois que a mudança foi ajustada protege contra ter se ajustado ao primeiro conjunto. Um resultado nulo é registrado do mesmo jeito: uma execução de 42 itens de comparação foi de 5 para 6 corretos, 2 corrigidos e 1 quebrado, p = 1.0. O registro diz o que diz: nenhuma evidência de ganho.
Checks determinísticos antes de um judge
Tudo que um programa pode verificar, um programa verifica. Todo número da resposta aparece nos dados que a tool devolveu? Existe uma lista com marcadores cujo tamanho contradiz a contagem anunciada logo antes? A resposta contém dados de pagamento quando não deve? São operações de strings e conjuntos, são de graça e dão a mesma resposta duas vezes.
Um judge baseado em modelo cuida do que sobra: a resposta está certa, é útil, o período está correto. Uso dois graders cegos que não sabem qual braço produziu uma transcrição, e um terceiro para os desacordos. Reporto a concordância como kappa. Em uma execução foi 0.56, baixo o bastante para que eu fizesse o terceiro grader ler todos os itens, e não só os disputados.
Quando considerei um judge baseado em modelo como guard em runtime contra o vazamento do system prompt, rejeitei por dois motivos registrados na decisão: ele não é determinístico e é pago a cada turno. Um check de fingerprints foi ajustado com 146 respostas reais do assistente e 130 respostas reais de chat, e nenhuma o disparou.
Erros de infra não são falhas
Um timeout do provedor do modelo, uma consulta não autorizada vinda de um fixture, um harness que esqueceu um store: nada disso diz nada sobre a mudança. Se contam como falhas, a taxa de acerto mede a minha bancada de testes.
Meus registros têm um caso concreto. Descobriu-se depois que duas execuções de comparação foram feitas com um probe harness sem um draft store, então cada ask pulava o caminho sob teste e ia para o planner mais lento. A nota entrou no registro com a data e a hora da correção. Em outra execução, 3 de 15 erros eram permissões do fixture, não comportamento, e o registro diz isso.
Minha convenção, não um resultado medido: um item cuja execução terminou em erro de infra é excluído da taxa de acerto e listado à parte com a sua contagem. Se essa contagem é grande, a execução não é um resultado e eu a refaço.
A exclusão tem um custo. Se o candidate causa mais timeouts, descartá-los o favorece. Reporto a contagem de excluídos por braço, e uma diferença nessa contagem já é um achado.
Canaries de vazamento de prompt
Dizer a um modelo para nunca revelar seu prompt não é um controle: uma mensagem injetada pode sobrescrevê-lo. Então o check fica na borda de saída e é determinístico.
Uma parte é um canary: um prefixo fixo mais 16 dígitos hex aleatórios, gerado uma vez por processo e adicionado à entrada do modelo como uma linha de sistema extra. Se esse token aparecer em alguma saída, o prompt vazou. A outra parte é um conjunto de fingerprints de 5 palavras do texto estático do prompt. Uma mensagem é sinalizada pelo canary, ou por 3 acertos de fingerprint sem sobreposição.
O guard sai em modo observe por padrão: registra e não bloqueia, para que eu possa ler falsos positivos em tráfego real antes de ligar o bloqueio. A linha do canary só entra no prompt no modo block, porque tudo que muda o que o modelo vê sai desligado por padrão.
- Lacuna conhecida, do registro: um vazamento de menos de 15 palavras do prompt que não carrega canary passa.
- Lacuna conhecida: uma paráfrase que não compartilha nenhuma sequência de 5 palavras com o prompt passa.
- Ainda não feito: o canary não está ligado ao meu runner de evals, então hoje ele protege o tráfego, não os benchmarks.