~/daily/work 2026-09-26 · published 2026-11-21

Calibração do triage: 81.5 para 96.2

Um dia dedicado a calibrar o modelo pequeno que roteia cada pergunta em um assistente de IA que construo no trabalho: acurácia de caminho de 81.5 para 96.2 no dev, de 73.3 para 95.6 no holdout, com a latência inalterada.

O que o triage faz

O assistente responde perguntas sobre dados de negócio. Toda pergunta passa primeiro por um classificador pequeno e rápido com timeout de 800 ms. Ele decide o caminho: um template de relatório pré-calculado quando algum serve, ou o loop mais lento do modelo com ferramentas quando nenhum serve.

Um caminho errado é caro nas duas direções. Um template ansioso demais dá uma resposta errada com confiança. Um cauteloso demais manda uma pergunta simples para o loop lento.

Hoje rodei o código de triage de produção, com o mesmo cliente e timeout, contra dois conjuntos rotulados: dev (130 perguntas) e holdout (45). A ferramenta também reproduz offline uma varredura de limiares a partir das respostas brutas salvas, então ajustar não custa chamadas novas.

O que estava falhando

  • O classificador escolhia o template certo com 0.98 ou mais, mas ficava em dúvida sobre a rota (0.13 a 0.63) em pedidos com gíria e erros de digitação que diziam literalmente a palavra para relatório. Eles caíam no loop lento.
  • Perguntas fora de escopo pontuavam 0.84 a 0.89 na classe fora de escopo e escapavam do bloqueio de 0.9.
  • Comparações com o período anterior eram marcadas como custom, embora todo template já faça benchmark contra ele.

Mudei as instruções e os limiares do classificador contra esses três padrões. A varredura ficou plana para o limiar de rota entre 0.5 e 0.7 e para o limiar de template entre 0.3 e 0.5. Para a classe custom, 0.6 foi o ótimo.

Números

ConjuntoBuildAcur. de caminhoAcur. de rotaSem loop lentop50 / p95
dev (130)antes81.5%89.2%52.3%288 / 396 ms
dev (130)depois96.2%100%63.8%311 / 392 ms
holdout (45)antes73.3%84.4%46.7%322 / 422 ms
holdout (45)depois95.6%97.8%66.7%301 / 416 ms

A latência ficou em cerca de 300 ms de p50 e 400 ms de p95. As falhas de triage foram 0 de 175. O holdout não foi usado durante o ajuste, por isso confio mais nos 95.6 do que nos 96.2.

Com 45 itens de holdout, 95.6% são 43 acertos. O intervalo é largo (cerca de 85 a 99 com Wilson, cálculo meu), então leio o holdout como uma checagem de overfitting, não como uma taxa precisa.

O que sobrou

Nomes de produtos e categorias em texto livre, e visões derivadas como variação de preço, ainda são construídos sem adaptar. Um pedido de três formas de pagamento é adaptado embora um template o cubra, o que custa uma rodada extra mas ainda devolve a saída certa. Registrei isso no doc como erros residuais conhecidos.