~/studies/work 2026-10-27 · published 2026-11-21

Intervalos de Wilson para taxas de aprovação

Por que a aproximação normal quebra em conjuntos de eval pequenos perto de 100%, o intervalo de escore de Wilson em poucas linhas, e os números: 183/188 dá 93.9 a 98.9, e 64/65 dá 91.8 a 99.7.

O problema de p mais ou menos z

Um eval me dá uma taxa de aprovação: x aprovados de n itens. O intervalo dos livros-texto é p +/- z * sqrt(p(1-p)/n), o intervalo de Wald. É o que a maioria busca primeiro, e está errado exatamente onde os evals vivem: n pequeno e taxa de aprovação perto de 100%.

Dois modos de falha. Primeiro, ele pode sair do intervalo válido. Segundo, quando p é 1 o erro padrão é 0, então o intervalo colapsa num ponto e afirma certeza com um punhado de itens.

Os números abaixo vêm de um script que rodei, não da memória. Node v26.13.0 em Linux, AMD Ryzen 7 5700X, z = 1.959964. O código está no meu repositório de laboratório em paired-evals.

O intervalo de escore de Wilson

Wilson inverte o teste de escore em vez de colocar o p observado na variância. O centro é puxado para 1/2 e a largura se adapta a n. Ele nunca sai de [0, 1] e não colapsa em p = 1.

Intervalo de 95% para x aprovados em n itens. Multiplique por 100 para obter porcentagem.ts
export function wilson(x: number, n: number, z = 1.959964): [number, number] {
  const p = x / n;
  const d = 1 + (z * z) / n;
  const c = (p + (z * z) / (2 * n)) / d;
  const h = (z * Math.sqrt((p * (1 - p)) / n + (z * z) / (4 * n * n))) / d;
  return [c - h, c + h];
}

Para referência, a versão de Wald são as mesmas três linhas sem a correção: p mais ou menos z * sqrt(p(1-p)/n). Calculei as duas com as mesmas entradas.

Os números

Taxa de aprovaçãoWilson 95%Wald 95%
172/18886.6 - 94.787.5 - 95.5
183/18893.9 - 98.995.0 - 99.6
64/6591.8 - 99.795.5 - 101.5

183/188 é 97.3%. Wilson diz 93.9 a 98.9. Wald diz 95.0 a 99.6, que é mais estreito e fica mais alto: é otimista nas duas pontas.

64/65 é 98.5%. Wald dá um limite superior de 101.5%, uma taxa de aprovação que nenhum eval pode ter. Wilson dá 91.8 a 99.7. Esse limite inferior é a parte honesta: com 65 itens, não consigo descartar uma taxa real de aprovação perto de 92%.

Outro par dos meus registros: uma bateria de 52 pedidos foi de 3/52 para 50/52. Wilson dá 2.0 a 15.6 para a primeira e 87.0 a 98.9 para a segunda. Os intervalos não se tocam, e essa é a história. Calculá-los de novo aqui reproduziu esses números registrados.

Na borda, 0/10 dá 0.0 a 27.8 e 10/10 dá 72.2 a 100.0. Dez aprovações limpas não mostram uma taxa de 99%. Mostram uma taxa acima de cerca de 72%.

Como eu uso

  • Toda taxa de aprovação em um relatório carrega seu n e seu intervalo de Wilson. Um 98.5% solto não é um resultado.
  • Intervalos que se sobrepõem entre dois builds não provam ausência de diferença. Os itens são os mesmos dos dois lados, então o teste pareado (veja o post do McNemar) é a ferramenta certa para a comparação. O intervalo serve para o nível absoluto.
  • Leio o limite inferior como o número que consigo defender. 64/65 é um bom resultado e uma afirmação fraca sobre 98.5%.
  • Clopper-Pearson é a alternativa exata. É conservador (mais largo) e serve se você prefere nunca subcobrir. Uso Wilson porque é curto e a cobertura dele é próxima da nominal.

Limite: Wilson assume que os itens são amostras independentes. Itens de eval gerados a partir de templates, ou vários pedidos sobre o mesmo item do cardápio, são correlacionados, e a incerteza real é maior do que o intervalo diz. Por isso anoto o gerador e a seed ao lado do intervalo.