~/studies/work 2026-10-27 · published 2026-11-21
Intervalos de Wilson para taxas de aprovação
Por que a aproximação normal quebra em conjuntos de eval pequenos perto de 100%, o intervalo de escore de Wilson em poucas linhas, e os números: 183/188 dá 93.9 a 98.9, e 64/65 dá 91.8 a 99.7.
- evals
- statistics
- confidence-interval
- typescript
- ~/project/versatile-sh
O problema de p mais ou menos z
Um eval me dá uma taxa de aprovação: x aprovados de n itens. O intervalo dos livros-texto é p +/- z * sqrt(p(1-p)/n), o intervalo de Wald. É o que a maioria busca primeiro, e está errado exatamente onde os evals vivem: n pequeno e taxa de aprovação perto de 100%.
Dois modos de falha. Primeiro, ele pode sair do intervalo válido. Segundo, quando p é 1 o erro padrão é 0, então o intervalo colapsa num ponto e afirma certeza com um punhado de itens.
Os números abaixo vêm de um script que rodei, não da memória. Node v26.13.0 em Linux, AMD Ryzen 7 5700X, z = 1.959964. O código está no meu repositório de laboratório em paired-evals.
O intervalo de escore de Wilson
Wilson inverte o teste de escore em vez de colocar o p observado na variância. O centro é puxado para 1/2 e a largura se adapta a n. Ele nunca sai de [0, 1] e não colapsa em p = 1.
export function wilson(x: number, n: number, z = 1.959964): [number, number] {
const p = x / n;
const d = 1 + (z * z) / n;
const c = (p + (z * z) / (2 * n)) / d;
const h = (z * Math.sqrt((p * (1 - p)) / n + (z * z) / (4 * n * n))) / d;
return [c - h, c + h];
}Para referência, a versão de Wald são as mesmas três linhas sem a correção: p mais ou menos z * sqrt(p(1-p)/n). Calculei as duas com as mesmas entradas.
Os números
| Taxa de aprovação | Wilson 95% | Wald 95% |
|---|---|---|
| 172/188 | 86.6 - 94.7 | 87.5 - 95.5 |
| 183/188 | 93.9 - 98.9 | 95.0 - 99.6 |
| 64/65 | 91.8 - 99.7 | 95.5 - 101.5 |
183/188 é 97.3%. Wilson diz 93.9 a 98.9. Wald diz 95.0 a 99.6, que é mais estreito e fica mais alto: é otimista nas duas pontas.
64/65 é 98.5%. Wald dá um limite superior de 101.5%, uma taxa de aprovação que nenhum eval pode ter. Wilson dá 91.8 a 99.7. Esse limite inferior é a parte honesta: com 65 itens, não consigo descartar uma taxa real de aprovação perto de 92%.
Outro par dos meus registros: uma bateria de 52 pedidos foi de 3/52 para 50/52. Wilson dá 2.0 a 15.6 para a primeira e 87.0 a 98.9 para a segunda. Os intervalos não se tocam, e essa é a história. Calculá-los de novo aqui reproduziu esses números registrados.
Na borda, 0/10 dá 0.0 a 27.8 e 10/10 dá 72.2 a 100.0. Dez aprovações limpas não mostram uma taxa de 99%. Mostram uma taxa acima de cerca de 72%.
Como eu uso
- Toda taxa de aprovação em um relatório carrega seu n e seu intervalo de Wilson. Um 98.5% solto não é um resultado.
- Intervalos que se sobrepõem entre dois builds não provam ausência de diferença. Os itens são os mesmos dos dois lados, então o teste pareado (veja o post do McNemar) é a ferramenta certa para a comparação. O intervalo serve para o nível absoluto.
- Leio o limite inferior como o número que consigo defender. 64/65 é um bom resultado e uma afirmação fraca sobre 98.5%.
- Clopper-Pearson é a alternativa exata. É conservador (mais largo) e serve se você prefere nunca subcobrir. Uso Wilson porque é curto e a cobertura dele é próxima da nominal.
Limite: Wilson assume que os itens são amostras independentes. Itens de eval gerados a partir de templates, ou vários pedidos sobre o mesmo item do cardápio, são correlacionados, e a incerteza real é maior do que o intervalo diz. Por isso anoto o gerador e a seed ao lado do intervalo.