~/studies/work 2026-10-27 · published 2026-11-21
McNemar para evals pareados
Por qué un eval de antes y después sobre los mismos ítems necesita un test pareado, el test exacto de McNemar de dos colas en una docena de líneas y un ejemplo resuelto: de 172 a 183 correctos de 188, 15 arreglados, 4 rotos, p = 0.019.
- evals
- statistics
- mcnemar
- typescript
- ~/project/versatile-sh
Por qué la comparación es pareada
Cuando cambio un prompt o un router en un asistente de IA, paso el mismo conjunto fijo de ítems por la build vieja y por la nueva. Cada ítem tiene entonces dos resultados: aprobar o fallar en el baseline, aprobar o fallar en el candidate. Eso es un diseño pareado, y el test habitual de dos proporciones lo ignora.
Un test de dos proporciones trata 172/188 y 183/188 como dos muestras independientes. No lo son. Los mismos 188 ítems están en ambos lados, y la mayoría se comporta igual en ambas builds. Esa dificultad compartida es varianza que el test no pareado cuenta como ruido, así que es menos sensible de lo necesario.
La vista pareada descarta la parte compartida. Los ítems que pasan en ambas builds, o fallan en ambas, no dicen nada sobre cuál build es mejor. Solo los ítems que cambiaron de lado llevan información.
La tabla 2x2 y el test
Cuenta los ítems por su par de resultados. Dos celdas son las discordantes: fixed (falló en baseline, pasa en candidate) y broken (lo contrario).
| candidate pasa | candidate falla | |
|---|---|---|
| baseline pasa | 168 (ambos pasan) | 4 (broken) |
| baseline falla | 15 (fixed) | 1 (ambos fallan) |
Bajo la hipótesis nula de que las dos builds son igual de buenas, cada ítem discordante tiene la misma probabilidad de caer en cualquiera de las dos celdas. Así que con n = fixed + broken ítems discordantes, el número de arreglados es Binomial(n, 1/2). El valor p exacto de dos colas es el doble de la cola menor, con tope en 1.
No hace falta la aproximación chi-cuadrado, y aquí no es prudente: con 19 ítems discordantes la aproximación tiene poco en qué apoyarse. La versión exacta es barata.
Los conteos de ambos-pasan y ambos-fallan de la tabla se deducen de los totales. 172 + 15 - 4 = 183 pasan en el candidate, y el ítem 188 - 172 - 15 = 1 que falla en ambas builds es el resto.
La función
El bucle de abajo recorre la pmf binomial hacia arriba con la razón term(i+1) = term(i) * (n - i) / (i + 1), empezando en 0.5^n. Acumula la cola inferior hasta min(b, c) y la duplica.
export function mcnemarExact(b: number, c: number): number {
const n = b + c;
if (n === 0) return 1;
const k = Math.min(b, c);
let term = 0.5 ** n;
let cdf = 0;
for (let i = 0; i <= k; i++) {
cdf += term;
term = (term * (n - i)) / (i + 1);
}
return Math.min(1, 2 * cdf);
}Límite: 0.5^n hace underflow a cero cuando n pasa de unos 1,070 ítems discordantes, y el bucle devolvería 0. Los conjuntos de eval que ejecuto están muy por debajo. Si los tuyos no, trabaja en espacio logarítmico.
Lo ejecuté en esta máquina (AMD Ryzen 7 5700X, Linux, Node v26.13.0, node --experimental-strip-types run.ts). El código vive en mi repositorio de laboratorio bajo paired-evals. Los resultados son deterministas, así que no hay dispersión que reportar.
| arreglados | rotos | p exacto de dos colas |
|---|---|---|
| 15 | 4 | 0.0192 |
| 8 | 1 | 0.0391 |
| 2 | 1 | 1 |
| 47 | 0 | 1.42e-14 |
El ejemplo resuelto
Un cambio reciente en la puerta de entrada del asistente se evaluó con 188 ítems. El baseline respondió 172 correctamente (91.5%) y el candidate 183 (97.3%). El candidate arregló 15 ítems y rompió 4.
n = 19 ítems discordantes, y el lado menor es 4. El p exacto de dos colas es 0.0192, que reporto como p = 0.019.
Una ganancia de 5.9 puntos en 188 ítems suena decisiva, pero el test solo ve 19 ítems. La evidencia es real pero no enorme. Si el candidate hubiera arreglado 15 y roto 8, p sería 0.21 y no afirmaría una victoria.
Cuatro ítems se rompieron. El valor p dice que la ganancia neta difícilmente es azar. No dice que las cuatro regresiones sean aceptables. Leo esas cuatro antes de publicar, diga lo que diga el test.
Lo que no te dice
- Solo prueba este conjunto de ítems. Los ítems de un generador y una seed generalizan a esa distribución, no al tráfico de producción.
- Necesita aprobar/fallar por ítem. Un puntaje graduado por ítem pide un test pareado sobre diferencias.
- No dice nada sobre el tamaño del efecto. Combínalo con un intervalo para cada tasa de acierto (ver el post de Wilson) y los conteos crudos de arreglados y rotos.
- Si el grader es ruidoso, las celdas discordantes se llenan de desacuerdo del grader. Uso dos graders ciegos y un tercero para los desacuerdos, y reporto el acuerdo.
El hábito que mantengo: publicar siempre el 2x2, no solo la p. 15 arreglados y 4 rotos le dice más a un lector que cualquier número solo.