~/studies/work 2026-11-21
Evals que deciden
Cómo construyo evals para un asistente de IA de modo que puedan zanjar la pregunta de lanzar o no: ejecuciones pareadas con seed, checks deterministas antes de cualquier LLM judge, errores de infra fuera de la tasa de aciertos y canaries de fuga de prompt.
- evals
- llm
- testing
- assistant
- ~/project/versatile-sh
Un eval tiene que poder decir que no
Construyo un asistente de IA en el trabajo: un asistente conversacional que responde preguntas y ejecuta acciones sobre datos de negocio. La mayoría de los cambios que le hago son pequeños y se ven bien en una demo. Una demo no me dice si el cambio ayudó, así que quiero un eval cuyo resultado decida.
Cuatro hábitos lo hacen posible. Este post trata de ellos, con números de mis propios registros de cambios. Donde algo es una convención mía y no un resultado medido, lo digo.
Un baseline y un candidate pareados y con seed
Los ítems vienen de un generador con una seed registrada, de modo que otra persona puede regenerar el mismo conjunto. Los mismos ítems pasan por la build baseline y por la candidate, con el mismo proveedor fijado y sin fallbacks, al mismo tiempo. Un fallback que se dispara solo en un brazo es una diferencia oculta.
Leo el resultado como una tabla 2x2 y pruebo los ítems discordantes con un test exacto de McNemar (ver el post sobre él). Dos ejemplos reales de los registros, cada uno con 52 ítems:
| Seed | Baseline | Candidate | Arreglados / rotos | p exacto |
|---|---|---|---|---|
| 7101 | 3/52 | 50/52 | 47 / 0 | 1.4e-14 |
| 7202 (fresh) | 2/52 | 48/52 | 46 / 0 | 2.8e-14 |
La segunda fila es la que más importa. Una seed nueva después de afinar el cambio protege contra haber ajustado el primer conjunto. Un resultado nulo se registra igual: una ejecución de 42 ítems de comparación pasó de 5 a 6 correctos, 2 arreglados y 1 roto, p = 1.0. El registro dice lo que dice: no hay evidencia de mejora.
Checks deterministas antes de un judge
Todo lo que un programa puede comprobar, lo comprueba un programa. ¿Cada número de la respuesta aparece en los datos que devolvió la tool? ¿Hay una lista con viñetas cuya longitud contradice la cantidad anunciada justo antes? ¿La respuesta contiene datos de pago cuando no debe? Son operaciones de strings y conjuntos, son gratis y dan la misma respuesta dos veces.
Un judge basado en modelo se ocupa de lo que queda: si la respuesta es correcta, si es útil, si el período es el correcto. Uso dos graders ciegos que no saben qué brazo produjo una transcripción, y un tercero para los desacuerdos. Reporto el acuerdo como kappa. En una ejecución fue 0.56, lo bastante bajo como para que el tercer grader leyera todos los ítems y no solo los disputados.
Cuando consideré un judge basado en modelo como guard en runtime contra la fuga del system prompt, lo rechacé por dos razones registradas en la decisión: no es determinista y se paga en cada turno. Un check de fingerprints se afinó con 146 respuestas reales del asistente y 130 respuestas reales de chat, y ninguna lo disparó.
Los errores de infra no son fallos
Un timeout del proveedor del modelo, una consulta no autorizada desde un fixture, un harness que olvidó un store: nada de eso dice nada sobre el cambio. Si cuentan como fallos, la tasa de aciertos mide mi banco de pruebas.
Mis registros tienen un caso concreto. Se descubrió después que dos ejecuciones de comparación se tomaron con un probe harness al que le faltaba un draft store, así que cada ask saltaba el camino bajo prueba y pasaba al planner más lento. La nota entró en el registro con la fecha y hora de la corrección. En otra ejecución, 3 de 15 fallos eran permisos del fixture, no comportamiento, y el registro lo dice.
Mi convención, no un resultado medido: un ítem cuya ejecución terminó en error de infra se excluye de la tasa de aciertos y se lista aparte con su conteo. Si ese conteo es grande, la ejecución no es un resultado y la repito.
La exclusión tiene un costo. Si el candidate causa más timeouts, descartarlos lo favorece. Reporto el conteo de excluidos por brazo, y una diferencia en ese conteo es en sí un hallazgo.
Canaries de fuga de prompt
Decirle a un modelo que nunca revele su prompt no es un control: un mensaje inyectado puede anularlo. Así que el check está en el borde de salida y es determinista.
Una parte es un canary: un prefijo fijo más 16 dígitos hex aleatorios, generado una vez por proceso y añadido a la entrada del modelo como una línea de sistema extra. Si ese token aparece alguna vez en una salida, el prompt se filtró. La otra parte es un conjunto de fingerprints de 5 palabras del texto estático del prompt. Un mensaje se marca por el canary, o por 3 coincidencias de fingerprint sin solapamiento.
El guard sale en modo observe por defecto: registra y no bloquea, para que pueda leer falsos positivos en tráfico real antes de activar el bloqueo. La línea del canary entra en el prompt solo en modo block, porque todo lo que cambia lo que ve el modelo sale desactivado por defecto.
- Brecha conocida, del registro: una fuga de menos de 15 palabras del prompt que no lleva canary pasa.
- Brecha conocida: una paráfrasis que no comparte ninguna secuencia de 5 palabras con el prompt pasa.
- Aún no hecho: el canary no está conectado a mi runner de evals, así que hoy protege el tráfico, no los benchmarks.