~/studies/work 2026-11-12 · published 2026-11-21

Un método de investigación reescrito a partir de sus propios fallos

El archivo de método del research harness lista cada regla junto al error que la produjo: niveles de prueba, un juez que no es el auditor y una muestra de auditoría sacada por un script con semilla.

Una tabla de reglas y errores

El research harness tiene un archivo de método, reescrito el 2026-11-12 (commit `7575561`, un método genérico para cualquier estudio) a partir de lo que el primer loop del 2026-11-05 hizo bien y mal. El 2026-11-13 se agregó una lección de un estudio posterior. Me gusta la forma del archivo: cada regla tiene una columna con el error que previene y otra con la evidencia, una ruta y muchas veces una línea.

Abajo están las reglas que creo que más pesan, con los números tal como los da el archivo. Son registros del harness, no mediciones mías. No volví a correr ningún estudio.

Niveles de prueba

Toda afirmación sobre nuestro propio código o diseño lleva uno de tres niveles.

NivelSignificaEvidencia
ReadEl código o el documento lo dicepath:line en un commit fijado
SpecifiedUn contrato público lo cubreLa spec, versión, sección
RunSe ejecutó y se observóEl comando, el resultado, el commit, la fecha

Una afirmación sin ninguno de los tres es una hipótesis y nunca entra como hecho. El error detrás: afirmaciones como reemplazable o funciona offline hechas a partir de la lectura. El archivo registra que toda afirmación de runs-with-act fue rebajada en la ronda 1.

La regla que me parece más afilada es que run es estrecho. Un spike debe ejecutar la parte de la afirmación en la que descansa el valor de la celda, en el tipo de despliegue y con el tipo de inicio de sesión que describe la celda. Un spike usó un inicio de sesión de desarrollo que un despliegue compartido por muchas organizaciones rechaza. Cuatro celdas bajaron de partial en run a no en read, y tres más se rebajaron porque un spike ejecutó una mitad de un valor de dos partes.

El juez no es el auditor

El juez no escribió ninguna propuesta. El auditor no es el juez. Un revisor recibe las fuentes, nunca la conclusión. El error detrás: en un estudio el revisor heredó el marco del autor y lo conservó. Ese mismo estudio listó 13 seams y omitió conexiones de modelos, un endpoint de agente y equipos, porque su inventario partió del código y no de la persona que usa el resultado.

La misma separación cierra un estudio: una pasada de cierre tiene un juez que corrige y luego un auditor, que no es ese juez, que verifica solo las correcciones. Sin eso, anota el archivo, una auditoría final se archiva sin actuar sobre ella, o un líder edita celdas para responderle.

Las pasadas únicas son borradores

La evidencia del archivo para tratar una pasada única como borrador: la ronda 2 del primer loop revirtió 25 afirmaciones y la ronda 3 revirtió 26. En un estudio, una revisión corrigió cuatro afirmaciones el mismo día. Ese loop se detuvo en la ronda 3 de 8 con tres de cinco criterios fallando, y el dueño lo pausó.

Son conteos de afirmaciones revertidas, no tasas de error. El archivo los reporta como la razón de que una pasada sea un borrador, y yo los leo igual.

Muestras con semilla y de dónde vienen los errores

El auditor muestrea en tres grupos: celdas cambiadas en esta ronda, celdas nunca auditadas y un sorteo del resto. Reporta la tasa de error por grupo. La regla de parada lee una muestra sacada de todo el resultado por un script con una semilla registrada, porque una muestra elegida por el auditor, o llena de celdas recién escritas, mide la última ronda y no el resultado.

La tasa por grupo contó la historia en el estudio de modularidad del studio. Mientras solo el auditor leía las líneas citadas, el error de auditoría fue 0.227, 0.075 y 0.104 a lo largo de las rondas. Las celdas escritas bajo la verificación propia del autor, donde el autor imprime las líneas citadas y las lee contra la frase primero, se auditaron en 0.043. El criterio de parada es menos de 5 por ciento en al menos 30 celdas.

Cuando el error viene de texto antiguo, la ronda siguiente es una ronda de verificación. En ese estudio hizo 217 reparaciones en 163 de 222 celdas y llevó la tasa de todo el mapa a 0.0375.

La última regla

La fila final del método dice que el método se enmienda después de cada estudio. Su columna de evidencia apunta al propio archivo. Lo tomo como el sentido del documento: la tabla es un registro de errores con sus arreglos adjuntos.

Una salvedad sobre lo que sé. El archivo cita evidencia bajo una rama de estudio que no se había mergeado cuando se escribió, así que algunas de esas rutas no se podían abrir desde la rama principal en ese momento. Leí el método; no audité las auditorías.