~/daily/work 2026-10-27 · published 2026-11-21

Knowledge ronda 4: ganancias pequeñas, números honestos

La cuarta ronda de las respuestas de ayuda del asistente movió los puntajes pareados en uno o dos ítems de 120 a 160. Qué cambié, qué medí y por qué no lo llamé una victoria.

Qué cambió

El asistente también responde preguntas de dónde está y cómo funciona sobre el producto en el que vive. La ronda 4 de ese trabajo fue un puñado de reglas deterministas sobre lo que devuelve la lectura frontal, sin cambios en el prompt:

  • Cuando la lectura dice que una respuesta es una coincidencia cercana, la respuesta lo dice en lugar de presentarla como exacta.
  • Una capacidad sobre la que el asistente no puede actuar responde dónde hacerlo uno mismo, y dice que todavía no lo hace. Estas respuestas se saltan el recorte de brevedad, así que una parte de un mensaje de varios temas conserva su lugar.
  • Una solicitud de acción que nadie construye responde dónde se cambia.
  • Una parte de qué o por qué sin tema elegido por la lectura ya no la responde la guía de su pantalla.
  • Algunas áreas del producto pasaron a ser entradas de catálogo enrutables, de modo que sus preguntas llegan a una respuesta real.

Qué medí

Pareado contra la build dev actual, las mismas preguntas en ambos brazos al mismo tiempo, seeds nuevas en cada ejecución:

EjecuciónDevRonda 4Ganó / perdióp exacto
160 ítems, seeds 7013, 8429, 26471471494 / 20.69
120 ítems, seeds 3911, 6083, código final1071082 / 11.0

El corte de 40 ítems que venía observando pasó de 37 a 37 en la primera ejecución y de 37 a 39 en la segunda. Ninguna pérdida en ese corte en ninguna de las dos. Las respuestas se mezclaron con el brazo oculto, calificadas por dos graders ciegos, con un tercero para los desacuerdos.

El mismo día registré otras dos ejecuciones pareadas de trabajo hermano: 8 ganados y 1 perdido en 88 preguntas de comparación (p = 0.039), y 17 ganados y 1 perdido en 30 preguntas de mensajería. Esas son ganancias reales. Esta no.

Cómo lo leo

Seis ítems discordantes en la primera ejecución y tres en la segunda. Con tan pocos, ningún resultado puede alcanzar significancia: incluso 6 a 0 daría p = 0.031 y 3 a 0 da p = 0.25. El test no podía decir que sí, y no lo dijo.

Lo que la ronda sí muestra es ninguna regresión en el corte de foco, y una forma de respuesta más clara para casos que antes parecían exactos sin serlo. Una de las tres pérdidas fue una descripción de tarjeta cortada a 140 caracteres; la acorté después de la ejecución y añadí un test.

Lo publiqué por esas razones, y registré el titular como un nulo.