~/daily/work 2026-10-24 · published 2026-11-21
Leer el mensaje entero de entrada
Notas de un día midiendo la lectura frontal del asistente: p95 de las preguntas de datos de 6.14 a 3.14 s, una batería de precisión de 64/65 y 12 de 15 mensajes largos con varios temas respondidos sin el planner lento.
- assistant
- latency
- routing
- measurement
- ~/project/versatile-sh
Qué hace la lectura frontal
En el asistente que construyo en el trabajo, los dueños suelen enviar un mensaje largo con varias preguntas. La lectura frontal es una sola llamada al modelo que divide el mensaje en pedidos. Cada pedido recibe su fragmento, lo que la persona quiere saber, la ruta de reporte que lo responde, el período y si es una comparación.
Los pedidos se responden en paralelo, cada uno con su propio presupuesto de tiempo, y se componen en una sola respuesta en el orden en que se preguntó. Una parte que falla o se queda sin tiempo recibe una línea simple sobre ese tema, y las partes terminadas igual se entregan.
Qué medí hoy
Configuración: el núcleo nativo, el lector de modelo en vivo, una compuerta de reportes simulada de 1.2 s, 20 pedidos de tipo dónde está y 20 pedidos de datos.
| Tipo de pedido | Antes p50 / p95 | Después p50 / p95 |
|---|---|---|
| dónde está | 0.90 / 3.40 s | 0.90 / 1.96 s |
| datos | 3.33 / 6.14 s | 2.49 / 3.14 s |
- Batería de precisión: 64 de 65, con 79% de los tokens del prompt servidos desde caché.
- 15 mensajes largos de dueños: 12 respondieron todas las partes sin el planner. Los 3 fallos fueron permisos del fixture, no comportamiento.
- Latencia de lectura: p50 1.34 s, p95 2.35 s.
Cuánto confiar en esto
Son 20 y 20 pedidos contra una compuerta simulada, así que el p95 es el 19.º o 20.º más lento de una muestra pequeña. La dirección es clara. El segundo decimal no.
Hipótesis, no probada aquí: la mayor parte de la caída del p95 de datos viene de leer el mensaje una vez y enrutar directo a un reporte, de modo que se salta el planner lento. No corrí una ablación que lo aísle.
La cifra de 12 de 15 tiene un límite más. Tres de los fallos fueron permisos del fixture, que puedo arreglar en el harness. No dicen nada sobre el asistente.