~/daily/work 2026-10-29 · published 2026-11-21
Un reloj en el prompt costó 62% por turno
El system prompt del agente de chat empezaba con la hora actual, así que su prefijo de caché cambiaba cada minuto. Mover el contexto por turno al final llevó la parte en caché de 53% a 88% y bajó el costo por turno 62% en un bench local.
- assistant
- prompt-caching
- cost
- bench
- ~/project/versatile-sh
Qué mostró el ledger
Leí el ledger de uso de producción de una tienda del asistente de chat: 53 turnos de clientes y 251 llamadas al modelo. Cerca del 85% del gasto vino de 51 llamadas grandes (unos 17.500 tokens de prompt cada una) que no acertaron el caché de prompts del proveedor.
La causa era el orden del prompt. Empezaba con el nombre de la tienda, luego un bloque de reloj con el minuto actual, luego la memoria guardada del cliente, y solo después las reglas, la personalidad y las herramientas. Un minuto nuevo, o una memoria guardada nueva, cambiaba los primeros bytes, y todo lo que seguía se facturaba como sin caché. La primera llamada al modelo de un turno falló el caché en 39 de 45 turnos.
Había un segundo bug al lado. La sección de memoria iteraba un map de Go, así que dos claves podían renderizarse en otro orden en el turno siguiente.
El arreglo
- El system prompt conserva solo contenido por tienda: nombre, saludo, personalidad, reglas, política de pago.
- El reloj, la memoria del cliente (claves ordenadas) y los casos registrados pasan a un solo mensaje ubicado después del historial y justo antes del mensaje del cliente.
- El system prompt, los esquemas de herramientas y el historial ahora son un prefijo idéntico byte a byte entre turnos y entre clientes de la misma tienda.
- El agente elige un proveedor por tienda por día local, para que el caché no se divida entre proveedores.
Resultado del bench
Bench local: 8 conversaciones guionadas de 4 turnos en una tienda de prueba, con las partes del prompt de producción y el proveedor fijado en ambos brazos, sin fallbacks. El régimen de baja concurrencia envía un turno por minuto, como producción.
| Brazo | Parte en caché | Aciertos de caché en la primera llamada | Llamadas / turno | Costo / turno |
|---|---|---|---|---|
| base | 53.0% | 0 / 16 | 3.94 | línea base |
| branch | 88.1% | 14 / 16 | 3.44 | -62% |
Con tráfico intercalado, base ya tenía 74.9% en caché, porque las conversaciones que caen en el mismo minuto comparten prefijo. Una tienda con mucho movimiento obtiene eso por suerte. Una tienda con un turno por minuto, como producción, no.
Las llamadas por turno pasaron de 3.94 a 3.44, pero no toqué el loop, así que lo trato como varianza del modelo. En la verificación de precisión a ciegas de las transcripciones, base aprobó 6 de 12 conversaciones y el branch 8 de 12, y nada que pasara en base falló en el branch.
Límites
El bench omite el enrutamiento delante del agente y mide solo el camino del agente. Doce conversaciones es una muestra pequeña para la línea de precisión. La línea de costo es una razón de una sola configuración de bench, no una promesa para producción.