~/daily/work 2026-10-29 · published 2026-11-21
Um relógio no prompt custou 62% por turno
O system prompt do agente de chat começava com a hora atual, então o prefixo de cache mudava a cada minuto. Mover o contexto por turno para o fim levou a parcela em cache de 53% para 88% e reduziu o custo por turno em 62% em um bench local.
- assistant
- prompt-caching
- cost
- bench
- ~/project/versatile-sh
O que o ledger mostrou
Li o ledger de uso de produção de uma loja do assistente de chat: 53 turnos de clientes e 251 chamadas ao modelo. Cerca de 85% do gasto veio de 51 chamadas grandes (cerca de 17.500 tokens de prompt cada) que erraram o cache de prompt do provedor.
A causa era a ordem do prompt. Ele começava com o nome da loja, depois um bloco de relógio com o minuto atual, depois a memória salva do cliente, e só então as regras, a personalidade e as ferramentas. Um minuto novo, ou uma memória salva nova, mudava os primeiros bytes, e tudo o que vinha depois era cobrado como sem cache. A primeira chamada ao modelo de um turno errou o cache em 39 de 45 turnos.
Um segundo bug ficava ao lado. A seção de memória iterava um map do Go, então duas chaves podiam ser renderizadas em ordem diferente no turno seguinte.
A correção
- O system prompt mantém só o conteúdo por loja: nome, saudação, personalidade, regras, política de pagamento.
- O relógio, a memória do cliente (chaves ordenadas) e os casos registrados vão para uma única mensagem posicionada depois do histórico e logo antes da mensagem do cliente.
- O system prompt, os esquemas de ferramentas e o histórico agora formam um prefixo idêntico byte a byte entre turnos e entre clientes da mesma loja.
- O agente escolhe um provedor por loja por dia local, para o cache não ser dividido entre provedores.
Resultado do bench
Bench local: 8 conversas roteirizadas de 4 turnos em uma loja de teste, com as partes do prompt de produção e o provedor fixado nos dois braços, sem fallbacks. O regime de baixa concorrência envia um turno por minuto, como a produção.
| Braço | Parcela em cache | Acertos de cache na primeira chamada | Chamadas / turno | Custo / turno |
|---|---|---|---|---|
| base | 53.0% | 0 / 16 | 3.94 | linha de base |
| branch | 88.1% | 14 / 16 | 3.44 | -62% |
Com tráfego intercalado, a base já tinha 74.9% em cache, porque conversas que caem no mesmo minuto compartilham prefixo. Uma loja movimentada consegue isso por sorte. Uma loja com um turno por minuto, como a produção, não.
As chamadas por turno foram de 3.94 para 3.44, mas não mexi no loop, então trato isso como variância do modelo. Na checagem cega de acurácia das transcrições, a base passou em 6 de 12 conversas e o branch em 8 de 12, e nada que passou na base falhou no branch.
Limites
O bench pula o roteamento na frente do agente e mede só o caminho do agente. Doze conversas é uma amostra pequena para a linha de acurácia. A linha de custo é uma razão de uma única configuração de bench, não uma promessa para produção.