~/daily/work 2026-10-24 · published 2026-11-21

Ler a mensagem inteira logo na entrada

Notas de um dia medindo a leitura frontal do assistente: p95 das perguntas de dados de 6.14 para 3.14 s, uma bateria de acurácia de 64/65 e 12 de 15 mensagens longas com vários assuntos respondidas sem o planner lento.

O que a leitura frontal faz

No assistente que construo no trabalho, os donos costumam mandar uma mensagem longa com várias perguntas. A leitura frontal é uma única chamada ao modelo que divide a mensagem em pedidos. Cada pedido recebe seu trecho, o que a pessoa quer saber, a rota de relatório que o responde, o período e se é uma comparação.

Os pedidos são respondidos em paralelo, cada um com seu próprio orçamento de tempo, e compostos em uma única resposta na ordem em que foram feitos. Uma parte que falha ou estoura o tempo recebe uma linha simples sobre aquele assunto, e as partes concluídas continuam sendo entregues.

O que medi hoje

Configuração: o núcleo nativo, o leitor de modelo ao vivo, um portão de relatórios simulado de 1.2 s, 20 pedidos de onde está e 20 pedidos de dados.

Tipo de pedidoAntes p50 / p95Depois p50 / p95
onde está0.90 / 3.40 s0.90 / 1.96 s
dados3.33 / 6.14 s2.49 / 3.14 s
  • Bateria de acurácia: 64 de 65, com 79% dos tokens do prompt servidos do cache.
  • 15 mensagens longas de donos: 12 responderam todas as partes sem o planner. Os 3 erros foram permissões do fixture, não comportamento.
  • Latência de leitura: p50 1.34 s, p95 2.35 s.

Quanto confiar nisso

São 20 e 20 pedidos contra um portão simulado, então o p95 é o 19º ou 20º mais lento de uma amostra pequena. A direção é clara. A segunda casa decimal não.

Hipótese, não testada aqui: a maior parte da queda do p95 de dados vem de ler a mensagem uma vez e rotear direto para um relatório, pulando o planner lento. Não rodei uma ablação que isole isso.

O número 12 de 15 tem mais um limite. Três dos erros foram permissões do fixture, que posso corrigir no harness. Eles não dizem nada sobre o assistente.