~/daily/work 2026-10-27 · published 2026-11-21
Knowledge rodada 4: ganhos pequenos, números honestos
A quarta rodada das respostas de ajuda do assistente moveu as pontuações pareadas em um ou dois itens de 120 a 160. O que mudei, o que medi e por que não chamei de vitória.
- assistant
- evals
- paired
- knowledge
- ~/project/versatile-sh
O que mudou
O assistente também responde perguntas de onde fica e como funciona sobre o produto em que vive. A rodada 4 desse trabalho foi um punhado de regras determinísticas sobre o que a leitura frontal devolve, sem mudança no prompt:
- Quando a leitura diz que uma resposta é uma correspondência próxima, a resposta diz isso em vez de apresentá-la como exata.
- Uma capacidade sobre a qual o assistente não pode agir responde onde fazer você mesmo, e diz que ainda não faz isso. Essas respostas pulam o corte de brevidade, então uma parte de uma mensagem com vários assuntos mantém seu lugar.
- Um pedido de ação que ninguém constrói responde onde você muda.
- Uma parte de o quê ou por quê sem tópico escolhido pela leitura não é mais respondida pelo guia da sua tela.
- Algumas áreas do produto viraram entradas de catálogo roteáveis, para que suas perguntas cheguem a uma resposta real.
O que medi
Pareado contra a build dev atual, as mesmas perguntas nos dois braços ao mesmo tempo, seeds novas a cada execução:
| Execução | Dev | Rodada 4 | Ganhou / perdeu | p exato |
|---|---|---|---|---|
| 160 itens, seeds 7013, 8429, 2647 | 147 | 149 | 4 / 2 | 0.69 |
| 120 itens, seeds 3911, 6083, código final | 107 | 108 | 2 / 1 | 1.0 |
O recorte de 40 itens que eu vinha acompanhando foi de 37 para 37 na primeira execução e de 37 para 39 na segunda. Nenhuma perda nesse recorte em nenhuma das duas. As respostas foram embaralhadas com o braço oculto, avaliadas por dois graders cegos, com um terceiro para os desacordos.
No mesmo dia registrei duas outras execuções pareadas de trabalho irmão: 8 ganhos e 1 perda em 88 perguntas de comparação (p = 0.039), e 17 ganhos e 1 perda em 30 perguntas de entregador. Esses são ganhos reais. Este não é.
Como eu leio
Seis itens discordantes na primeira execução e três na segunda. Com tão poucos, nenhum resultado alcança significância: mesmo 6 a 0 daria p = 0.031 e 3 a 0 dá p = 0.25. O teste não podia dizer sim, e não disse.
O que a rodada mostra é nenhuma regressão no recorte de foco, e um formato de resposta mais claro para casos que antes pareciam exatos sem ser. Uma das três perdas foi uma descrição de card cortada em 140 caracteres; encurtei depois da execução e adicionei um teste.
Lancei por esses motivos, e registrei a manchete como um nulo.