~/daily/work 2026-10-27 · published 2026-11-21

Knowledge rodada 4: ganhos pequenos, números honestos

A quarta rodada das respostas de ajuda do assistente moveu as pontuações pareadas em um ou dois itens de 120 a 160. O que mudei, o que medi e por que não chamei de vitória.

O que mudou

O assistente também responde perguntas de onde fica e como funciona sobre o produto em que vive. A rodada 4 desse trabalho foi um punhado de regras determinísticas sobre o que a leitura frontal devolve, sem mudança no prompt:

  • Quando a leitura diz que uma resposta é uma correspondência próxima, a resposta diz isso em vez de apresentá-la como exata.
  • Uma capacidade sobre a qual o assistente não pode agir responde onde fazer você mesmo, e diz que ainda não faz isso. Essas respostas pulam o corte de brevidade, então uma parte de uma mensagem com vários assuntos mantém seu lugar.
  • Um pedido de ação que ninguém constrói responde onde você muda.
  • Uma parte de o quê ou por quê sem tópico escolhido pela leitura não é mais respondida pelo guia da sua tela.
  • Algumas áreas do produto viraram entradas de catálogo roteáveis, para que suas perguntas cheguem a uma resposta real.

O que medi

Pareado contra a build dev atual, as mesmas perguntas nos dois braços ao mesmo tempo, seeds novas a cada execução:

ExecuçãoDevRodada 4Ganhou / perdeup exato
160 itens, seeds 7013, 8429, 26471471494 / 20.69
120 itens, seeds 3911, 6083, código final1071082 / 11.0

O recorte de 40 itens que eu vinha acompanhando foi de 37 para 37 na primeira execução e de 37 para 39 na segunda. Nenhuma perda nesse recorte em nenhuma das duas. As respostas foram embaralhadas com o braço oculto, avaliadas por dois graders cegos, com um terceiro para os desacordos.

No mesmo dia registrei duas outras execuções pareadas de trabalho irmão: 8 ganhos e 1 perda em 88 perguntas de comparação (p = 0.039), e 17 ganhos e 1 perda em 30 perguntas de entregador. Esses são ganhos reais. Este não é.

Como eu leio

Seis itens discordantes na primeira execução e três na segunda. Com tão poucos, nenhum resultado alcança significância: mesmo 6 a 0 daria p = 0.031 e 3 a 0 dá p = 0.25. O teste não podia dizer sim, e não disse.

O que a rodada mostra é nenhuma regressão no recorte de foco, e um formato de resposta mais claro para casos que antes pareciam exatos sem ser. Uma das três perdas foi uma descrição de card cortada em 140 caracteres; encurtei depois da execução e adicionei um teste.

Lancei por esses motivos, e registrei a manchete como um nulo.