~/daily/work 2026-11-09 · published 2026-11-21

hakoniwa, dia um: dos ADRs a um mundo

O que o histórico git do engine de testes mostra para 2026-11-09: 282 commits em um dia, a ordem em que as coisas foram chegando e o benchmark que não atingiu a meta.

Os números

hakoniwa é o engine de testes. A história do repositório começa em 2026-11-09, e 282 commits levam essa data: 237 sem merges, mais os merges dos pull requests #5 a #13. Três commits sem merge são datados do dia 10 e 38 do dia 13.

Isso é uma contagem de datas de commit, não uma medida de esforço. Muitos desses commits vêm de branches paralelas mergeadas no mesmo dia e nomeadas por versão: v2, v3, v4, v5.

A ordem em que as coisas chegaram

  1. 1Decisões primeiroADR-0001 a ADR-0005 estão entre os primeiros commits: o núcleo neutro, um ciclo de vida de execução de propriedade do engine com workers alugados, gates de admissão contra testes falsos, o worker e sua evidência, e os princípios de engenharia.
  2. 2Ciclo de vida e gatesUma máquina de estados de testes em que só uma pessoa pode admitir, uma máquina de estados de execuções com leases e pausa na fronteira de um passo, e os gates de admissão G1 a G5: compilar, replays limpos, uma falha semeada que deve deixar o teste vermelho, procedência das asserções e oráculos implícitos silenciosos.
  3. 3Armazenamento e superfíciesUm schema de Postgres com row-level security forçada, um store em memória com a mesma suíte de conformance, depois uma tabela de operações servida por HTTP, gRPC e MCP, mais uma CLI derivada dela.
  4. 4Uma meta de velocidade e um benchmarkADR-0011 definiu o objetivo: pelo menos 50% menos de wall time e CPU que o Playwright puro com os mesmos veredictos. Um benchmark de 17 specs, com app e harness, veio no mesmo dia.
  5. 5Versões v2 a v5Um commit intitulado Decide v2 to v5 and plan their build abre a segunda metade do dia: v2 soft steps e check runs, v3 recording runs e locator healing, v4 o world host com um seam de relógio, fork e quiescence probe, v5 shortcuts, um result cache, suites e um inbox assinado.
  6. 6Spikes sobre o mundoOs spikes S8, S10 e S11 mediram o relógio no Postgres, o quiescence probe e o control flake. São o assunto de Testing with a frozen clock.

O benchmark, no mesmo dia

O resultado do benchmark chegou no mesmo dia em que foi construído, e não atingiu a meta. Medianas de 3 repetições saudáveis, 4 CPUs e 6 GB por container: o engine usou de 37 a 39% menos CPU que o Playwright puro, e o wall time ficou dentro do ruído, de -3 a -5%. A meta de 50% não foi atingida. A leitura completa está em outro post, Where the wall time went.

Verificação em Docker

No mesmo dia, v2 e v3 foram verificados em um container com um script que reproduzia ações fixas pela API HTTP e nenhum modelo. A execução do v3 gravou cinco sessões, as compilou, passou nos gates G1 a G5 e as reproduziu, com 0 tokens gastos. Um id de teste renomeado transformou um replay em healed com uma proposta de locator, que uma pessoa aceitou.

Também achou cinco bugs no código de v2 e v3. O de que mais gosto: o runner guardava os metadados da sua primeira configuração, então a segunda execução e as seguintes de um worker ficavam sem diretório de evidência. A correção lê o arquivo da execução atual na hora do teste.