~/studies/work 2026-11-09 · published 2026-11-21

Testando com um relógio congelado

Mundos controlados para testes no hakoniwa: um relógio que você pode pular, um banco de dados que você pode bifurcar, falhas que você pode semear. O que os spikes provaram e o benchmark em que o tempo de parede não melhorou.

A ideia

Testes de navegador ficam flaky por motivos que não têm a ver com o código sob teste: o tempo real passa, estado compartilhado vaza, um serviço externo responde tarde. O hakoniwa, o motor de testes, executa um teste dentro de um mundo controlado: o relógio é um valor que você define, o banco de dados é um fork de um snapshot e os serviços ao redor do app são dublês que você pode fazer se comportarem mal.

Este post trata de duas coisas que medi. Uma é se um mundo desses é sólido quando você pula o tempo com força. A outra é se o motor deixa a suite mais rápida. A primeira funcionou na maior parte. A segunda não, e os números estão abaixo.

Um relógio que você pode pular

Uma chamada Advance define três coisas de uma vez: os dublês (o serviço de pagamento), um seam no código do próprio app (uma interface de relógio) e um arquivo de offset do libfaketime lido pelo Postgres 18. O spike S8 pulou +1 h, +1 d e +30 d em sequência, cada um em um contêiner limitado a 2 CPUs e 4 GB.

SaltoAdvancePedido pendente após o saltoPedido novo se resolve
+1 h158 mspaid at 1 ms2.29 s
+1 d154 mspaid at 1 ms2.02 s
+30 d155 mspaid at 2 ms2.02 s
  • now(), clock_timestamp() e statement_timestamp() acompanharam cada salto, em uma conexão persistente e em uma nova.
  • O autovacuum rodou em 0.5 a 1 s do churn após cada salto. Cada salto causou um checkpoint imediato, depois a cadência normal de 30 s voltou.
  • O log do Postgres tinha só as duas linhas de inicialização. Nenhum ERROR, WARNING ou PANIC.

Ressalvas do mesmo spike: o libfaketime se aplica a toda a árvore de processos de um servidor, então um mundo precisa do seu próprio Postgres e não de um fork em um compartilhado. Quando o arquivo de offset é removido no teardown, o relógio do servidor volta o tanto que foi pulado, então o servidor precisa morrer com o seu mundo. O pg_cron não foi testado.

Pular com tráfego rodando

Um salto no meio de uma requisição é o caso perigoso. O mundo só move o relógio quando julga o app quieto, amostrando o trabalho em andamento duas vezes. O spike S10 mediu com que frequência esse julgamento errava: compradores roteirizados faziam pedidos, pagavam e mostravam pedidos por HTTP enquanto um saltador emitia 100 saltos de +10 s com pausas de 50 a 200 ms.

CargaRequisiçõesAceitos / recusadosEm andamento no saltoFalhas de webhook
3 compradores, 50 a 150 ms de pausa3006100 / 000 of 2997
4 compradores, 20 a 60 ms de pausa14450100 / 000 of 14383

Em mais de 400 saltos aceitos, um foi uma provável falsa quietude (0.25%). No código final foram 0 de 200, com limite superior de 95% de 1.5%. Sob carga de saturação a sonda recusou: 106 de 106 saltos devolveram world not quiet after 10 s, e nenhum pulou em silêncio. A corrida residual é o intervalo entre a última amostra e a gravação do novo horário.

Medir também achou um bug do motor. Sob carga de saturação o mundo prendia uma CPU e levou mais de 18 minutos para desmontar após 221k requisições. Um dump de goroutines mostrou o dublê de pagamento reescaneando cada intent a cada entrega. Agora as liquidações esperam em uma FIFO ordenada por tempo, e a mesma janela atendeu 55% mais requisições com um teardown de 0.1 s.

De quantos controles você precisa

Um veredito de reprodução compara execuções de tratamento com execuções de controle do mundo sem modificação. O spike S11 rodou 149 controles contados no app de checkout e viu 0 falhas. Uma execução adicional não foi executável: o app perdeu uma corrida por porta, o que custa uma execução e não um veredito.

Com zero falhas, o limite unilateral de 95% sobre a taxa de flake do controle é 1 - 0.05^(1/N). É 45.1% com N = 5, o padrão na época, 25.9% com N = 10 e 5.82% com N = 50. Ficar abaixo de 5% exige N = 59, o que o máximo de 50 proíbe. A recomendação foi subir o padrão para 10 e o máximo para 60.

O negativo honesto: tempo de parede

A meta do ADR-0011 era pelo menos 50% menos tempo de parede e CPU-segundos que o Playwright puro (config A), com os mesmos vereditos. O benchmark rodou uma suite de 17 specs em contêineres limitados a 4 CPUs e 6 GB, mediana de 3. B é o motor sobre Chromium com todos os atalhos desligados, B+ acrescenta atalhos só de bench e C acrescenta o Lightpanda.

ConfigWall svs ACPU-svs APeak MB
A5.3-16.4-1687
B5.1-4%10.4-37%817
B+5.2-3%10.2-38%816
C5.1-5%10.1-39%627

Os vereditos bateram com os de A em toda repetição. A CPU caiu 37 a 39% e a memória cerca de metade, mas o tempo de parede ficou dentro do ruído. A meta não foi atingida.

Uma execução com trace explica o motivo. O motor paga cerca de 1.8 s antes do primeiro passo: uns 0.26 s listando ids de testes, 0.24 s carregando e cerca de 0.3 s bifurcando workers e abrindo navegadores. Os 17 specs então levam de 2.5 a 3 s em quatro workers. Uma suite de 5 s não consegue amortizar uma largada fixa desse tamanho.

Foi pior sob uma falha semeada (uma busca que ignora a consulta, 3 de 17 specs falhando, uma única repetição): o tempo de parede subiu 61% para B e 130% para C. Cada spec que falha roda de novo com um trace, então uma falha custa duas tentativas que esperam, cada uma, o timeout de expect de 5 s.

Então o motor economizou CPU e memória, não tempo, nesta suite. O que ainda moveria o tempo de parede, segundo as próprias notas do benchmark: um runner já aquecido quando a primeira execução chega, nenhuma passada de listagem separada e uma suite maior em que a largada seja amortizada. Nada disso foi construído nem medido.

O que levo disso

Um mundo controlado conquista seu lugar em determinismo: um relógio que pula limpo, controles que não ficam flaky, um veredito com limite declarado. Ele não conquistou uma suite mais rápida, e prefiro dizer isso a citar só a linha de CPU. A próxima medição que quero é uma suite grande o bastante para esconder a largada de 1.8 s.