~/studies/work 2026-11-09 · published 2026-11-21

Para onde foi o tempo de parede

O hakoniwa deveria rodar testes de navegador na metade do tempo do Playwright puro. Ele usou de 37 a 39% menos CPU e o mesmo tempo de parede. Um perfil por fases mostra o porquê, e o que as decisões seguintes mudaram.

A meta e a configuração

O ADR-0011 definiu uma meta para o caminho de testes de front-end do hakoniwa: pelo menos 50% menos tempo de parede e pelo menos 50% menos CPU-segundos que o Playwright puro com a configuração padrão, com os mesmos vereditos. Até ser medido, o ADR chama todo ganho de hipótese.

O app do benchmark é uma SPA pequena em React com uma API em Bun, um widget de segunda origem e falhas semeadas. A suite tem 17 specs. Cada configuração rodou em um contêiner limitado a 4 CPUs e 6 GB, com a imagem do Playwright v1.65.0. A máquina é um AMD Ryzen 7 5700X com 16 threads e 47 GiB de RAM, Linux 7.2.5, Docker 29.7.2. As execuções saudáveis são a mediana de 3. A execução com falha é uma única repetição.

  • A: Playwright puro, 8 workers em 4 CPUs.
  • B: o motor sobre Chromium com todos os atalhos desligados, 4 slots, batch 5.
  • B+: B com os atalhos admitidos só para o bench: armazém de sessão, cache de assets, bloqueio por CDP, congelamento de movimento.
  • C: B+ com o Lightpanda admitido.

Resultado

ConfigWall svs ACPU-svs APeak MB
A5.3-16.4-1687
B5.1-4%10.4-37%817
B+5.2-3%10.2-38%816
C5.1-5%10.1-39%627

Os vereditos bateram com os de A em toda repetição. A CPU caiu de 37 a 39% e a memória cerca de metade. O tempo de parede ficou dentro do ruído. Os atalhos reduziram os bytes de resposta de 3.9 para 1.0 MB, então o bloqueio por CDP funciona, e não mudaram nem o tempo nem a CPU nesta suite. A meta não foi atingida.

Para onde vai o tempo

Uma execução de B com trace, uma repetição, mostra o primeiro passo reportado cerca de 1.8 s depois do início do loop de leases. As peças que o trace atribui: listar os ids de testes do grupo leva cerca de 0.26 s, o carregamento dentro da execução dos testes mais 0.24 s, e bifurcar os workers do Playwright e abrir seus navegadores cerca de 0.3 s. Os 17 specs então rodam por cerca de 2.5 a 3 s em quatro workers.

Ou seja, mais ou menos um terço de uma suite de 5 s é uma largada fixa que o caminho do motor paga e o Playwright puro paga menos, porque bifurca os workers diretamente. Uma suite tão curta não consegue amortizá-la. O motor economiza CPU rodando um navegador por worker, 4 workers contra os 8 de A, e sem um servidor de navegador nem um servidor de testes por slot. Economizar CPU não encurta uma cadeia de inicialização.

Sob uma falha semeada foi pior

ConfigWall svs ACPU-svs A
A9.3-17.1-
B15.0+61%15.5-9%
B+15.2+63%15.0-12%
C21.5+130%18.4+8%

A falha era uma busca que ignora a consulta, com 3 de 17 specs falhando, uma repetição por configuração. A causa é uma escolha de design no caminho de execução. Cada spec que falhava era executado de novo com o trace ligado, então uma falha custava duas tentativas, cada uma esperando o timeout de expect de 5 s, mais um worker e um navegador novos após cada falha. O C foi ainda mais lento: as tentativas com Lightpanda falhavam primeiro, recorriam ao Chromium e rodavam de novo.

O que o resultado negativo mudou

O resultado alimentou diretamente o ADR-0019, escrito no mesmo dia. Ele remove a reexecução em caso de falha: a primeira tentativa mantém um trace enxuto e a execução que falha termina, então a instabilidade é julgada entre execuções e não dentro de uma. O ADR lista manter a reexecução como uma opção rejeitada, porque tornava as suites com falha 61% mais lentas do que uma linha de base que não reexecuta.

Ele também elimina a passada de listagem separada, mantém um runner reserva iniciado e ocioso, e varre contagens de slots de 4, 6 e 8. As três economias estão rotuladas como hipóteses no ADR até um benchmark mais pesado mostrá-las. A única medição posterior nos registros é em 60 specs, 2 repetições: o trace enxuto custou 64.3 e 70.0 CPU-s contra 68.2 e 71.0 sem trace, dentro do ruído entre execuções.

Não tenho registro de o benchmark mais pesado atingir a meta de 50%. A afirmação hoje é menos CPU e memória com vereditos iguais, não um tempo de parede mais rápido.