~/studies/work 2026-11-09 · published 2026-11-21
Para onde foi o tempo de parede
O hakoniwa deveria rodar testes de navegador na metade do tempo do Playwright puro. Ele usou de 37 a 39% menos CPU e o mesmo tempo de parede. Um perfil por fases mostra o porquê, e o que as decisões seguintes mudaram.
- hakoniwa
- benchmark
- playwright
- negative-result
- ~/project/versatile-sh
A meta e a configuração
O ADR-0011 definiu uma meta para o caminho de testes de front-end do hakoniwa: pelo menos 50% menos tempo de parede e pelo menos 50% menos CPU-segundos que o Playwright puro com a configuração padrão, com os mesmos vereditos. Até ser medido, o ADR chama todo ganho de hipótese.
O app do benchmark é uma SPA pequena em React com uma API em Bun, um widget de segunda origem e falhas semeadas. A suite tem 17 specs. Cada configuração rodou em um contêiner limitado a 4 CPUs e 6 GB, com a imagem do Playwright v1.65.0. A máquina é um AMD Ryzen 7 5700X com 16 threads e 47 GiB de RAM, Linux 7.2.5, Docker 29.7.2. As execuções saudáveis são a mediana de 3. A execução com falha é uma única repetição.
- A: Playwright puro, 8 workers em 4 CPUs.
- B: o motor sobre Chromium com todos os atalhos desligados, 4 slots, batch 5.
- B+: B com os atalhos admitidos só para o bench: armazém de sessão, cache de assets, bloqueio por CDP, congelamento de movimento.
- C: B+ com o Lightpanda admitido.
Resultado
| Config | Wall s | vs A | CPU-s | vs A | Peak MB |
|---|---|---|---|---|---|
| A | 5.3 | - | 16.4 | - | 1687 |
| B | 5.1 | -4% | 10.4 | -37% | 817 |
| B+ | 5.2 | -3% | 10.2 | -38% | 816 |
| C | 5.1 | -5% | 10.1 | -39% | 627 |
Os vereditos bateram com os de A em toda repetição. A CPU caiu de 37 a 39% e a memória cerca de metade. O tempo de parede ficou dentro do ruído. Os atalhos reduziram os bytes de resposta de 3.9 para 1.0 MB, então o bloqueio por CDP funciona, e não mudaram nem o tempo nem a CPU nesta suite. A meta não foi atingida.
Para onde vai o tempo
Uma execução de B com trace, uma repetição, mostra o primeiro passo reportado cerca de 1.8 s depois do início do loop de leases. As peças que o trace atribui: listar os ids de testes do grupo leva cerca de 0.26 s, o carregamento dentro da execução dos testes mais 0.24 s, e bifurcar os workers do Playwright e abrir seus navegadores cerca de 0.3 s. Os 17 specs então rodam por cerca de 2.5 a 3 s em quatro workers.
Ou seja, mais ou menos um terço de uma suite de 5 s é uma largada fixa que o caminho do motor paga e o Playwright puro paga menos, porque bifurca os workers diretamente. Uma suite tão curta não consegue amortizá-la. O motor economiza CPU rodando um navegador por worker, 4 workers contra os 8 de A, e sem um servidor de navegador nem um servidor de testes por slot. Economizar CPU não encurta uma cadeia de inicialização.
Sob uma falha semeada foi pior
| Config | Wall s | vs A | CPU-s | vs A |
|---|---|---|---|---|
| A | 9.3 | - | 17.1 | - |
| B | 15.0 | +61% | 15.5 | -9% |
| B+ | 15.2 | +63% | 15.0 | -12% |
| C | 21.5 | +130% | 18.4 | +8% |
A falha era uma busca que ignora a consulta, com 3 de 17 specs falhando, uma repetição por configuração. A causa é uma escolha de design no caminho de execução. Cada spec que falhava era executado de novo com o trace ligado, então uma falha custava duas tentativas, cada uma esperando o timeout de expect de 5 s, mais um worker e um navegador novos após cada falha. O C foi ainda mais lento: as tentativas com Lightpanda falhavam primeiro, recorriam ao Chromium e rodavam de novo.
O que o resultado negativo mudou
O resultado alimentou diretamente o ADR-0019, escrito no mesmo dia. Ele remove a reexecução em caso de falha: a primeira tentativa mantém um trace enxuto e a execução que falha termina, então a instabilidade é julgada entre execuções e não dentro de uma. O ADR lista manter a reexecução como uma opção rejeitada, porque tornava as suites com falha 61% mais lentas do que uma linha de base que não reexecuta.
Ele também elimina a passada de listagem separada, mantém um runner reserva iniciado e ocioso, e varre contagens de slots de 4, 6 e 8. As três economias estão rotuladas como hipóteses no ADR até um benchmark mais pesado mostrá-las. A única medição posterior nos registros é em 60 specs, 2 repetições: o trace enxuto custou 64.3 e 70.0 CPU-s contra 68.2 e 71.0 sem trace, dentro do ruído entre execuções.
Não tenho registro de o benchmark mais pesado atingir a meta de 50%. A afirmação hoje é menos CPU e memória com vereditos iguais, não um tempo de parede mais rápido.