~/studies/work 2026-11-09 · published 2026-11-21
Adónde se fue el tiempo de pared
hakoniwa debía correr los tests de navegador en la mitad del tiempo de Playwright simple. Usó entre 37 y 39% menos CPU y el mismo tiempo de pared. Un perfil por fases muestra por qué, y qué cambiaron las decisiones posteriores.
- hakoniwa
- benchmark
- playwright
- negative-result
- ~/project/versatile-sh
La meta y la configuración
El ADR-0011 fijó una meta para el camino de tests de front-end de hakoniwa: al menos 50% menos de tiempo de pared y al menos 50% menos de CPU-segundos que Playwright simple con la configuración por defecto, con los mismos veredictos. Mientras no se mida, el ADR llama hipótesis a toda ganancia.
La app del benchmark es una SPA pequeña en React con una API en Bun, un widget de segundo origen y fallas sembradas. La suite tiene 17 specs. Cada configuración corrió en un contenedor limitado a 4 CPUs y 6 GB, con la imagen de Playwright v1.65.0. La máquina es un AMD Ryzen 7 5700X con 16 threads y 47 GiB de RAM, Linux 7.2.5, Docker 29.7.2. Las corridas sanas son la mediana de 3. La corrida con falla es una sola repetición.
- A: Playwright simple, 8 workers en 4 CPUs.
- B: el motor sobre Chromium con todos los atajos apagados, 4 slots, batch 5.
- B+: B con los atajos admitidos solo para el bench: almacén de sesión, caché de assets, bloqueo por CDP, congelado de movimiento.
- C: B+ con Lightpanda admitido.
Resultado
| Config | Wall s | vs A | CPU-s | vs A | Peak MB |
|---|---|---|---|---|---|
| A | 5.3 | - | 16.4 | - | 1687 |
| B | 5.1 | -4% | 10.4 | -37% | 817 |
| B+ | 5.2 | -3% | 10.2 | -38% | 816 |
| C | 5.1 | -5% | 10.1 | -39% | 627 |
Los veredictos coincidieron con A en cada repetición. El CPU bajó 37 a 39% y la memoria cerca de la mitad. El tiempo de pared se mantuvo dentro del ruido. Los atajos redujeron los bytes de respuesta de 3.9 a 1.0 MB, así que el bloqueo por CDP funciona, y no cambiaron ni el tiempo ni el CPU en esta suite. La meta no se cumplió.
Adónde va el tiempo
Una corrida de B con traza, una repetición, muestra el primer paso reportado unos 1.8 s después de que empezó el loop de leases. Las piezas que la traza atribuye: listar los ids de tests del grupo toma unos 0.26 s, la carga dentro de la corrida de tests otros 0.24 s, y bifurcar los workers de Playwright y lanzar sus navegadores unos 0.3 s. Los 17 specs corren luego unos 2.5 a 3 s en cuatro workers.
Así que cerca de un tercio de una suite de 5 s es un arranque fijo que el camino del motor paga y Playwright simple paga menos, porque bifurca los workers directamente. Una suite tan corta no puede amortizarlo. El motor ahorra CPU al correr un navegador por worker, 4 workers contra los 8 de A, y sin un servidor de navegador ni un servidor de tests por slot. Ahorrar CPU no acorta una cadena de arranque.
Bajo una falla sembrada fue peor
| Config | Wall s | vs A | CPU-s | vs A |
|---|---|---|---|---|
| A | 9.3 | - | 17.1 | - |
| B | 15.0 | +61% | 15.5 | -9% |
| B+ | 15.2 | +63% | 15.0 | -12% |
| C | 21.5 | +130% | 18.4 | +8% |
La falla era una búsqueda que ignora su consulta, con 3 de 17 specs fallando, una repetición por configuración. La causa es una decisión de diseño en el camino de ejecución. Cada spec que fallaba se volvía a ejecutar con su traza activada, así que una falla costaba dos intentos, cada uno esperando el timeout de expect de 5 s, más un worker y un navegador nuevos tras cada falla. C fue aún más lento: los intentos con Lightpanda fallaban primero, caían a Chromium y volvían a correr.
Qué cambió el resultado negativo
El resultado alimentó directamente al ADR-0019, escrito el mismo día. Elimina la reejecución ante una falla: el primer intento conserva una traza liviana y la corrida que falla termina, así que la inestabilidad se juzga entre corridas y no dentro de una. El ADR lista conservar la reejecución como una opción rechazada, porque volvía 61% más lentas las suites que fallan frente a una línea base que no reejecuta.
También elimina la pasada de listado aparte, mantiene un runner de reserva iniciado y ocioso, y barre cantidades de slots de 4, 6 y 8. Los tres ahorros están marcados como hipótesis en el ADR hasta que un benchmark más pesado los muestre. La única medición posterior en los registros es sobre 60 specs, 2 repeticiones: la traza liviana costó 64.3 y 70.0 CPU-s frente a 68.2 y 71.0 sin traza, dentro del ruido entre corridas.
No tengo registro de que el benchmark más pesado alcance la meta de 50%. La afirmación hoy es menos CPU y memoria con veredictos iguales, no un tiempo de pared más rápido.