~/studies/work 2026-11-13 · published 2026-11-21

Un salto de plugin que no se pagó solo

Un estudio de latencia para tsugite, el protocolo de plugins: un journal detrás de una llamada remota pasó su gate, pero una transacción de base de datos transmitida por un plugin falló en los dos límites, en dos engines.

La pregunta

tsugite es el protocolo que permite que un plugin fuera de proceso sirva los ports de un engine. Antes de construir la mitad de store, quería saber cuánto cuesta un salto remoto cuando lo que hay detrás es una transacción de base de datos. El gate: como máximo 2 ms de p99 añadido por sesión de escritura y como máximo 15% de pérdida de throughput. Los dos límites deben cumplirse.

El mismo estudio midió el caso del journal para el engine de workflows. Esa parte pasó y se trata en What exactly-once over a journal costs. Este post trata de la parte que falló.

Método y condiciones

  • Máquina: 16 núcleos, Linux 7.2, Go 1.27.3, gRPC 1.83.2, todo en una sola caja, `nice -n 10`.
  • Postgres 16.16 alpine en un contenedor, sobre tmpfs. tmpfs abarata los commits, así que la pérdida relativa de throughput es pesimista y el p99 absoluto añadido no se ve afectado. Uno de los dos engines también se ejecutó contra un volumen Docker en disco.
  • El prototipo importó el paquete store real de cada engine, así que el SQL era SQL de producción.
  • Formato de wire: un stream bidireccional gRPC, frames JSON, un round trip síncrono por operación. Sin schema, sin batching.
  • La latencia es de bucle cerrado con un solo llamador; el throughput usa 16 goroutines durante 8 s tras 3 s de warm-up, 5 ejecuciones, se reportan medianas. Warm-up antes de cada medición.

La máquina no estaba tranquila: load average de 12 a 21 en 16 núcleos para el primer engine, de 7 a 20 para el segundo. p99 y throughput son ruidosos. Una ejecución por tcp-loopback tuvo p99 de 1864 us frente a 162 a 265 us en las demás.

Un salto es barato

Un echo gRPC unario, un llamador, 20000 llamadas por ejecución: 63 us de p50 y 222 us de p99 sobre un unix socket con payload de 64 B, 80 us y 184 us sobre tcp loopback. Un salto cuesta de 0.06 a 0.10 ms en p50 y cerca de 0.2 ms en p99. Eso coincidió con la hipótesis para p50 y la superó para p99.

Una operación de store a través del stream de sesión cuesta unos 115 us de p50 por operación, que es el salto más JSON y la goroutine del plugin. Poco, hasta que se multiplica.

Las sesiones lo multiplican

Una sesión de escritura son varias operaciones dentro de una transacción: para el primer engine, create son 8 operaciones. La transacción y su conexión del pool permanecen abiertas durante todos los round trips.

Variante, primer enginecreate p50 uscreate p99 ussesiones/s, 16 llamadores
in-process134627433801
session stream, unix227448832565 (-32.5%)
session stream, tcp267352323017 (-20.6%)

El p99 añadido para create fue de +2140 us sobre unix y +2489 us sobre tcp. La pérdida de throughput fue de 21 a 33%. Los dos límites fallaron. El estudio anota que el hecho de que unix saliera más lento que tcp es ruido por la carga de la máquina: las ejecuciones fueron de 2378 a 3048 para tcp y de 2565 a 3500 para unix.

Para el store de hakoniwa, las sesiones calientes tienen 7 operaciones (reportar un paso, terminar una ejecución). En tmpfs el p99 añadido fue de 2.1 a 6.8 ms en las rutas de ejecución calientes, y el throughput cayó 41.9% sobre unix y 47.4% sobre tcp. Con Postgres respaldado por disco la pérdida en unix fue de 28.5% y en tcp de 7.5%, pero esa ejecución no es concluyente: limitada por fsync, solo 3 rondas, con picos de p99 añadido de +21 a +42 ms en varias filas.

Por qué, y qué hice en su lugar

La explicación del estudio, que encaja con los números: la transacción retiene una conexión del pool durante N round trips, así que un pool de 16 conexiones se satura antes, y el host y el plugin gastan CPU en la misma caja. Los locks tomados dentro de la transacción también se mantienen durante todos ellos.

La consecuencia fue un cambio de plan, no un plugin abandonado. El store toma el camino más barato: un tier embebido más operaciones con forma de comando, donde un RPC lleva una transacción entera. La tabla de plan del estudio pone los dos plugins de store en ese camino. Los commits de hakoniwa del mismo día incluyen la plantilla del tier de store embebido.

Una sesión con pipeline, que envía escrituras a ciegas sin esperar y muestra los errores en la siguiente lectura o commit, se proyecta en aproximadamente +0.4 a 0.5 ms de p50 y de 1 a 1.3 ms de p99 para create. Es una proyección a partir de conteos de round trips. No se construyó ni se midió, y cambiaría el significado de un error de escritura.

No medido: entre nodos, contención de locks entre llamadores y la suite completa de tests del store a través del camino remoto, ya que el prototipo solo hizo proxy de los métodos del workload.