~/studies/work 2026-11-21
Notas de lectura: el diseño shard-per-core de ScyllaDB
Notas sobre material público, no sobre mis benchmarks: qué dicen ScyllaDB y Seastar sobre un shard por core, memoria por core y ausencia de locks, y qué dice y qué no dice eso sobre la latencia de cola.
- scylladb
- seastar
- tail-latency
- reading-notes
- architecture
- ~/project/versatile-sh
Qué es esto
Son notas de lectura sobre documentación pública. No corrí ScyllaDB ni Seastar, y cada número de abajo viene de una página que enlazo, con las condiciones que esa página indica. Donde saco una implicación, la marco como lectura mía.
- ScyllaDB, shard-per-core architecture: https://www.scylladb.com/product/technology/shard-per-core-architecture/
- Seastar, shared-nothing design: https://seastar.io/shared-nothing/
- Seastar tutorial: https://docs.seastar.io/master/tutorial.html
- Dean and Barroso, The Tail at Scale (abstract page): https://research.google/pubs/the-tail-at-scale/
Consultadas el 2026-11-21. El tutorial es una página larga y leí solo su primera parte y un fragmento posterior, así que cito solo lo que vi.
El modelo, tal como lo exponen las fuentes
La página de ScyllaDB dice que cada core ejecuta un shard que posee una porción de los datos. Los datos se particionan en el cluster por rango de tokens y, en palabras de la página, los shards dentro de cada nodo se asignan a vCPUs atados a cores específicos. Cada uno tiene sus propios recursos dedicados, incluidos un caché separado, memtables y SSTables, y su propio canal de I/O de red.
Seastar, el framework de base, describe lo mismo desde el lado de la programación. Reparte las solicitudes en cores individuales y ejecuta un thread de aplicación por core, con comunicación por paso de mensajes explícito, no por memoria compartida entre threads. El tutorial dice que la memoria disponible se divide entre los cores y cada core trabaja con datos en su propia parte de la memoria. A cada thread se le preasigna un gran bloque de memoria, en el nodo NUMA en el que corre.
| Afirmación | Dónde |
|---|---|
| Un thread de aplicación por core; solicitudes repartidas en cores | seastar.io/shared-nothing |
| Memoria dividida entre cores; cada uno trabaja en su propia parte | Seastar tutorial, introducción |
| Comunicación entre cores por paso de mensajes explícito; los recursos compartidos entre cores deben manejarse explícitamente | Página de ScyllaDB y página de Seastar |
| smp::submit_to(cpu, lambda) ejecuta una lambda en otro core y devuelve un future | seastar.io/shared-nothing |
Por qué sin locks
El tutorial da la razón en una frase: prácticas de programación no escalables, como tomar locks, pueden devastar el rendimiento en muchos cores. Agrega que las primitivas de memoria compartida y lock-free son drásticamente más lentas que las operaciones sobre datos en el caché de un solo core, porque las máquinas multi-core penalizan las instrucciones atómicas, el rebote de líneas de caché y las barreras de memoria.
Aquí importa leer con cuidado. La página de Seastar no afirma que el sistema sea totalmente lock-free. Dice que el diseño evita primitivas de lock lentas y no escalables y los rebotes de caché, ofrece facilidades que limitan la comunicación entre cores y provee primitivas no bloqueantes para cuando la comunicación es inevitable. El ejemplo que da: dos solicitudes de la misma sesión caen en CPUs distintas y dependen del mismo estado de sesión, así que un CPU reenvía explícitamente la solicitud al otro.
Un número de la página de Seastar, con sus condiciones: un presupuesto de 1670 ciclos de reloj por paquete, para un procesador de 2 GHz que maneja paquetes de 1024 bytes a velocidad de línea en una red de 10 Gbps. La página atribuye esa cifra a una presentación de Intel DPDK. Explica la presión a la que responde el diseño, no es una medición de ScyllaDB.
Números, y lo que no dicen
- El tutorial informa que una reescritura de Cassandra sobre Seastar logró hasta diez veces más throughput, además de latencias significativamente más bajas y más consistentes. Esa página no da hardware ni carga de trabajo.
- La página principal de ScyllaDB dice que el diseño le permite escalar a millones de operaciones por segundo, sosteniendo latencias promedio submilisegundo, incluso con replicación regional y global. Un ítem de menú dice latencias predecibles de un solo dígito en milisegundos. Ninguno indica hardware, tamaño de cluster ni carga de trabajo.
- Valores por defecto del tutorial: un thread de motor por thread de hardware; una cuota de tarea de 500 microsegundos, tras la cual una tarea cede en los puntos de preemption; un reactor puede trabarse cuando una tarea corre mucho tiempo sin ceder, con más de 20 ms como ejemplo.
- Memoria: toda la memoria excepto una reserva del SO se preasigna por defecto, y la reserva por defecto es el mayor entre 1.5G o 7% de la memoria total.
Ninguna de las cifras de latencia aquí son benchmarks que pueda comparar. Son afirmaciones sin condiciones declaradas, y los promedios citados no dicen nada sobre la cola.
Qué implica para la latencia de cola: mi lectura
El abstract de The Tail at Scale dice que es difícil mantener baja la cola de la distribución de latencia en servicios interactivos, y que episodios temporales de alta latencia sin importancia en sistemas de tamaño moderado pueden llegar a dominar a gran escala. La página del abstract no trae cifras de percentiles, así que no cito ninguna.
Hipótesis mías, no de las fuentes. Primero, un shard es un único carril de ejecución, así que cualquier cosa que retenga un core sin ceder retrasa cada solicitud que pertenece a ese core. Es coherente con la advertencia del tutorial de que las continuations no deben bloquear, pero no lo medí. Segundo, el sesgo se vuelve un problema de cola: una hot key concentra la carga en un shard mientras los otros cores están ociosos, sin que haya intervenido ningún lock. Tercero, una solicitud que necesita dos shards paga un salto de mensaje y la más lenta de las dos colas.
Lo que probaría antes de creer cualquiera de esto: una carga de trabajo, una máquina, la profundidad de cola por shard junto al p99 del lado del cliente, con el caso de hot key ejecutado a propósito. No lo corrí.