~/discoveries/work 2026-11-09 · published 2026-11-21

O dublê de pagamento que reescaneava tudo

Um spike de carga nos mundos controlados do hakoniwa encontrou um scan O(n ao quadrado) em um provedor de pagamento falso. Corrigi-lo com uma fila ordenada por tempo aumentou o throughput em 55% na mesma janela.

Como esbarrei nisso

O hakoniwa pode rodar um app em um mundo controlado: um relógio que você pode pular, um Postgres bifurcável e dublês para serviços externos. Um dos dublês é um provedor de pagamento falso. Ele aceita intents de pagamento, liquida-os em um horário do mundo e entrega webhooks assinados ao app.

O spike S10 fez uma pergunta estreita. Quando o relógio do mundo pula enquanto o app atende tráfego, com que frequência o motor decide errado que o app estava quieto? Para medir, conduzi compradores por HTTP e pulei o relógio 100 vezes com uma pausa de 50 a 200 ms. A configuração está em Testando com um relógio congelado. Este post trata, em vez disso, do que o nível de carga mais pesado fez com o motor.

Sintoma

Sob carga de saturação o host do mundo prendia uma CPU, e o teardown depois da execução demorava muito. As notas do spike registram de 11 a 23 segundos de teardown após de 37k a 38k requisições. Depois de uma execução de 221k requisições, o teardown levou mais de 18 minutos.

O tempo de teardown crescer mais rápido que a contagem de requisições é a assinatura de um custo quadrático. Dobrar o tráfego não dobrava o trabalho.

Causa

Um dump de goroutines colocou o tempo em uma única função, o `catchUp` do dublê de pagamento. A cada drenagem de entrega de webhooks, a cada tick do relógio e a cada chamada a `Pending`, ele varria todos os intents já criados para achar os que já venceram. Com n intents e cerca de n entregas, isso é O(intents) vezes O(entregas).

Minha inferência, não algo que as notas digam: conforme a execução avança, a maioria desses intents já está liquidada, então a maioria das passadas não encontra nada novo e o trabalho é repetição.

Correção e resultado

O tempo do mundo só anda para a frente, então as liquidações vencidas estão sempre no começo de uma lista ordenada pelo horário de liquidação. A correção mantém as liquidações em uma fila first-in first-out ordenada assim, e o `catchUp` tira o que venceu e para no primeiro que não venceu.

AntesDepois
Requisições atendidas na mesma janela37k to 38k57.5k (+55%)
Teardown11 to 23 s0.1 s

Um teste, `TestOnlyDueSettlementsSettle`, fixa o comportamento de só liquidar o vencido. Os testes existentes de ciclo de vida, webhook e pendentes passaram sem mudança.

Os números vêm das próprias notas do spike: o host foi compartilhado com outras verificações, então os tempos de parede são indicativos, e os 55% são uma única comparação, não um benchmark repetido. Minha leitura do porquê o throughput subiu é uma hipótese: a CPU que ia para reescanear voltou a atender requisições.

O que levo disso

O bug não apareceu em carga leve ou média. Com 3 e 4 compradores, 3006 e 14450 requisições rodaram sem problema. Ele só apareceu quando empurrei o nível mais pesado por outro motivo. Um dublê que é correto e lento ainda estraga o experimento para o qual existe, porque o motor acaba medindo o próprio falso.

A medição teve um benefício colateral. Sob essa carga de saturação a sonda de quiescência nunca aceitou um salto: 106 de 106 saltos foram recusados com `world not quiet`. Ela recusou em vez de pular em silêncio, que é o comportamento que eu queria.