~/studies/work 2026-11-21
Notas de leitura: enriquecimento, backfills e dados atrasados
Notas sobre material público, não sobre meus benchmarks: o que Stripe, Apache Beam, Airflow e o paper do Dataflow dizem sobre idempotência, backfills e dados atrasados, e como eu levaria isso para um pipeline de enriquecimento.
- data-pipelines
- idempotency
- backfill
- late-data
- reading-notes
- ~/project/versatile-sh
O que é isto
Notas de leitura sobre documentação pública e um paper, consultados em 2026-11-21. Não rodei nenhum pipeline para isto e não cito nenhum número que não esteja na página que linko. Onde estendo uma fonte para enriquecimento, marco como leitura minha.
- Stripe, Designing robust and predictable APIs with idempotency: https://stripe.com/blog/idempotency
- Apache Beam programming guide, windowing, watermarks and late data: https://beam.apache.org/documentation/programming-guide/
- Apache Airflow, Dag runs, catchup and backfill: https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html
- Akidau et al., The Dataflow Model: https://research.google/pubs/the-dataflow-model-a-practical-approach-to-balancing-correctness-latency-and-cost-in-massive-scale-unbounded-out-of-order-data-processing/
Por enriquecimento entendo uma etapa que pega um registro e acrescenta campos calculados a partir de uma consulta ou de um modelo, como o nome de uma empresa resolvido a partir de um domínio.
Enriquecimento idempotente
O post da Stripe descreve o cliente gerando um ID único para cada operação e enviando-o em um header Idempotency-Key nos POSTs. O servidor o correlaciona com o estado da requisição. O post separa três casos de falha: em uma falha de conexão o servidor vê a chave pela primeira vez e processa normalmente; em uma falha no meio do caminho ele retoma o trabalho e o conclui; quando a resposta se perdeu depois de um sucesso, ele responde com um resultado em cache da operação bem-sucedida.
O post não dá expiração de chave, período de retenção nem limite de tentativas, então não vou chutar um. Sua única regra numérica é um backoff do cliente que cresce proporcionalmente a 2^n, onde n é o número de falhas.
Minha leitura para enriquecimento: a chave é a identidade do registro mais a versão de tudo de que o enriquecimento depende. Mesma chave, mesmo resultado guardado. Hipótese: a pergunta de design útil é o que entra nessa versão, como o dataset de referência, o modelo ou o código, porque uma nova tentativa que enxerga uma tabela de consulta mais nova produzirá outra resposta sob a mesma chave.
Backfills
A documentação do Airflow diz que catchup vem desligado por padrão: horários agendados perdidos entre start_date e agora não são preenchidos quando um Dag é ativado. Com catchup ligado, o scheduler cria uma execução para cada horário agendado que ainda não rodou desde a última execução. Cada execução tem um data interval, a faixa de tempo em que opera, e a logical date nos timetables por data interval é o início dessa janela, não o momento em que executa.
Backfill reexecuta um Dag para um período passado, pela UI ou com airflow backfill create, que reexecuta todas as instâncias de cada intervalo entre as datas de início e fim. A página não usa a palavra idempotência nem diz que as tarefas precisam ser idempotentes. Ela avisa que uma lógica escrita para usar now em vez do intervalo é um caso em que o catchup deve ficar desligado.
Minha leitura: um backfill só é seguro se uma execução for função do seu intervalo e de entradas versionadas. Um job que lê o relógio de parede ou a última tabela de referência vai dar hoje uma resposta diferente para o mês passado da que deu na época. Hipótese: para enriquecimento, carimbar cada saída com a versão da entrada permite distinguir um re-enriquecimento deliberado de uma deriva acidental.
Dados atrasados
O Beam define o watermark como a noção do sistema de quando se pode esperar que todos os dados de uma janela tenham chegado. Quando o watermark passa do fim de uma janela, um elemento que chega com timestamp nessa janela é dado atrasado. A configuração padrão de windowing não permite dados atrasados, e o aviso do guia diz que o padrão é descartá-los. A tolerância a atraso é ativada com withAllowedLateness; o exemplo do guia permite dados atrasados até dois dias depois do fim de uma janela.
O paper do Dataflow enuncia o limite de fundo: nunca se consegue otimizar totalmente correção, latência e custo ao mesmo tempo para entradas ilimitadas e fora de ordem, e nunca saberemos se ou quando vimos todos os nossos dados. A resposta dele não é uma regra, mas abstrações que permitem escolher o trade-off.
| Situação em um pipeline de enriquecimento | Leitura |
|---|---|
| O registro chega depois de a janela fechar | Beam: atrasado; descartado por padrão, a menos que a tolerância seja permitida. |
| O dado de referência chega depois dos registros que precisam dele | Não é coberto pelas fontes. Minha hipótese: tratar como gatilho de re-enriquecimento pela chave de consulta, não como dado atrasado. |
| Um registro atrasado altera um agregado anterior | Vale o trade-off do modelo Dataflow: emitir uma correção ou aceitar o descarte. |
O que estas fontes não dizem
- Nenhuma delas dá um número para o custo de re-enriquecer, então não tenho nenhum.
- A página do Airflow não define idempotência para tarefas. O post da Stripe trata de chamadas de API, não de jobs batch; transportá-lo é uma extensão minha.
- Li só parte do guia do Beam: as seções sobre watermarks e dados atrasados.
- Estas notas são uma lista inicial de perguntas para os meus próprios pipelines, não evidência de como eles se comportam.