Шпаргалка · Архитектура
Batch и stream
Проблема
Рекламная сеть считает клики, чтобы выставлять счета рекламодателям и останавливать рекламу, когда бюджет кончился. Ночной джоб прост, но опаздывает на сутки; стрим свежий, но ему приходится разбираться со временем, опоздавшими событиями и повторами.
Чему вы научитесь
- Что даёт ночной batch-джоб и во что обходится его задержка
- Tumbling- и sliding-окна и зачем каждое
- Опоздавшие события, event time и watermark
- At-least-once плюс идемпотентная запись дают exactly-once результат
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_app(["Приложения"])
n_collector["Сборщик кликов"]
n_files[("Сырые файлы кликов")]
n_nightly("Ночной джоб")
n_stats[("База статистики")]
n_ads["Рекламный сервер"]
n_topic[["Топик кликов"]]
n_stream("Стрим-процессор")
n_app --> n_collector
n_collector --> n_files
n_files --> n_nightly
n_nightly --> n_stats
n_ads --> n_stats
n_collector --> n_topic
n_topic --> n_stream
n_stream --> n_stats
n_stream --> n_ads
n_stream -.->|"повтор"| n_filesMermaid: последовательность запросов
sequenceDiagram
participant n_nightly as Ночной джоб
participant n_stats as База статистики
participant n_ads as Рекламный сервер
participant n_collector as Сборщик кликов
participant n_topic as Топик кликов
participant n_stream as Стрим-процессор
Note over n_nightly,n_stats: Ночной джоб считает вчерашний день
n_nightly->>n_stats: INSERT OVERWRITE daily_clicks
n_stats-->>n_nightly: wrote 18400 rows in 312 s
Note over n_ads,n_stats: Проверка бюджета читает вчерашние цифры
n_ads->>n_stats: SELECT spent, budget FROM ad_budgets
n_stats-->>n_ads: spent = 0.00 #124; budget = 50.00
Note over n_collector,n_topic: Стрим: считать клики по мере прихода
n_collector->>n_topic: produce topic=clicks key=ad_7
n_topic-->>n_collector: ack partition=5 offset=88120
Note over n_stream,n_stats: Tumbling-окна: фиксированные минутные корзины
n_stream->>n_stats: INSERT INTO ad_minute (ad_id, window_start, clicks)
n_stats-->>n_stream: INSERT 0 1
Note over n_stream,n_ads: Sliding-окна: ловим накрутку кликов
n_stream->>n_ads: POST /blocklist HTTP/1.1
n_ads-->>n_stream: HTTP/1.1 204 No Content
Note over n_collector,n_topic: Клики, которые приходят на минуты позже
n_collector->>n_topic: produce topic=clicks key=ad_7
Note over n_stream,n_stats: Watermark: сколько ждать опоздавших
n_stream->>n_stats: watermark = 10:05:40 (max event_time - 5 min)
Note over n_topic,n_stream: Падение и повтор: клики посчитаны дважды
n_topic->>n_stream: consumer restarted, resume at committed offset 88120
Note over n_stream,n_stats: Идемпотентная запись: повтор ничего не меняет
n_stream->>n_stats: INSERT INTO ad_minute
n_stats-->>n_stream: INSERT 0 0 -- replay ignoredD2
direction: right
n_app: "Приложения" {
shape: rectangle
}
n_collector: "Сборщик кликов" {
shape: rectangle
}
n_files: "Сырые файлы кликов" {
shape: stored_data
}
n_nightly: "Ночной джоб" {
shape: rectangle
style.multiple: true
}
n_stats: "База статистики" {
shape: cylinder
}
n_ads: "Рекламный сервер" {
shape: rectangle
}
n_topic: "Топик кликов" {
shape: queue
}
n_stream: "Стрим-процессор" {
shape: rectangle
style.multiple: true
}
n_app -> n_collector
n_collector -> n_files
n_files -> n_nightly
n_nightly -> n_stats
n_ads -> n_stats
n_collector -> n_topic
n_topic -> n_stream
n_stream -> n_stats
n_stream -> n_ads
n_stream -> n_files: "повтор" {
style.stroke-dash: 3
}PlantUML: последовательность запросов
@startuml
participant "Ночной джоб" as n_nightly
database "База статистики" as n_stats
participant "Рекламный сервер" as n_ads
participant "Сборщик кликов" as n_collector
queue "Топик кликов" as n_topic
participant "Стрим-процессор" as n_stream
note over n_nightly, n_stats : Ночной джоб считает вчерашний день
n_nightly -> n_stats : INSERT OVERWRITE daily_clicks
n_stats --> n_nightly : wrote 18400 rows in 312 s
note over n_ads, n_stats : Проверка бюджета читает вчерашние цифры
n_ads -> n_stats : SELECT spent, budget FROM ad_budgets
n_stats --> n_ads : spent = 0.00 | budget = 50.00
note over n_collector, n_topic : Стрим: считать клики по мере прихода
n_collector -> n_topic : produce topic=clicks key=ad_7
n_topic --> n_collector : ack partition=5 offset=88120
note over n_stream, n_stats : Tumbling-окна: фиксированные минутные корзины
n_stream -> n_stats : INSERT INTO ad_minute (ad_id, window_start, clicks)
n_stats --> n_stream : INSERT 0 1
note over n_stream, n_ads : Sliding-окна: ловим накрутку кликов
n_stream -> n_ads : POST /blocklist HTTP/1.1
n_ads --> n_stream : HTTP/1.1 204 No Content
note over n_collector, n_topic : Клики, которые приходят на минуты позже
n_collector -> n_topic : produce topic=clicks key=ad_7
note over n_stream, n_stats : Watermark: сколько ждать опоздавших
n_stream -> n_stats : watermark = 10:05:40 (max event_time - 5 min)
note over n_topic, n_stream : Падение и повтор: клики посчитаны дважды
n_topic -> n_stream : [дубль] consumer restarted, resume at committed offset 88120
note over n_stream, n_stats : Идемпотентная запись: повтор ничего не меняет
n_stream -> n_stats : INSERT INTO ad_minute
n_stats --> n_stream : INSERT 0 0 -- replay ignored
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложения" as n_app
component "Сборщик кликов" as n_collector
storage "Сырые файлы кликов" as n_files
collections "Ночной джоб" as n_nightly
database "База статистики" as n_stats
component "Рекламный сервер" as n_ads
queue "Топик кликов" as n_topic
collections "Стрим-процессор" as n_stream
n_app --> n_collector
n_collector --> n_files
n_files --> n_nightly
n_nightly --> n_stats
n_ads --> n_stats
n_collector --> n_topic
n_topic --> n_stream
n_stream --> n_stats
n_stream --> n_ads
n_stream ..> n_files : повтор
@endumlИтог
Четыре правила для batch и stream.
1) Batch прост, перезапускаем и опаздывает; стрим свежий и сложнее. 2) Окна — по event time: tumbling для счётчиков, sliding для всплесков. 3) Watermark решает, сколько ждать опоздавших; более поздние уходят в side output. 4) Доставка хотя бы один раз, поэтому запись должна быть идемпотентной: пишите полное значение с ключом по окну и offset.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Задержка подсчёта | 86 400 с | 360 с |
| Перерасход бюджета | 0 $ | 6 $ |
| Неверно посчитано | 0% | 0% |
Шаги
- Кейс Ночной джоб считает вчерашний день
Приложения шлют клики сборщику, тот дописывает их в файлы.
- Проблема Проверка бюджета читает вчерашние цифры
Рекламный сервер останавливает объявление, когда дневной бюджет $50 потрачен.
- Решение Стрим: считать клики по мере прихода
Сборщик теперь пишет каждый клик ещё и в топик.
- Кейс Tumbling-окна: фиксированные минутные корзины
Процессор раскладывает клики по tumbling-окнам: 10:00-10:01, 10:01-10:02, встык, без перекрытий.
- Кейс Sliding-окна: ловим накрутку кликов
Правило антифрода: больше 20 кликов с одного устройства за любые 60 секунд.
- Проблема Клики, которые приходят на минуты позже
Телефон в метро без сети.
- Решение Watermark: сколько ждать опоздавших
Процессор ведёт watermark: самое свежее увиденное event time минус 5 минут допустимого опоздания.
- Проблема Падение и повтор: клики посчитаны дважды
Процессор записал счётчики до offset 89320 и упал, не сохранив позицию.
- Решение Идемпотентная запись: повтор ничего не меняет
Процессор теперь пишет полный счёт окна, а не дельту, вместе с offset, до которого дошёл.
- Кейс Оставьте batch-джоб за последнее слово
Стрим быстрый и почти точный; он управляет бюджетами и антифрод-блокировками.
- Итоги Итоги
Четыре правила для batch и stream.
Термины
- Batch и stream
- Batch-джоб обрабатывает данные пачкой по расписанию, например каждую ночь: просто и перезапускаемо, но с опозданием. Стрим считает события по мере прихода в окнах: свежо, но сложнее.
- Watermark
- Метка, которая решает, сколько стрим-процессор ждёт опоздавшие события: самое новое увиденное event time минус допустимое опоздание. Окно становится окончательным, когда watermark проходит его конец, а ещё более поздние идут в side output.