mufassall

Шпаргалка · Архитектура

Batch и stream

14 мин · Продвинутый · mufassall.dtwin.uz/ru/l/batch-stream/

← Открыть урок

Проблема

Рекламная сеть считает клики, чтобы выставлять счета рекламодателям и останавливать рекламу, когда бюджет кончился. Ночной джоб прост, но опаздывает на сутки; стрим свежий, но ему приходится разбираться со временем, опоздавшими событиями и повторами.

Чему вы научитесь

  • Что даёт ночной batch-джоб и во что обходится его задержка
  • Tumbling- и sliding-окна и зачем каждое
  • Опоздавшие события, event time и watermark
  • At-least-once плюс идемпотентная запись дают exactly-once результат
Итоговая сцена
70%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_app(["Приложения"])
  n_collector["Сборщик кликов"]
  n_files[("Сырые файлы кликов")]
  n_nightly("Ночной джоб")
  n_stats[("База статистики")]
  n_ads["Рекламный сервер"]
  n_topic[["Топик кликов"]]
  n_stream("Стрим-процессор")
  n_app --> n_collector
  n_collector --> n_files
  n_files --> n_nightly
  n_nightly --> n_stats
  n_ads --> n_stats
  n_collector --> n_topic
  n_topic --> n_stream
  n_stream --> n_stats
  n_stream --> n_ads
  n_stream -.->|"повтор"| n_files

Mermaid: последовательность запросов

sequenceDiagram
  participant n_nightly as Ночной джоб
  participant n_stats as База статистики
  participant n_ads as Рекламный сервер
  participant n_collector as Сборщик кликов
  participant n_topic as Топик кликов
  participant n_stream as Стрим-процессор
  Note over n_nightly,n_stats: Ночной джоб считает вчерашний день
  n_nightly->>n_stats: INSERT OVERWRITE daily_clicks
  n_stats-->>n_nightly: wrote 18400 rows in 312 s
  Note over n_ads,n_stats: Проверка бюджета читает вчерашние цифры
  n_ads->>n_stats: SELECT spent, budget FROM ad_budgets
  n_stats-->>n_ads: spent = 0.00 #124; budget = 50.00
  Note over n_collector,n_topic: Стрим: считать клики по мере прихода
  n_collector->>n_topic: produce topic=clicks key=ad_7
  n_topic-->>n_collector: ack partition=5 offset=88120
  Note over n_stream,n_stats: Tumbling-окна: фиксированные минутные корзины
  n_stream->>n_stats: INSERT INTO ad_minute (ad_id, window_start, clicks)
  n_stats-->>n_stream: INSERT 0 1
  Note over n_stream,n_ads: Sliding-окна: ловим накрутку кликов
  n_stream->>n_ads: POST /blocklist HTTP/1.1
  n_ads-->>n_stream: HTTP/1.1 204 No Content
  Note over n_collector,n_topic: Клики, которые приходят на минуты позже
  n_collector->>n_topic: produce topic=clicks key=ad_7
  Note over n_stream,n_stats: Watermark: сколько ждать опоздавших
  n_stream->>n_stats: watermark = 10:05:40 (max event_time - 5 min)
  Note over n_topic,n_stream: Падение и повтор: клики посчитаны дважды
  n_topic->>n_stream: consumer restarted, resume at committed offset 88120
  Note over n_stream,n_stats: Идемпотентная запись: повтор ничего не меняет
  n_stream->>n_stats: INSERT INTO ad_minute
  n_stats-->>n_stream: INSERT 0 0 -- replay ignored

D2

direction: right

n_app: "Приложения" {
  shape: rectangle
}
n_collector: "Сборщик кликов" {
  shape: rectangle
}
n_files: "Сырые файлы кликов" {
  shape: stored_data
}
n_nightly: "Ночной джоб" {
  shape: rectangle
  style.multiple: true
}
n_stats: "База статистики" {
  shape: cylinder
}
n_ads: "Рекламный сервер" {
  shape: rectangle
}
n_topic: "Топик кликов" {
  shape: queue
}
n_stream: "Стрим-процессор" {
  shape: rectangle
  style.multiple: true
}

n_app -> n_collector
n_collector -> n_files
n_files -> n_nightly
n_nightly -> n_stats
n_ads -> n_stats
n_collector -> n_topic
n_topic -> n_stream
n_stream -> n_stats
n_stream -> n_ads
n_stream -> n_files: "повтор" {
  style.stroke-dash: 3
}

PlantUML: последовательность запросов

@startuml
participant "Ночной джоб" as n_nightly
database "База статистики" as n_stats
participant "Рекламный сервер" as n_ads
participant "Сборщик кликов" as n_collector
queue "Топик кликов" as n_topic
participant "Стрим-процессор" as n_stream
note over n_nightly, n_stats : Ночной джоб считает вчерашний день
n_nightly -> n_stats : INSERT OVERWRITE daily_clicks
n_stats --> n_nightly : wrote 18400 rows in 312 s
note over n_ads, n_stats : Проверка бюджета читает вчерашние цифры
n_ads -> n_stats : SELECT spent, budget FROM ad_budgets
n_stats --> n_ads : spent = 0.00 | budget = 50.00
note over n_collector, n_topic : Стрим: считать клики по мере прихода
n_collector -> n_topic : produce topic=clicks key=ad_7
n_topic --> n_collector : ack partition=5 offset=88120
note over n_stream, n_stats : Tumbling-окна: фиксированные минутные корзины
n_stream -> n_stats : INSERT INTO ad_minute (ad_id, window_start, clicks)
n_stats --> n_stream : INSERT 0 1
note over n_stream, n_ads : Sliding-окна: ловим накрутку кликов
n_stream -> n_ads : POST /blocklist HTTP/1.1
n_ads --> n_stream : HTTP/1.1 204 No Content
note over n_collector, n_topic : Клики, которые приходят на минуты позже
n_collector -> n_topic : produce topic=clicks key=ad_7
note over n_stream, n_stats : Watermark: сколько ждать опоздавших
n_stream -> n_stats : watermark = 10:05:40 (max event_time - 5 min)
note over n_topic, n_stream : Падение и повтор: клики посчитаны дважды
n_topic -> n_stream : [дубль] consumer restarted, resume at committed offset 88120
note over n_stream, n_stats : Идемпотентная запись: повтор ничего не меняет
n_stream -> n_stats : INSERT INTO ad_minute
n_stats --> n_stream : INSERT 0 0 -- replay ignored
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложения" as n_app
component "Сборщик кликов" as n_collector
storage "Сырые файлы кликов" as n_files
collections "Ночной джоб" as n_nightly
database "База статистики" as n_stats
component "Рекламный сервер" as n_ads
queue "Топик кликов" as n_topic
collections "Стрим-процессор" as n_stream
n_app --> n_collector
n_collector --> n_files
n_files --> n_nightly
n_nightly --> n_stats
n_ads --> n_stats
n_collector --> n_topic
n_topic --> n_stream
n_stream --> n_stats
n_stream --> n_ads
n_stream ..> n_files : повтор
@enduml

Итог

Четыре правила для batch и stream.

1) Batch прост, перезапускаем и опаздывает; стрим свежий и сложнее. 2) Окна — по event time: tumbling для счётчиков, sliding для всплесков. 3) Watermark решает, сколько ждать опоздавших; более поздние уходят в side output. 4) Доставка хотя бы один раз, поэтому запись должна быть идемпотентной: пишите полное значение с ключом по окну и offset.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Задержка подсчёта86 400 с360 с
Перерасход бюджета0 $6 $
Неверно посчитано0%0%

Шаги

  1. Кейс Ночной джоб считает вчерашний день

    Приложения шлют клики сборщику, тот дописывает их в файлы.

  2. Проблема Проверка бюджета читает вчерашние цифры

    Рекламный сервер останавливает объявление, когда дневной бюджет $50 потрачен.

  3. Решение Стрим: считать клики по мере прихода

    Сборщик теперь пишет каждый клик ещё и в топик.

  4. Кейс Tumbling-окна: фиксированные минутные корзины

    Процессор раскладывает клики по tumbling-окнам: 10:00-10:01, 10:01-10:02, встык, без перекрытий.

  5. Кейс Sliding-окна: ловим накрутку кликов

    Правило антифрода: больше 20 кликов с одного устройства за любые 60 секунд.

  6. Проблема Клики, которые приходят на минуты позже

    Телефон в метро без сети.

  7. Решение Watermark: сколько ждать опоздавших

    Процессор ведёт watermark: самое свежее увиденное event time минус 5 минут допустимого опоздания.

  8. Проблема Падение и повтор: клики посчитаны дважды

    Процессор записал счётчики до offset 89320 и упал, не сохранив позицию.

  9. Решение Идемпотентная запись: повтор ничего не меняет

    Процессор теперь пишет полный счёт окна, а не дельту, вместе с offset, до которого дошёл.

  10. Кейс Оставьте batch-джоб за последнее слово

    Стрим быстрый и почти точный; он управляет бюджетами и антифрод-блокировками.

  11. Итоги Итоги

    Четыре правила для batch и stream.

Термины

Batch и stream
Batch-джоб обрабатывает данные пачкой по расписанию, например каждую ночь: просто и перезапускаемо, но с опозданием. Стрим считает события по мере прихода в окнах: свежо, но сложнее.
Watermark
Метка, которая решает, сколько стрим-процессор ждёт опоздавшие события: самое новое увиденное event time минус допустимое опоздание. Окно становится окончательным, когда watermark проходит его конец, а ещё более поздние идут в side output.