Архитектура / 4 / 4
Batch и stream
Рекламная сеть считает клики, чтобы выставлять счета рекламодателям и останавливать рекламу, когда бюджет кончился. Ночной джоб прост, но опаздывает на сутки; стрим свежий, но ему приходится разбираться со временем, опоздавшими событиями и повторами.
- 14 мин
- Продвинутый
- 11 шагов
- Задержка подсчёта
- 86 400 с
- Перерасход бюджета
- 0 $
- Неверно посчитано
- 0 %
- запрос
- ответ
- повторная доставка
- дубликат
- потеряно
Цифры — модельный сценарий, не замеры
Настоящий запрос
Ночной джоб → База статистикиЗапрос
INSERT OVERWRITE daily_clicks1
PARTITION (day = '2026-11-17')2
SELECT ad_id, count(*) AS clicks
FROM raw_clicks
WHERE day = '2026-11-17'
GROUP BY ad_id;3
Ответ
wrote 18400 rows in 312 s
OVERWRITE— Джоб заменяет весь день целиком. Два запуска дают тот же результат, а не двойной счёт.PARTITION— По партиции на день. Перезапуск трогает только этот день.GROUP BY— Один итог на объявление за весь день. Все данные уже на месте, опаздывать нечему.
Курс: Уроков: 42
01 Основы
02 Масштабирование
03 Данные и хранение
04 Взаимодействие
05 Надёжность
06 Архитектура
07 Безопасность
08 Поставка
09 Целые системы
10 Бизнес-процессы