Шпаргалка · Взаимодействие
Pub/sub и журнал событий
Проблема
Одно событие, много команд, которым оно нужно. Как топик развязывает их и что дают офсеты, группы консьюмеров, ключи и схемы.
Чему вы научитесь
- Почему один медленный подписчик не должен ломать оформление заказа
- Офсеты: как упавший консьюмер догоняет и перечитывает историю
- Группы консьюмеров и партиции: масштабирование одного подписчика
- Порядок по ключу и изменение события без поломки читателей
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_shop(["Приложение магазина"])
n_orders["Заказы"]
n_email("Email")
n_stock("Склад")
n_analytics("Аналитика")
n_topic[["Топик"]]
n_stock_2("Склад 2")
n_shop --> n_orders
n_orders --> n_topic
n_topic --> n_email
n_topic --> n_stock
n_topic --> n_analytics
n_topic --> n_stock_2Mermaid: последовательность запросов
sequenceDiagram
participant n_orders as Заказы
participant n_email as Email
participant n_analytics as Аналитика
participant n_topic as Топик
participant n_stock_2 as Склад 2
Note over n_orders,n_email: Сервис заказов вызывает всех сам
n_orders->>n_email: POST /send-receipt HTTP/1.1
n_email-->>n_orders: HTTP/1.1 200 OK
Note over n_orders,n_analytics: Упала аналитика — упало оформление
n_orders-xn_analytics: POST /track HTTP/1.1
Note over n_orders,n_topic: Одно событие в топик
n_orders->>n_topic: PRODUCE topic=order-events
n_topic-->>n_orders: OK partition=2 offset=88412
Note over n_topic,n_analytics: Мёртвый подписчик просто отстаёт
n_topic->>n_analytics: describe consumer group: analytics
n_analytics-->>n_topic: PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
Note over n_topic,n_analytics: Догоняем с сохранённого офсета
n_topic->>n_analytics: FETCH topic=order-events partition=2 offset=76112
n_analytics-->>n_topic: RECORDS 500 (offsets 76112..76611)
Note over n_topic,n_stock_2: Группа консьюмеров делит партиции
n_topic->>n_stock_2: JOIN group=stock member=stock-2
n_stock_2-->>n_topic: REBALANCE group=stock generation=7
Note over n_orders,n_topic: Отмена пришла раньше заказа
n_orders->>n_topic: PRODUCE topic=order-events
n_topic-->>n_orders: OK partition=5 offset=31907
Note over n_orders,n_topic: Один ключ — одна партиция
n_orders->>n_topic: PRODUCE topic=order-events
n_topic-->>n_orders: OK partition=2 offset=88950
Note over n_topic,n_analytics: Переименованное поле останавливает читателя
n_topic->>n_analytics: RECORD partition=2 offset=90233
n_analytics-->>n_topic: consumer stopped: field total is missing
Note over n_orders,n_topic: Версия события и только добавляющие изменения
n_orders->>n_topic: PRODUCE topic=order-events
n_topic-->>n_orders: OK partition=0 offset=41022D2
direction: right
n_shop: "Приложение магазина" {
shape: rectangle
}
n_orders: "Заказы" {
shape: rectangle
}
n_email: "Email" {
shape: rectangle
style.multiple: true
}
n_stock: "Склад" {
shape: rectangle
style.multiple: true
}
n_analytics: "Аналитика" {
shape: rectangle
style.multiple: true
}
n_topic: "Топик" {
shape: queue
}
n_stock_2: "Склад 2" {
shape: rectangle
style.multiple: true
}
n_shop -> n_orders
n_orders -> n_topic
n_topic -> n_email
n_topic -> n_stock
n_topic -> n_analytics
n_topic -> n_stock_2PlantUML: последовательность запросов
@startuml
participant "Заказы" as n_orders
participant "Email" as n_email
participant "Аналитика" as n_analytics
queue "Топик" as n_topic
participant "Склад 2" as n_stock_2
note over n_orders, n_email : Сервис заказов вызывает всех сам
n_orders -> n_email : POST /send-receipt HTTP/1.1
n_email --> n_orders : HTTP/1.1 200 OK
note over n_orders, n_analytics : Упала аналитика — упало оформление
n_orders ->x n_analytics : [потеряно] POST /track HTTP/1.1
note over n_orders, n_topic : Одно событие в топик
n_orders -> n_topic : PRODUCE topic=order-events
n_topic --> n_orders : OK partition=2 offset=88412
note over n_topic, n_analytics : Мёртвый подписчик просто отстаёт
n_topic -> n_analytics : describe consumer group: analytics
n_analytics --> n_topic : PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
note over n_topic, n_analytics : Догоняем с сохранённого офсета
n_topic -> n_analytics : FETCH topic=order-events partition=2 offset=76112
n_analytics --> n_topic : RECORDS 500 (offsets 76112..76611)
note over n_topic, n_stock_2 : Группа консьюмеров делит партиции
n_topic -> n_stock_2 : JOIN group=stock member=stock-2
n_stock_2 --> n_topic : REBALANCE group=stock generation=7
note over n_orders, n_topic : Отмена пришла раньше заказа
n_orders -> n_topic : PRODUCE topic=order-events
n_topic --> n_orders : OK partition=5 offset=31907
note over n_orders, n_topic : Один ключ — одна партиция
n_orders -> n_topic : PRODUCE topic=order-events
n_topic --> n_orders : OK partition=2 offset=88950
note over n_topic, n_analytics : Переименованное поле останавливает читателя
n_topic -> n_analytics : RECORD partition=2 offset=90233
n_analytics --> n_topic : consumer stopped: field total is missing
note over n_orders, n_topic : Версия события и только добавляющие изменения
n_orders -> n_topic : PRODUCE topic=order-events
n_topic --> n_orders : OK partition=0 offset=41022
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение магазина" as n_shop
component "Заказы" as n_orders
collections "Email" as n_email
collections "Склад" as n_stock
collections "Аналитика" as n_analytics
queue "Топик" as n_topic
collections "Склад 2" as n_stock_2
n_shop --> n_orders
n_orders --> n_topic
n_topic --> n_email
n_topic --> n_stock
n_topic --> n_analytics
n_topic --> n_stock_2
@endumlИтог
Продюсер записывает факт один раз; каждая группа подписчиков читает его в своём темпе через свой офсет.
1) Медленного подписчика показывает лаг, а не ошибки. 2) Офсет коммитят после работы, при нужде историю перечитывают. 3) Подписчика масштабируют группой, до числа партиций. 4) Порядок есть только внутри ключа. 5) Событие — контракт: версионируйте и меняйте только добавлением.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Оформление p95 | 900 мс | 40 мс |
| Сорвано заказов | 0% | 0% |
| Лаг (событий) | 0 | 0 |
| Не по порядку | 0/мин | 0/мин |
Шаги
- Проблема Сервис заказов вызывает всех сам
При оформлении заказа сервис заказов по очереди вызывает email, склад и аналитику и только потом отвечает магазину.
- Проблема Упала аналитика — упало оформление
Сервис аналитики завис.
- Решение Одно событие в топик
Сервис заказов теперь пишет одно событие
order.placedв топик и отвечает магазину. - Кейс Мёртвый подписчик просто отстаёт
Аналитика снова упала.
- Решение Догоняем с сохранённого офсета
Аналитика поднимается и запрашивает записи с последнего закоммиченного офсета.
- Проблема Один подписчик не справляется
Распродажа утроила число заказов.
- Решение Группа консьюмеров делит партиции
В топике 6 партиций.
- Проблема Отмена пришла раньше заказа
Покупатель оформляет заказ и через секунду отменяет его.
- Решение Один ключ — одна партиция
Продюсер теперь ставит ключом записи ID заказа.
- Проблема Переименованное поле останавливает читателя
Команда заказов переименовывает
totalвamountи деплоит. - Решение Версия события и только добавляющие изменения
У событий появляется схема с версией, её проверяют при публикации.
- Итоги Итог
Продюсер записывает факт один раз; каждая группа подписчиков читает его в своём темпе через свой офсет.
Термины
- Pub/sub
- Продюсер один раз пишет событие в топик, а каждая группа подписчиков читает его в своём темпе по своему офсету. Медленный или упавший подписчик просто отстаёт и не тормозит продюсера.
- Группа консьюмеров
- Несколько экземпляров одного подписчика делят партиции топика, и каждую партицию читает ровно один участник. Масштабирование работает до числа партиций, а порядок сохраняется только внутри ключа.