Шпаргалка · Архитектура
Захват изменений данных (CDC)
Проблема
Интернет-магазин хранит заказы в SQL и должен отражать каждое изменение в поисковом индексе и в хранилище данных. Запись в базу и в журнал событий из одного кода теряет события. Чтение собственного журнала изменений базы не теряет, если продумать порядок, перезапуски, первый снимок и изменения схемы.
Чему вы научитесь
- Почему двойная запись в базу и в журнал событий расходится
- Как CDC-коннектор читает WAL или binlog и как выглядит событие изменения
- Порядок по первичному ключу, сохранённое смещение и дубликаты после перезапуска
- Начальный снимок плюс поток, диск под слот репликации, изменения схемы и outbox
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_client(["Приложение магазина"])
n_api["API заказов"]
n_db[("База заказов")]
n_topic[["Журнал событий"]]
n_search["Поисковый индекс"]
n_connector("CDC-коннектор")
n_warehouse[("Хранилище данных")]
n_client --> n_api
n_api --> n_db
n_topic --> n_search
n_db --> n_connector
n_connector --> n_topic
n_topic --> n_warehouseMermaid: последовательность запросов
sequenceDiagram
participant n_api as API заказов
participant n_topic as Журнал событий
participant n_db as База заказов
participant n_connector as CDC-коннектор
participant n_search as Поисковый индекс
participant n_warehouse as Хранилище данных
Note over n_api,n_topic: API пишет дважды: в базу и в журнал событий
n_api->>n_topic: PRODUCE orders-events
n_topic-->>n_api: OK partition 3, offset 88123
Note over n_api,n_topic: Коммит прошёл, публикация нет
n_api-xn_topic: 10:00:01.120 COMMIT order 5521 status=paid
Note over n_db,n_connector: Читаем собственный журнал изменений базы
n_db->>n_connector: START_REPLICATION SLOT shop_cdc LOGICAL 0/1A2B3C0
Note over n_connector,n_topic: Что несёт событие изменения
n_connector->>n_topic: PRODUCE shop.public.orders
Note over n_topic,n_search: Два изменения одного заказа приходят не по порядку
n_topic->>n_search: search consumer, 2 threads, round-robin partitions
Note over n_connector,n_topic: Партиция по первичному ключу, старые версии пропускаем
n_connector->>n_topic: connector config: orders
Note over n_connector,n_topic: Коннектор перезапускается и шлёт изменения снова
n_connector->>n_topic: connector restarted, stored offset lsn=0/1A2B000
Note over n_db,n_connector: Коннектор лежит, а диск базы заполняется
n_db-xn_connector: pg_replication_slots: shop_cdc active=false since Saturday
Note over n_db,n_connector: Новый потребитель: сначала снимок, потом поток
n_db->>n_connector: BEGIN ISOLATION LEVEL REPEATABLE READ#59;
Note over n_topic,n_warehouse: Переименование столбца ломает потребителя
n_topic->>n_warehouse: ALTER TABLE orders RENAME COLUMN total TO total_amount#59;
n_warehouse-->>n_topic: warehouse: field total missing in 18400 events
Note over n_api,n_db: Outbox плюс CDC: публикуем события, а не таблицы
n_api->>n_db: BEGIN#59;D2
direction: right
n_client: "Приложение магазина" {
shape: rectangle
}
n_api: "API заказов" {
shape: rectangle
}
n_db: "База заказов" {
shape: cylinder
}
n_topic: "Журнал событий" {
shape: queue
}
n_search: "Поисковый индекс" {
shape: rectangle
}
n_connector: "CDC-коннектор" {
shape: rectangle
style.multiple: true
}
n_warehouse: "Хранилище данных" {
shape: cylinder
}
n_client -> n_api
n_api -> n_db
n_topic -> n_search
n_db -> n_connector
n_connector -> n_topic
n_topic -> n_warehousePlantUML: последовательность запросов
@startuml
participant "API заказов" as n_api
queue "Журнал событий" as n_topic
database "База заказов" as n_db
participant "CDC-коннектор" as n_connector
participant "Поисковый индекс" as n_search
database "Хранилище данных" as n_warehouse
note over n_api, n_topic : API пишет дважды: в базу и в журнал событий
n_api -> n_topic : PRODUCE orders-events
n_topic --> n_api : OK partition 3, offset 88123
note over n_api, n_topic : Коммит прошёл, публикация нет
n_api ->x n_topic : [потеряно] 10:00:01.120 COMMIT order 5521 status=paid
note over n_db, n_connector : Читаем собственный журнал изменений базы
n_db -> n_connector : START_REPLICATION SLOT shop_cdc LOGICAL 0/1A2B3C0
note over n_connector, n_topic : Что несёт событие изменения
n_connector -> n_topic : PRODUCE shop.public.orders
note over n_topic, n_search : Два изменения одного заказа приходят не по порядку
n_topic -> n_search : [дубль] search consumer, 2 threads, round-robin partitions
note over n_connector, n_topic : Партиция по первичному ключу, старые версии пропускаем
n_connector -> n_topic : connector config: orders
note over n_connector, n_topic : Коннектор перезапускается и шлёт изменения снова
n_connector -> n_topic : [дубль] connector restarted, stored offset lsn=0/1A2B000
note over n_db, n_connector : Коннектор лежит, а диск базы заполняется
n_db ->x n_connector : [потеряно] pg_replication_slots: shop_cdc active=false since Saturday
note over n_db, n_connector : Новый потребитель: сначала снимок, потом поток
n_db -> n_connector : BEGIN ISOLATION LEVEL REPEATABLE READ;
note over n_topic, n_warehouse : Переименование столбца ломает потребителя
n_topic -> n_warehouse : ALTER TABLE orders RENAME COLUMN total TO total_amount;
n_warehouse --> n_topic : warehouse: field total missing in 18400 events
note over n_api, n_db : Outbox плюс CDC: публикуем события, а не таблицы
n_api -> n_db : BEGIN;
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение магазина" as n_client
component "API заказов" as n_api
database "База заказов" as n_db
queue "Журнал событий" as n_topic
component "Поисковый индекс" as n_search
collections "CDC-коннектор" as n_connector
database "Хранилище данных" as n_warehouse
n_client --> n_api
n_api --> n_db
n_topic --> n_search
n_db --> n_connector
n_connector --> n_topic
n_topic --> n_warehouse
@endumlИтог
Шесть правил захвата изменений.
1) Никогда не пишите в базу и в журнал событий двумя отдельными шагами. 2) Пусть коннектор читает собственный журнал базы, тогда закоммиченное изменение всегда публикуется. 3) Ключ событий это первичный ключ: порядок держится для строки, а не для всего топика. 4) Доставка минимум один раз; потребители пропускают повторы по позиции в журнале. 5) Следите за слотом репликации, иначе диск базы заполнится. 6) Начинайте с согласованного снимка, потом поток; считайте схему контрактом или публикуйте через outbox.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Заказов нет в поиске | 0 | 0 |
| Отставание поиска | 1 с | 2 с |
| Удержанный WAL | 2 ГБ | 3 ГБ |
| Дубликаты событий | 0 | 0 |
Шаги
- Кейс API пишет дважды: в базу и в журнал событий
Когда заказ оплачен, API заказов обновляет строку в базе, а потом публикует событие, чтобы поисковый индекс показал новый статус.
- Проблема Коммит прошёл, публикация нет
База фиксирует
paid. - Решение Читаем собственный журнал изменений базы
База и так пишет каждое зафиксированное изменение в свой журнал, WAL в PostgreSQL или binlog в MySQL, раньше всего остального.
- Кейс Что несёт событие изменения
Каждое событие говорит, какая строка изменилась, как (
cсоздание,uобновление,dудаление), строку до и после и место изменения в журнале. - Проблема Два изменения одного заказа приходят не по порядку
Коннектор раскладывает события по партициям по кругу, а поисковый потребитель читает партиции параллельно.
- Решение Партиция по первичному ключу, старые версии пропускаем
Теперь коннектор берёт первичный ключ как ключ сообщения.
- Кейс Коннектор перезапускается и шлёт изменения снова
Коннектор сохраняет свою позицию, смещение, каждые 10 секунд.
- Проблема Коннектор лежит, а диск базы заполняется
Коннектор остановился в субботу, и никто не заметил.
- Решение Новый потребитель: сначала снимок, потом поток
Коннектор снова работает, и подключается хранилище данных.
- Проблема Переименование столбца ломает потребителя
Разработчик переименовывает
totalвtotal_amount. - Решение Outbox плюс CDC: публикуем события, а не таблицы
Вместо стрима сырых таблиц API пишет бизнес-событие в таблицу
outboxв той же транзакции, что и изменение. - Итоги Итог
Шесть правил захвата изменений.
Термины
- CDC (захват изменений данных)
- Чтение собственного журнала базы (WAL или binlog) и передача каждого изменения строки наружу как события. Приложение не пишет в два места, поэтому база и события не расходятся.
- Двойная запись (dual write)
- Приложение пишет одно изменение по очереди в базу и в брокер (или поисковый индекс). Если вторая запись упала или порядок перепутался, две системы молча расходятся.