mufassall

Шпаргалка · Архитектура

Захват изменений данных (CDC)

15 мин · Продвинутый · mufassall.dtwin.uz/ru/l/cdc/

← Открыть урок

Проблема

Интернет-магазин хранит заказы в SQL и должен отражать каждое изменение в поисковом индексе и в хранилище данных. Запись в базу и в журнал событий из одного кода теряет события. Чтение собственного журнала изменений базы не теряет, если продумать порядок, перезапуски, первый снимок и изменения схемы.

Чему вы научитесь

  • Почему двойная запись в базу и в журнал событий расходится
  • Как CDC-коннектор читает WAL или binlog и как выглядит событие изменения
  • Порядок по первичному ключу, сохранённое смещение и дубликаты после перезапуска
  • Начальный снимок плюс поток, диск под слот репликации, изменения схемы и outbox
Итоговая сцена
40%60%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_client(["Приложение магазина"])
  n_api["API заказов"]
  n_db[("База заказов")]
  n_topic[["Журнал событий"]]
  n_search["Поисковый индекс"]
  n_connector("CDC-коннектор")
  n_warehouse[("Хранилище данных")]
  n_client --> n_api
  n_api --> n_db
  n_topic --> n_search
  n_db --> n_connector
  n_connector --> n_topic
  n_topic --> n_warehouse

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API заказов
  participant n_topic as Журнал событий
  participant n_db as База заказов
  participant n_connector as CDC-коннектор
  participant n_search as Поисковый индекс
  participant n_warehouse as Хранилище данных
  Note over n_api,n_topic: API пишет дважды: в базу и в журнал событий
  n_api->>n_topic: PRODUCE orders-events
  n_topic-->>n_api: OK partition 3, offset 88123
  Note over n_api,n_topic: Коммит прошёл, публикация нет
  n_api-xn_topic: 10:00:01.120 COMMIT order 5521 status=paid
  Note over n_db,n_connector: Читаем собственный журнал изменений базы
  n_db->>n_connector: START_REPLICATION SLOT shop_cdc LOGICAL 0/1A2B3C0
  Note over n_connector,n_topic: Что несёт событие изменения
  n_connector->>n_topic: PRODUCE shop.public.orders
  Note over n_topic,n_search: Два изменения одного заказа приходят не по порядку
  n_topic->>n_search: search consumer, 2 threads, round-robin partitions
  Note over n_connector,n_topic: Партиция по первичному ключу, старые версии пропускаем
  n_connector->>n_topic: connector config: orders
  Note over n_connector,n_topic: Коннектор перезапускается и шлёт изменения снова
  n_connector->>n_topic: connector restarted, stored offset lsn=0/1A2B000
  Note over n_db,n_connector: Коннектор лежит, а диск базы заполняется
  n_db-xn_connector: pg_replication_slots: shop_cdc active=false since Saturday
  Note over n_db,n_connector: Новый потребитель: сначала снимок, потом поток
  n_db->>n_connector: BEGIN ISOLATION LEVEL REPEATABLE READ#59;
  Note over n_topic,n_warehouse: Переименование столбца ломает потребителя
  n_topic->>n_warehouse: ALTER TABLE orders RENAME COLUMN total TO total_amount#59;
  n_warehouse-->>n_topic: warehouse: field total missing in 18400 events
  Note over n_api,n_db: Outbox плюс CDC: публикуем события, а не таблицы
  n_api->>n_db: BEGIN#59;

D2

direction: right

n_client: "Приложение магазина" {
  shape: rectangle
}
n_api: "API заказов" {
  shape: rectangle
}
n_db: "База заказов" {
  shape: cylinder
}
n_topic: "Журнал событий" {
  shape: queue
}
n_search: "Поисковый индекс" {
  shape: rectangle
}
n_connector: "CDC-коннектор" {
  shape: rectangle
  style.multiple: true
}
n_warehouse: "Хранилище данных" {
  shape: cylinder
}

n_client -> n_api
n_api -> n_db
n_topic -> n_search
n_db -> n_connector
n_connector -> n_topic
n_topic -> n_warehouse

PlantUML: последовательность запросов

@startuml
participant "API заказов" as n_api
queue "Журнал событий" as n_topic
database "База заказов" as n_db
participant "CDC-коннектор" as n_connector
participant "Поисковый индекс" as n_search
database "Хранилище данных" as n_warehouse
note over n_api, n_topic : API пишет дважды: в базу и в журнал событий
n_api -> n_topic : PRODUCE orders-events
n_topic --> n_api : OK partition 3, offset 88123
note over n_api, n_topic : Коммит прошёл, публикация нет
n_api ->x n_topic : [потеряно] 10:00:01.120 COMMIT order 5521 status=paid
note over n_db, n_connector : Читаем собственный журнал изменений базы
n_db -> n_connector : START_REPLICATION SLOT shop_cdc LOGICAL 0/1A2B3C0
note over n_connector, n_topic : Что несёт событие изменения
n_connector -> n_topic : PRODUCE shop.public.orders
note over n_topic, n_search : Два изменения одного заказа приходят не по порядку
n_topic -> n_search : [дубль] search consumer, 2 threads, round-robin partitions
note over n_connector, n_topic : Партиция по первичному ключу, старые версии пропускаем
n_connector -> n_topic : connector config: orders
note over n_connector, n_topic : Коннектор перезапускается и шлёт изменения снова
n_connector -> n_topic : [дубль] connector restarted, stored offset lsn=0/1A2B000
note over n_db, n_connector : Коннектор лежит, а диск базы заполняется
n_db ->x n_connector : [потеряно] pg_replication_slots: shop_cdc active=false since Saturday
note over n_db, n_connector : Новый потребитель: сначала снимок, потом поток
n_db -> n_connector : BEGIN ISOLATION LEVEL REPEATABLE READ;
note over n_topic, n_warehouse : Переименование столбца ломает потребителя
n_topic -> n_warehouse : ALTER TABLE orders RENAME COLUMN total TO total_amount;
n_warehouse --> n_topic : warehouse: field total missing in 18400 events
note over n_api, n_db : Outbox плюс CDC: публикуем события, а не таблицы
n_api -> n_db : BEGIN;
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение магазина" as n_client
component "API заказов" as n_api
database "База заказов" as n_db
queue "Журнал событий" as n_topic
component "Поисковый индекс" as n_search
collections "CDC-коннектор" as n_connector
database "Хранилище данных" as n_warehouse
n_client --> n_api
n_api --> n_db
n_topic --> n_search
n_db --> n_connector
n_connector --> n_topic
n_topic --> n_warehouse
@enduml

Итог

Шесть правил захвата изменений.

1) Никогда не пишите в базу и в журнал событий двумя отдельными шагами. 2) Пусть коннектор читает собственный журнал базы, тогда закоммиченное изменение всегда публикуется. 3) Ключ событий это первичный ключ: порядок держится для строки, а не для всего топика. 4) Доставка минимум один раз; потребители пропускают повторы по позиции в журнале. 5) Следите за слотом репликации, иначе диск базы заполнится. 6) Начинайте с согласованного снимка, потом поток; считайте схему контрактом или публикуйте через outbox.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Заказов нет в поиске00
Отставание поиска1 с2 с
Удержанный WAL2 ГБ3 ГБ
Дубликаты событий00

Шаги

  1. Кейс API пишет дважды: в базу и в журнал событий

    Когда заказ оплачен, API заказов обновляет строку в базе, а потом публикует событие, чтобы поисковый индекс показал новый статус.

  2. Проблема Коммит прошёл, публикация нет

    База фиксирует paid.

  3. Решение Читаем собственный журнал изменений базы

    База и так пишет каждое зафиксированное изменение в свой журнал, WAL в PostgreSQL или binlog в MySQL, раньше всего остального.

  4. Кейс Что несёт событие изменения

    Каждое событие говорит, какая строка изменилась, как (c создание, u обновление, d удаление), строку до и после и место изменения в журнале.

  5. Проблема Два изменения одного заказа приходят не по порядку

    Коннектор раскладывает события по партициям по кругу, а поисковый потребитель читает партиции параллельно.

  6. Решение Партиция по первичному ключу, старые версии пропускаем

    Теперь коннектор берёт первичный ключ как ключ сообщения.

  7. Кейс Коннектор перезапускается и шлёт изменения снова

    Коннектор сохраняет свою позицию, смещение, каждые 10 секунд.

  8. Проблема Коннектор лежит, а диск базы заполняется

    Коннектор остановился в субботу, и никто не заметил.

  9. Решение Новый потребитель: сначала снимок, потом поток

    Коннектор снова работает, и подключается хранилище данных.

  10. Проблема Переименование столбца ломает потребителя

    Разработчик переименовывает total в total_amount.

  11. Решение Outbox плюс CDC: публикуем события, а не таблицы

    Вместо стрима сырых таблиц API пишет бизнес-событие в таблицу outbox в той же транзакции, что и изменение.

  12. Итоги Итог

    Шесть правил захвата изменений.

Термины

CDC (захват изменений данных)
Чтение собственного журнала базы (WAL или binlog) и передача каждого изменения строки наружу как события. Приложение не пишет в два места, поэтому база и события не расходятся.
Двойная запись (dual write)
Приложение пишет одно изменение по очереди в базу и в брокер (или поисковый индекс). Если вторая запись упала или порядок перепутался, две системы молча расходятся.