Архитектура / 4 / 9
Захват изменений данных (CDC)
Интернет-магазин хранит заказы в SQL и должен отражать каждое изменение в поисковом индексе и в хранилище данных. Запись в базу и в журнал событий из одного кода теряет события. Чтение собственного журнала изменений базы не теряет, если продумать порядок, перезапуски, первый снимок и изменения схемы.
- 15 мин
- Продвинутый
- 12 шагов
- Заказов нет в поиске
- 0
- Отставание поиска
- 1 с
- Удержанный WAL
- 2 ГБ
- Дубликаты событий
- 0
- запрос
- ответ
- повторная доставка
- дубликат
- потеряно
Цифры — модельный сценарий, не замеры
Настоящий запрос
API заказов → Журнал событийЗапрос
PRODUCE orders-events
key1: 5521
{
"order_id": 5521,
"status": 2"paid",
"total": 129000
}
Ответ
OK partition 3, offset 881233
key— Id заказа. Все события одного заказа попадают в одну партицию.status— Новое состояние, которое должен показать поиск.offset— Позиция события в журнале. Теперь оно у брокера.
Соберите самиШпаргалкаСравнение уроков
Курс: Уроков: 74
01 Основы
02 Масштабирование
03 Данные и хранение
04 Взаимодействие
05 Надёжность
06 Архитектура
07 Безопасность
08 Поставка
09 Целые системы
10 Бизнес-процессы
11 Разборы реальных систем