Шпаргалка · Архитектура
Event sourcing
Проблема
Интернет-магазин хранит строку на заказ и обновляет её на месте. На споры нечем ответить, а две правки одновременно молча затирают друг друга. Event sourcing хранит каждое изменение как неизменяемое событие в потоке с версией, строит состояние и read-модели из событий, а потом приходится разбираться с длинными потоками, старыми форматами событий, задержкой чтения и правом на забвение.
Чему вы научитесь
- Почему строка, обновляемая на месте, теряет историю и как поток событий с версиями её сохраняет
- Оптимистичная конкурентность через
expected_versionи 409, который говорит писателю, что изменилось - Проекции с чекпоинтами, пересборка, снапшоты для длинных потоков и upcasting старых событий
- Задержка чтения CQRS в интерфейсе и удаление по GDPR из неизменяемых событий через crypto-shredding
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_app(["Приложение"])
n_support(("Поддержка"))
n_api["Сервис заказов"]
n_store[("Event store")]
n_projector("Проектор")
n_views[("Read-модель")]
n_vault>"Хранилище ключей"]
n_app --> n_api
n_support --> n_api
n_api --> n_store
n_projector --> n_store
n_projector --> n_views
n_api --> n_views
n_api --> n_vaultMermaid: последовательность запросов
sequenceDiagram
participant n_api as Сервис заказов
participant n_orders as Таблица заказов
participant n_store as Event store
actor n_support as Поддержка
participant n_projector as Проектор
participant n_views as Read-модель
participant n_app as Приложение
participant n_vault as Хранилище ключей
Note over n_api,n_orders: Заказ — строка, которая постоянно меняется
n_api->>n_orders: UPDATE orders
n_orders-->>n_api: UPDATE 1
Note over n_api,n_orders: Поддержка затирает правку покупателя, и никто не знает
n_api->>n_orders: 10:02:11 app SET address = '12 Elm St'
Note over n_api,n_store: События дописывают, но никогда не обновляют
n_api->>n_store: INSERT INTO events (stream_id, version, type, data)
n_store-->>n_api: INSERT 0 1
Note over n_support,n_api: Ожидаемая версия: устаревшую запись отклоняют
n_support->>n_api: POST /v1/streams/order-ord_77/events HTTP/1.1
n_api-->>n_support: HTTP/1.1 409 Conflict
Note over n_projector,n_views: Read-модели строятся из событий
n_projector->>n_views: projector order_list checkpoint 1204880
Note over n_api,n_store: Поток на 120 000 событий
n_api->>n_store: SELECT type, data FROM events
n_store-->>n_api: 120037 rows 2.6 s
Note over n_api,n_store: Снапшоты: старт с сохранённого состояния
n_api->>n_store: snapshot account-b_12
n_store-->>n_api: then: events WHERE version #62; 120000
Note over n_projector,n_store: Новый код встречает событие из 2024 года
n_projector->>n_store: projector order_list v2 started
Note over n_projector,n_store: Upcasting: старые события преобразуются при чтении
n_projector->>n_store: stored in 2024 (never rewritten)
n_store-->>n_projector: after upcast v1 -#62; v2 (in memory)
Note over n_app,n_api: Пользователь сохраняет и видит старое значение
n_app->>n_api: GET /v1/orders/ord_77?min_version=7 HTTP/1.1
n_api-->>n_app: HTTP/1.1 200 OK
Note over n_api,n_vault: Забыть покупателя, не редактируя события
n_api->>n_vault: DELETE /v1/keys/subject/c_501 HTTP/1.1
n_vault-->>n_api: HTTP/1.1 200 OKD2
direction: right
n_app: "Приложение" {
shape: rectangle
}
n_support: "Поддержка" {
shape: person
}
n_api: "Сервис заказов" {
shape: rectangle
}
n_store: "Event store" {
shape: cylinder
}
n_projector: "Проектор" {
shape: rectangle
style.multiple: true
}
n_views: "Read-модель" {
shape: cylinder
}
n_vault: "Хранилище ключей" {
shape: cloud
}
n_app -> n_api
n_support -> n_api
n_api -> n_store
n_projector -> n_store
n_projector -> n_views
n_api -> n_views
n_api -> n_vaultPlantUML: последовательность запросов
@startuml
participant "Сервис заказов" as n_api
database "Таблица заказов" as n_orders
database "Event store" as n_store
actor "Поддержка" as n_support
participant "Проектор" as n_projector
database "Read-модель" as n_views
participant "Приложение" as n_app
boundary "Хранилище ключей" as n_vault
note over n_api, n_orders : Заказ — строка, которая постоянно меняется
n_api -> n_orders : UPDATE orders
n_orders --> n_api : UPDATE 1
note over n_api, n_orders : Поддержка затирает правку покупателя, и никто не знает
n_api -> n_orders : [дубль] 10:02:11 app SET address = '12 Elm St'
note over n_api, n_store : События дописывают, но никогда не обновляют
n_api -> n_store : INSERT INTO events (stream_id, version, type, data)
n_store --> n_api : INSERT 0 1
note over n_support, n_api : Ожидаемая версия: устаревшую запись отклоняют
n_support -> n_api : POST /v1/streams/order-ord_77/events HTTP/1.1
n_api --> n_support : HTTP/1.1 409 Conflict
note over n_projector, n_views : Read-модели строятся из событий
n_projector -> n_views : projector order_list checkpoint 1204880
note over n_api, n_store : Поток на 120 000 событий
n_api -> n_store : SELECT type, data FROM events
n_store --> n_api : 120037 rows 2.6 s
note over n_api, n_store : Снапшоты: старт с сохранённого состояния
n_api -> n_store : snapshot account-b_12
n_store --> n_api : then: events WHERE version > 120000
note over n_projector, n_store : Новый код встречает событие из 2024 года
n_projector -> n_store : projector order_list v2 started
note over n_projector, n_store : Upcasting: старые события преобразуются при чтении
n_projector -> n_store : stored in 2024 (never rewritten)
n_store --> n_projector : after upcast v1 -> v2 (in memory)
note over n_app, n_api : Пользователь сохраняет и видит старое значение
n_app -> n_api : GET /v1/orders/ord_77?min_version=7 HTTP/1.1
n_api --> n_app : HTTP/1.1 200 OK
note over n_api, n_vault : Забыть покупателя, не редактируя события
n_api -> n_vault : DELETE /v1/keys/subject/c_501 HTTP/1.1
n_vault --> n_api : HTTP/1.1 200 OK
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение" as n_app
actor "Поддержка" as n_support
component "Сервис заказов" as n_api
database "Event store" as n_store
collections "Проектор" as n_projector
database "Read-модель" as n_views
cloud "Хранилище ключей" as n_vault
n_app --> n_api
n_support --> n_api
n_api --> n_store
n_projector --> n_store
n_projector --> n_views
n_api --> n_views
n_api --> n_vault
@endumlИтог
Шесть правил event sourcing.
1) Храните изменения как неизменяемые события в прошедшем времени в потоках с версией; состояние — это свертка. 2) Дописывайте с expected_version; 409 говорит писателю, что он пропустил. 3) Read-модели — одноразовые проекции с чекпоинтом в той же транзакции; пересобираются проигрыванием. 4) Снапшоты — только для длинных потоков, и это кэш. 5) События вечны: версионируйте их и апкастите старые при чтении. 6) Закладывайте задержку чтения в интерфейс и шифруйте персональные данные ключом на субъекта, чтобы удаление было удалением ключа.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Споры без ответа | 0/день | 0/день |
| Затёртые правки | 0/день | 0/день |
| Отставание read-модели | 0 мс | 340 мс |
| Загрузка потока | 3 мс | 30 мс |
Шаги
- Кейс Заказ — строка, которая постоянно меняется
Сервис заказов хранит одну строку на заказ.
- Проблема Поддержка затирает правку покупателя, и никто не знает
В 10:02 покупатель меняет адрес доставки в приложении.
- Решение События дописывают, но никогда не обновляют
Каждое изменение становится событием:
OrderPlaced,ItemAdded,AddressChanged,OrderShipped. - Решение Ожидаемая версия: устаревшую запись отклоняют
Каждое дописывание сообщает, какую версию писатель видел последней.
- Решение Read-модели строятся из событий
Свертка потока годится для одного заказа, но не для «всех открытых заказов этого города».
- Проблема Поток на 120 000 событий
У оптовых покупателей есть поток аккаунта: каждая строка заказа, платёж и изменение кредита с 2021 года.
- Решение Снапшоты: старт с сохранённого состояния
Каждые 500 событий сервис сохраняет снапшот — свёрнутое состояние потока на определённой версии.
- Проблема Новый код встречает событие из 2024 года
Команда разбивает адрес на улицу, город и индекс.
- Решение Upcasting: старые события преобразуются при чтении
Каждое событие несёт версию схемы.
- Решение Пользователь сохраняет и видит старое значение
Покупатель меняет адрес, и приложение открывает страницу заказа.
- Решение Забыть покупателя, не редактируя события
Покупатель просит удалить его данные.
- Итоги Итог
Шесть правил event sourcing.
Термины
- Event sourcing
- Хранение каждого изменения как неизменяемого события в потоке с версией; текущее состояние вычисляется проигрыванием событий.
- CQRS
- Разделение модели записи и read-моделей, построенных под запросы и обычно немного отстающих.
- Crypto-shredding
- Удаление данных, которые нельзя стереть (события, бэкапы), уничтожением ключа субъекта, которым они зашифрованы.