mufassall

Шпаргалка · Архитектура

Event sourcing

15 мин · Продвинутый · mufassall.dtwin.uz/ru/l/event-sourcing/

← Открыть урок

Проблема

Интернет-магазин хранит строку на заказ и обновляет её на месте. На споры нечем ответить, а две правки одновременно молча затирают друг друга. Event sourcing хранит каждое изменение как неизменяемое событие в потоке с версией, строит состояние и read-модели из событий, а потом приходится разбираться с длинными потоками, старыми форматами событий, задержкой чтения и правом на забвение.

Чему вы научитесь

  • Почему строка, обновляемая на месте, теряет историю и как поток событий с версиями её сохраняет
  • Оптимистичная конкурентность через expected_version и 409, который говорит писателю, что изменилось
  • Проекции с чекпоинтами, пересборка, снапшоты для длинных потоков и upcasting старых событий
  • Задержка чтения CQRS в интерфейсе и удаление по GDPR из неизменяемых событий через crypto-shredding
Итоговая сцена
30%30%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_app(["Приложение"])
  n_support(("Поддержка"))
  n_api["Сервис заказов"]
  n_store[("Event store")]
  n_projector("Проектор")
  n_views[("Read-модель")]
  n_vault>"Хранилище ключей"]
  n_app --> n_api
  n_support --> n_api
  n_api --> n_store
  n_projector --> n_store
  n_projector --> n_views
  n_api --> n_views
  n_api --> n_vault

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as Сервис заказов
  participant n_orders as Таблица заказов
  participant n_store as Event store
  actor n_support as Поддержка
  participant n_projector as Проектор
  participant n_views as Read-модель
  participant n_app as Приложение
  participant n_vault as Хранилище ключей
  Note over n_api,n_orders: Заказ — строка, которая постоянно меняется
  n_api->>n_orders: UPDATE orders
  n_orders-->>n_api: UPDATE 1
  Note over n_api,n_orders: Поддержка затирает правку покупателя, и никто не знает
  n_api->>n_orders: 10:02:11 app SET address = '12 Elm St'
  Note over n_api,n_store: События дописывают, но никогда не обновляют
  n_api->>n_store: INSERT INTO events (stream_id, version, type, data)
  n_store-->>n_api: INSERT 0 1
  Note over n_support,n_api: Ожидаемая версия: устаревшую запись отклоняют
  n_support->>n_api: POST /v1/streams/order-ord_77/events HTTP/1.1
  n_api-->>n_support: HTTP/1.1 409 Conflict
  Note over n_projector,n_views: Read-модели строятся из событий
  n_projector->>n_views: projector order_list checkpoint 1204880
  Note over n_api,n_store: Поток на 120 000 событий
  n_api->>n_store: SELECT type, data FROM events
  n_store-->>n_api: 120037 rows 2.6 s
  Note over n_api,n_store: Снапшоты: старт с сохранённого состояния
  n_api->>n_store: snapshot account-b_12
  n_store-->>n_api: then: events WHERE version #62; 120000
  Note over n_projector,n_store: Новый код встречает событие из 2024 года
  n_projector->>n_store: projector order_list v2 started
  Note over n_projector,n_store: Upcasting: старые события преобразуются при чтении
  n_projector->>n_store: stored in 2024 (never rewritten)
  n_store-->>n_projector: after upcast v1 -#62; v2 (in memory)
  Note over n_app,n_api: Пользователь сохраняет и видит старое значение
  n_app->>n_api: GET /v1/orders/ord_77?min_version=7 HTTP/1.1
  n_api-->>n_app: HTTP/1.1 200 OK
  Note over n_api,n_vault: Забыть покупателя, не редактируя события
  n_api->>n_vault: DELETE /v1/keys/subject/c_501 HTTP/1.1
  n_vault-->>n_api: HTTP/1.1 200 OK

D2

direction: right

n_app: "Приложение" {
  shape: rectangle
}
n_support: "Поддержка" {
  shape: person
}
n_api: "Сервис заказов" {
  shape: rectangle
}
n_store: "Event store" {
  shape: cylinder
}
n_projector: "Проектор" {
  shape: rectangle
  style.multiple: true
}
n_views: "Read-модель" {
  shape: cylinder
}
n_vault: "Хранилище ключей" {
  shape: cloud
}

n_app -> n_api
n_support -> n_api
n_api -> n_store
n_projector -> n_store
n_projector -> n_views
n_api -> n_views
n_api -> n_vault

PlantUML: последовательность запросов

@startuml
participant "Сервис заказов" as n_api
database "Таблица заказов" as n_orders
database "Event store" as n_store
actor "Поддержка" as n_support
participant "Проектор" as n_projector
database "Read-модель" as n_views
participant "Приложение" as n_app
boundary "Хранилище ключей" as n_vault
note over n_api, n_orders : Заказ — строка, которая постоянно меняется
n_api -> n_orders : UPDATE orders
n_orders --> n_api : UPDATE 1
note over n_api, n_orders : Поддержка затирает правку покупателя, и никто не знает
n_api -> n_orders : [дубль] 10:02:11 app SET address = '12 Elm St'
note over n_api, n_store : События дописывают, но никогда не обновляют
n_api -> n_store : INSERT INTO events (stream_id, version, type, data)
n_store --> n_api : INSERT 0 1
note over n_support, n_api : Ожидаемая версия: устаревшую запись отклоняют
n_support -> n_api : POST /v1/streams/order-ord_77/events HTTP/1.1
n_api --> n_support : HTTP/1.1 409 Conflict
note over n_projector, n_views : Read-модели строятся из событий
n_projector -> n_views : projector order_list checkpoint 1204880
note over n_api, n_store : Поток на 120 000 событий
n_api -> n_store : SELECT type, data FROM events
n_store --> n_api : 120037 rows 2.6 s
note over n_api, n_store : Снапшоты: старт с сохранённого состояния
n_api -> n_store : snapshot account-b_12
n_store --> n_api : then: events WHERE version > 120000
note over n_projector, n_store : Новый код встречает событие из 2024 года
n_projector -> n_store : projector order_list v2 started
note over n_projector, n_store : Upcasting: старые события преобразуются при чтении
n_projector -> n_store : stored in 2024 (never rewritten)
n_store --> n_projector : after upcast v1 -> v2 (in memory)
note over n_app, n_api : Пользователь сохраняет и видит старое значение
n_app -> n_api : GET /v1/orders/ord_77?min_version=7 HTTP/1.1
n_api --> n_app : HTTP/1.1 200 OK
note over n_api, n_vault : Забыть покупателя, не редактируя события
n_api -> n_vault : DELETE /v1/keys/subject/c_501 HTTP/1.1
n_vault --> n_api : HTTP/1.1 200 OK
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение" as n_app
actor "Поддержка" as n_support
component "Сервис заказов" as n_api
database "Event store" as n_store
collections "Проектор" as n_projector
database "Read-модель" as n_views
cloud "Хранилище ключей" as n_vault
n_app --> n_api
n_support --> n_api
n_api --> n_store
n_projector --> n_store
n_projector --> n_views
n_api --> n_views
n_api --> n_vault
@enduml

Итог

Шесть правил event sourcing.

1) Храните изменения как неизменяемые события в прошедшем времени в потоках с версией; состояние — это свертка. 2) Дописывайте с expected_version; 409 говорит писателю, что он пропустил. 3) Read-модели — одноразовые проекции с чекпоинтом в той же транзакции; пересобираются проигрыванием. 4) Снапшоты — только для длинных потоков, и это кэш. 5) События вечны: версионируйте их и апкастите старые при чтении. 6) Закладывайте задержку чтения в интерфейс и шифруйте персональные данные ключом на субъекта, чтобы удаление было удалением ключа.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Споры без ответа0/день0/день
Затёртые правки0/день0/день
Отставание read-модели0 мс340 мс
Загрузка потока3 мс30 мс

Шаги

  1. Кейс Заказ — строка, которая постоянно меняется

    Сервис заказов хранит одну строку на заказ.

  2. Проблема Поддержка затирает правку покупателя, и никто не знает

    В 10:02 покупатель меняет адрес доставки в приложении.

  3. Решение События дописывают, но никогда не обновляют

    Каждое изменение становится событием: OrderPlaced, ItemAdded, AddressChanged, OrderShipped.

  4. Решение Ожидаемая версия: устаревшую запись отклоняют

    Каждое дописывание сообщает, какую версию писатель видел последней.

  5. Решение Read-модели строятся из событий

    Свертка потока годится для одного заказа, но не для «всех открытых заказов этого города».

  6. Проблема Поток на 120 000 событий

    У оптовых покупателей есть поток аккаунта: каждая строка заказа, платёж и изменение кредита с 2021 года.

  7. Решение Снапшоты: старт с сохранённого состояния

    Каждые 500 событий сервис сохраняет снапшот — свёрнутое состояние потока на определённой версии.

  8. Проблема Новый код встречает событие из 2024 года

    Команда разбивает адрес на улицу, город и индекс.

  9. Решение Upcasting: старые события преобразуются при чтении

    Каждое событие несёт версию схемы.

  10. Решение Пользователь сохраняет и видит старое значение

    Покупатель меняет адрес, и приложение открывает страницу заказа.

  11. Решение Забыть покупателя, не редактируя события

    Покупатель просит удалить его данные.

  12. Итоги Итог

    Шесть правил event sourcing.

Термины

Event sourcing
Хранение каждого изменения как неизменяемого события в потоке с версией; текущее состояние вычисляется проигрыванием событий.
CQRS
Разделение модели записи и read-моделей, построенных под запросы и обычно немного отстающих.
Crypto-shredding
Удаление данных, которые нельзя стереть (события, бэкапы), уничтожением ключа субъекта, которым они зашифрованы.