Шпаргалка · Данные и хранение
CAP: когда рвётся связь
Проблема
Сервис бронирования мест работает в двух дата-центрах, которые копируют изменения друг другу. Когда связь между ними рвётся, каждая сторона выбирает: отказать в записи и остаться правой или принять запись и разбирать конфликты потом. Как кворумы делают этот выбор автоматическим.
Чему вы научитесь
- Почему асинхронная репликация даёт устаревшие чтения (eventual consistency)
- К какому выбору вынуждает сетевой раздел: согласованность или доступность
- Как доступная система сводит конфликтующие записи после восстановления связи
- Почему кворум с R + W > N даёт свежие чтения и пускает на запись только большинство
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_user_e(("Пользователь (восток)"))
n_api_e["API восток"]
n_db_e[("БД восток")]
n_user_w(("Пользователь (запад)"))
n_api_w["API запад"]
n_db_w[("БД запад")]
n_db_t[("БД третьей площадки")]
n_user_e --x n_api_e
n_api_e --> n_db_e
n_user_w --> n_api_w
n_api_w --> n_db_w
n_db_e --x|"потеряно"| n_db_w
n_api_e --x|"потеряно"| n_db_t
n_api_w --> n_db_t
classDef slow fill:#fff4d6,stroke:#b26a00,color:#3d2600
class n_api_e slowMermaid: последовательность запросов
sequenceDiagram
participant n_db_e as БД восток
participant n_db_w as БД запад
actor n_user_w as Пользователь (запад)
participant n_api_w as API запад
participant n_fixer as Сверщик
participant n_api_e as API восток
participant n_db_t as БД третьей площадки
actor n_user_e as Пользователь (восток)
Note over n_db_e,n_db_w: Два дата-центра, одна система бронирования
n_db_e->>n_db_w: REPLICATE dc-east -#62; dc-west
Note over n_user_w,n_api_w: 30 мс стороны не согласны друг с другом
n_user_w->>n_api_w: GET /seats/14A HTTP/1.1
n_api_w-->>n_user_w: HTTP/1.1 200 OK
Note over n_db_e,n_db_w: Связь между площадками оборвалась
n_db_e-xn_db_w: ERROR replication to dc-west: connection timed out after 5000 ms
Note over n_user_w,n_api_w: Выбор 1: остаться правым, отказать в записи
n_user_w->>n_api_w: POST /seats/14B/hold HTTP/1.1
n_api_w-->>n_user_w: HTTP/1.1 503 Service Unavailable
Note over n_api_w,n_db_w: Выбор 2: остаться доступным, принимать записи с обеих сторон
n_api_w->>n_db_w: UPDATE seats SET holder = 'u_77',
n_db_w-->>n_api_w: UPDATE 1
Note over n_db_e,n_db_w: Связь вернулась, а с ней и конфликты
n_db_e->>n_db_w: REPLICATE dc-east -#62; dc-west
Note over n_db_w,n_fixer: Сверка по бизнес-правилу
n_db_w->>n_fixer: RESOLVE seat:14B
Note over n_api_e,n_db_t: Три реплики: пишем в две, читаем из двух
n_api_e->>n_db_t: PUT seat:14C holder=u_42 N=3 W=2
Note over n_user_e,n_api_e: Теперь раздел решается сам
n_user_e->>n_api_e: POST /seats/14D/hold HTTP/1.1
n_api_e-->>n_user_e: HTTP/1.1 503 Service UnavailableD2
direction: right
n_user_e: "Пользователь (восток)" {
shape: person
}
n_api_e: "API восток" {
shape: rectangle
style.fill: "#fff4d6"
style.stroke: "#b26a00"
}
n_db_e: "БД восток" {
shape: cylinder
}
n_user_w: "Пользователь (запад)" {
shape: person
}
n_api_w: "API запад" {
shape: rectangle
}
n_db_w: "БД запад" {
shape: cylinder
}
n_db_t: "БД третьей площадки" {
shape: cylinder
}
n_user_e -> n_api_e {
target-arrowhead.shape: cross
}
n_api_e -> n_db_e
n_user_w -> n_api_w
n_api_w -> n_db_w
n_db_e -> n_db_w: "потеряно" {
target-arrowhead.shape: cross
}
n_api_e -> n_db_t: "потеряно" {
target-arrowhead.shape: cross
}
n_api_w -> n_db_tPlantUML: последовательность запросов
@startuml
database "БД восток" as n_db_e
database "БД запад" as n_db_w
actor "Пользователь (запад)" as n_user_w
participant "API запад" as n_api_w
participant "Сверщик" as n_fixer
participant "API восток" as n_api_e
database "БД третьей площадки" as n_db_t
actor "Пользователь (восток)" as n_user_e
note over n_db_e, n_db_w : Два дата-центра, одна система бронирования
n_db_e -> n_db_w : REPLICATE dc-east -> dc-west
note over n_user_w, n_api_w : 30 мс стороны не согласны друг с другом
n_user_w -> n_api_w : GET /seats/14A HTTP/1.1
n_api_w --> n_user_w : HTTP/1.1 200 OK
note over n_db_e, n_db_w : Связь между площадками оборвалась
n_db_e ->x n_db_w : [потеряно] ERROR replication to dc-west: connection timed out after 5000 ms
note over n_user_w, n_api_w : Выбор 1: остаться правым, отказать в записи
n_user_w -> n_api_w : POST /seats/14B/hold HTTP/1.1
n_api_w --> n_user_w : HTTP/1.1 503 Service Unavailable
note over n_api_w, n_db_w : Выбор 2: остаться доступным, принимать записи с обеих сторон
n_api_w -> n_db_w : UPDATE seats SET holder = 'u_77',
n_db_w --> n_api_w : UPDATE 1
note over n_db_e, n_db_w : Связь вернулась, а с ней и конфликты
n_db_e -> n_db_w : [дубль] REPLICATE dc-east -> dc-west
note over n_db_w, n_fixer : Сверка по бизнес-правилу
n_db_w -> n_fixer : RESOLVE seat:14B
note over n_api_e, n_db_t : Три реплики: пишем в две, читаем из двух
n_api_e -> n_db_t : PUT seat:14C holder=u_42 N=3 W=2
note over n_user_e, n_api_e : Теперь раздел решается сам
n_user_e -> n_api_e : POST /seats/14D/hold HTTP/1.1
n_api_e --> n_user_e : HTTP/1.1 503 Service Unavailable
@endumlPlantUML: компоненты
@startuml
left to right direction
actor "Пользователь (восток)" as n_user_e
component "API восток" as n_api_e #fff4d6;line:b26a00
database "БД восток" as n_db_e
actor "Пользователь (запад)" as n_user_w
component "API запад" as n_api_w
database "БД запад" as n_db_w
database "БД третьей площадки" as n_db_t
n_user_e -[#c62828]-> n_api_e
n_api_e --> n_db_e
n_user_w --> n_api_w
n_api_w --> n_db_w
n_db_e -[#c62828,dashed]-> n_db_w : потеряно
n_api_e -[#c62828,dashed]-> n_db_t : потеряно
n_api_w --> n_db_t
@endumlИтог
Связь между площадками рвётся, и тогда приходится выбирать: быть правым или быть доступным. На время обрыва одновременно не получится.
1) Асинхронная репликация даже в хороший день даёт короткие устаревшие чтения. 2) Согласованность (CP): отрезанная сторона отказывает в записи. 3) Доступность (AP): принимают обе стороны, потом бизнес-правило сводит конфликты. 4) Кворум с R + W > N даёт свежие чтения и пускает на запись только сторону большинства.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Принято записей | 100% | 50% |
| Устаревшие чтения | 0% | 0% |
| Неразрешённые конфликты | 0/ч | 0/ч |
| Лаг репликации | 30 мс | 30 мс |
Шаги
- Кейс Два дата-центра, одна система бронирования
Пользователи у восточной площадки бронируют места через восточный API, у западной — через западный.
- Проблема 30 мс стороны не согласны друг с другом
u_42бронирует место 14A на востоке. - Проблема Связь между площадками оборвалась
Перерубили оптику между дата-центрами.
- Решение Выбор 1: остаться правым, отказать в записи
Главный (primary) для бронирований — восток.
- Кейс Выбор 2: остаться доступным, принимать записи с обеих сторон
Другой вариант: запад продолжает принимать брони во время обрыва.
- Проблема Связь вернулась, а с ней и конфликты
Оптику починили, репликация возобновилась.
- Решение Сверка по бизнес-правилу
Сверщик (reconciler) читает каждый конфликт и применяет правило, выбранное бизнесом: для мест побеждает более ранняя бронь.
- Решение Три реплики: пишем в две, читаем из двух
Добавили небольшую третью площадку.
- Кейс Теперь раздел решается сам
Восток отрезан от обеих других площадок.
- Итоги Итог
Связь между площадками рвётся, и тогда приходится выбирать: быть правым или быть доступным.
Термины
- CAP
- При сетевом разделе система должна выбрать: остаться согласованной (CP) и отказать в записи на отрезанной стороне или остаться доступной (AP) и принимать записи с обеих сторон. Во время разрыва нельзя получить и то и другое.
- Сетевой раздел (partition)
- Обрыв связи между частями системы, после которого они не видят друг друга. Обе стороны продолжают работать, но согласоваться не могут.
- Eventual consistency (согласованность в конечном счёте)
- Если записи прекратились, все копии в итоге совпадут, но не в каждый момент. При асинхронной репликации ненадолго возможны устаревшие чтения.
- Кворум (R + W > N)
- Запись считается выполненной, когда её подтвердили W из N реплик, а чтение опрашивает R реплик. Если R + W > N, каждое чтение пересекается с последней записью хотя бы на одной реплике, и писать может только большинство.