mufassall

Шпаргалка · Данные и хранение

CAP: когда рвётся связь

14 мин · Продвинутый · mufassall.dtwin.uz/ru/l/cap/

← Открыть урок

Проблема

Сервис бронирования мест работает в двух дата-центрах, которые копируют изменения друг другу. Когда связь между ними рвётся, каждая сторона выбирает: отказать в записи и остаться правой или принять запись и разбирать конфликты потом. Как кворумы делают этот выбор автоматическим.

Чему вы научитесь

  • Почему асинхронная репликация даёт устаревшие чтения (eventual consistency)
  • К какому выбору вынуждает сетевой раздел: согласованность или доступность
  • Как доступная система сводит конфликтующие записи после восстановления связи
  • Почему кворум с R + W > N даёт свежие чтения и пускает на запись только большинство
Итоговая сцена

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_user_e(("Пользователь (восток)"))
  n_api_e["API восток"]
  n_db_e[("БД восток")]
  n_user_w(("Пользователь (запад)"))
  n_api_w["API запад"]
  n_db_w[("БД запад")]
  n_db_t[("БД третьей площадки")]
  n_user_e --x n_api_e
  n_api_e --> n_db_e
  n_user_w --> n_api_w
  n_api_w --> n_db_w
  n_db_e --x|"потеряно"| n_db_w
  n_api_e --x|"потеряно"| n_db_t
  n_api_w --> n_db_t
  classDef slow fill:#fff4d6,stroke:#b26a00,color:#3d2600
  class n_api_e slow

Mermaid: последовательность запросов

sequenceDiagram
  participant n_db_e as БД восток
  participant n_db_w as БД запад
  actor n_user_w as Пользователь (запад)
  participant n_api_w as API запад
  participant n_fixer as Сверщик
  participant n_api_e as API восток
  participant n_db_t as БД третьей площадки
  actor n_user_e as Пользователь (восток)
  Note over n_db_e,n_db_w: Два дата-центра, одна система бронирования
  n_db_e->>n_db_w: REPLICATE dc-east -#62; dc-west
  Note over n_user_w,n_api_w: 30 мс стороны не согласны друг с другом
  n_user_w->>n_api_w: GET /seats/14A HTTP/1.1
  n_api_w-->>n_user_w: HTTP/1.1 200 OK
  Note over n_db_e,n_db_w: Связь между площадками оборвалась
  n_db_e-xn_db_w: ERROR replication to dc-west: connection timed out after 5000 ms
  Note over n_user_w,n_api_w: Выбор 1: остаться правым, отказать в записи
  n_user_w->>n_api_w: POST /seats/14B/hold HTTP/1.1
  n_api_w-->>n_user_w: HTTP/1.1 503 Service Unavailable
  Note over n_api_w,n_db_w: Выбор 2: остаться доступным, принимать записи с обеих сторон
  n_api_w->>n_db_w: UPDATE seats SET holder = 'u_77',
  n_db_w-->>n_api_w: UPDATE 1
  Note over n_db_e,n_db_w: Связь вернулась, а с ней и конфликты
  n_db_e->>n_db_w: REPLICATE dc-east -#62; dc-west
  Note over n_db_w,n_fixer: Сверка по бизнес-правилу
  n_db_w->>n_fixer: RESOLVE seat:14B
  Note over n_api_e,n_db_t: Три реплики: пишем в две, читаем из двух
  n_api_e->>n_db_t: PUT seat:14C holder=u_42 N=3 W=2
  Note over n_user_e,n_api_e: Теперь раздел решается сам
  n_user_e->>n_api_e: POST /seats/14D/hold HTTP/1.1
  n_api_e-->>n_user_e: HTTP/1.1 503 Service Unavailable

D2

direction: right

n_user_e: "Пользователь (восток)" {
  shape: person
}
n_api_e: "API восток" {
  shape: rectangle
  style.fill: "#fff4d6"
  style.stroke: "#b26a00"
}
n_db_e: "БД восток" {
  shape: cylinder
}
n_user_w: "Пользователь (запад)" {
  shape: person
}
n_api_w: "API запад" {
  shape: rectangle
}
n_db_w: "БД запад" {
  shape: cylinder
}
n_db_t: "БД третьей площадки" {
  shape: cylinder
}

n_user_e -> n_api_e {
  target-arrowhead.shape: cross
}
n_api_e -> n_db_e
n_user_w -> n_api_w
n_api_w -> n_db_w
n_db_e -> n_db_w: "потеряно" {
  target-arrowhead.shape: cross
}
n_api_e -> n_db_t: "потеряно" {
  target-arrowhead.shape: cross
}
n_api_w -> n_db_t

PlantUML: последовательность запросов

@startuml
database "БД восток" as n_db_e
database "БД запад" as n_db_w
actor "Пользователь (запад)" as n_user_w
participant "API запад" as n_api_w
participant "Сверщик" as n_fixer
participant "API восток" as n_api_e
database "БД третьей площадки" as n_db_t
actor "Пользователь (восток)" as n_user_e
note over n_db_e, n_db_w : Два дата-центра, одна система бронирования
n_db_e -> n_db_w : REPLICATE dc-east -> dc-west
note over n_user_w, n_api_w : 30 мс стороны не согласны друг с другом
n_user_w -> n_api_w : GET /seats/14A HTTP/1.1
n_api_w --> n_user_w : HTTP/1.1 200 OK
note over n_db_e, n_db_w : Связь между площадками оборвалась
n_db_e ->x n_db_w : [потеряно] ERROR replication to dc-west: connection timed out after 5000 ms
note over n_user_w, n_api_w : Выбор 1: остаться правым, отказать в записи
n_user_w -> n_api_w : POST /seats/14B/hold HTTP/1.1
n_api_w --> n_user_w : HTTP/1.1 503 Service Unavailable
note over n_api_w, n_db_w : Выбор 2: остаться доступным, принимать записи с обеих сторон
n_api_w -> n_db_w : UPDATE seats SET holder = 'u_77',
n_db_w --> n_api_w : UPDATE 1
note over n_db_e, n_db_w : Связь вернулась, а с ней и конфликты
n_db_e -> n_db_w : [дубль] REPLICATE dc-east -> dc-west
note over n_db_w, n_fixer : Сверка по бизнес-правилу
n_db_w -> n_fixer : RESOLVE seat:14B
note over n_api_e, n_db_t : Три реплики: пишем в две, читаем из двух
n_api_e -> n_db_t : PUT seat:14C holder=u_42 N=3 W=2
note over n_user_e, n_api_e : Теперь раздел решается сам
n_user_e -> n_api_e : POST /seats/14D/hold HTTP/1.1
n_api_e --> n_user_e : HTTP/1.1 503 Service Unavailable
@enduml

PlantUML: компоненты

@startuml
left to right direction
actor "Пользователь (восток)" as n_user_e
component "API восток" as n_api_e #fff4d6;line:b26a00
database "БД восток" as n_db_e
actor "Пользователь (запад)" as n_user_w
component "API запад" as n_api_w
database "БД запад" as n_db_w
database "БД третьей площадки" as n_db_t
n_user_e -[#c62828]-> n_api_e
n_api_e --> n_db_e
n_user_w --> n_api_w
n_api_w --> n_db_w
n_db_e -[#c62828,dashed]-> n_db_w : потеряно
n_api_e -[#c62828,dashed]-> n_db_t : потеряно
n_api_w --> n_db_t
@enduml

Итог

Связь между площадками рвётся, и тогда приходится выбирать: быть правым или быть доступным. На время обрыва одновременно не получится.

1) Асинхронная репликация даже в хороший день даёт короткие устаревшие чтения. 2) Согласованность (CP): отрезанная сторона отказывает в записи. 3) Доступность (AP): принимают обе стороны, потом бизнес-правило сводит конфликты. 4) Кворум с R + W > N даёт свежие чтения и пускает на запись только сторону большинства.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Принято записей100%50%
Устаревшие чтения0%0%
Неразрешённые конфликты0/ч0/ч
Лаг репликации30 мс30 мс

Шаги

  1. Кейс Два дата-центра, одна система бронирования

    Пользователи у восточной площадки бронируют места через восточный API, у западной — через западный.

  2. Проблема 30 мс стороны не согласны друг с другом

    u_42 бронирует место 14A на востоке.

  3. Проблема Связь между площадками оборвалась

    Перерубили оптику между дата-центрами.

  4. Решение Выбор 1: остаться правым, отказать в записи

    Главный (primary) для бронирований — восток.

  5. Кейс Выбор 2: остаться доступным, принимать записи с обеих сторон

    Другой вариант: запад продолжает принимать брони во время обрыва.

  6. Проблема Связь вернулась, а с ней и конфликты

    Оптику починили, репликация возобновилась.

  7. Решение Сверка по бизнес-правилу

    Сверщик (reconciler) читает каждый конфликт и применяет правило, выбранное бизнесом: для мест побеждает более ранняя бронь.

  8. Решение Три реплики: пишем в две, читаем из двух

    Добавили небольшую третью площадку.

  9. Кейс Теперь раздел решается сам

    Восток отрезан от обеих других площадок.

  10. Итоги Итог

    Связь между площадками рвётся, и тогда приходится выбирать: быть правым или быть доступным.

Термины

CAP
При сетевом разделе система должна выбрать: остаться согласованной (CP) и отказать в записи на отрезанной стороне или остаться доступной (AP) и принимать записи с обеих сторон. Во время разрыва нельзя получить и то и другое.
Сетевой раздел (partition)
Обрыв связи между частями системы, после которого они не видят друг друга. Обе стороны продолжают работать, но согласоваться не могут.
Eventual consistency (согласованность в конечном счёте)
Если записи прекратились, все копии в итоге совпадут, но не в каждый момент. При асинхронной репликации ненадолго возможны устаревшие чтения.
Кворум (R + W > N)
Запись считается выполненной, когда её подтвердили W из N реплик, а чтение опрашивает R реплик. Если R + W > N, каждое чтение пересекается с последней записью хотя бы на одной реплике, и писать может только большинство.