mufassall

Шпаргалка · Надёжность

Резервирование и failover

14 мин · Средний · mufassall.dtwin.uz/ru/l/redundancy/

← Открыть урок

Проблема

Любая часть рано или поздно отказывает. Как найти единые точки отказа, дать каждой запасную, переключаться автоматически и не терять при этом данные.

Чему вы научитесь

  • Как распознать единую точку отказа
  • Active-active серверы приложений и health check
  • Active-passive база: реплика, failover, fencing
  • Цена асинхронной и синхронной репликации и зачем нужны зоны
Итоговая сцена

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_guest(["Гость"])
  n_app1["App 1 · зона A"]
  n_db1[("БД 1 · зона A")]
  n_lb{"Балансировщик"}
  n_app2["App 2 · зона B"]
  n_db2[("БД 2 · зона B")]
  n_guest --> n_lb
  n_lb --> n_app1
  n_lb --x|"потеряно"| n_app2
  n_app2 --x|"потеряно"| n_db2
  n_db2 --x|"потеряно"| n_db1
  n_app1 --> n_db1
  classDef down fill:#fde2e2,stroke:#c62828,color:#4a0d0d,stroke-dasharray:4 3
  class n_app2,n_db2 down

Mermaid: последовательность запросов

sequenceDiagram
  participant n_guest as Гость
  participant n_app1 as App 1 · зона A
  participant n_lb as Балансировщик
  participant n_app2 as App 2 · зона B
  participant n_db1 as БД 1 · зона A
  participant n_db2 as БД 2 · зона B
  Note over n_guest,n_app1: Один сервер — одна точка отказа
  n_guest-xn_app1: GET /bookings/b_311 HTTP/1.1
  Note over n_lb,n_app1: Два сервера за балансировщиком
  n_lb->>n_app1: GET /healthz HTTP/1.1
  n_app1-->>n_lb: HTTP/1.1 200 OK
  Note over n_lb,n_app2: Мёртвый сервер выводится за секунды
  n_lb-xn_app2: GET /healthz HTTP/1.1
  Note over n_db1,n_db2: Резервная копия базы
  n_db1->>n_db2: START_REPLICATION SLOT db2 PHYSICAL 0/5A3F1C0
  n_db2-->>n_db1: streaming WAL to db2
  Note over n_app1,n_db1: Основная база умирает
  n_app1-xn_db1: INSERT INTO bookings (id, room, night)
  Note over n_app1,n_db2: Автоматический failover
  n_app1->>n_db2: resolve db-primary.internal
  n_db2-->>n_app1: #59;#59; ANSWER SECTION
  Note over n_db1,n_db2: Последние секунды не дошли до реплики
  n_db1-xn_db2: last state before db1 crashed
  Note over n_app1,n_db1: Две основные базы сразу
  n_app1->>n_db1: INSERT INTO bookings (id, room, night)
  n_db1-->>n_app1: INSERT 0 1
  Note over n_db2,n_db1: Отсекаем старую основную
  n_db2->>n_db1: db1: rejoin as primary, my term=7
  n_db1-->>n_db2: rejected: cluster term=8, primary is db2
  Note over n_app1,n_db2: Подтверждать только после реплики
  n_app1->>n_db2: SET synchronous_commit = on#59;
  n_db2-->>n_app1: COMMIT

D2

direction: right

n_guest: "Гость" {
  shape: rectangle
}
n_app1: "App 1 · зона A" {
  shape: rectangle
}
n_db1: "БД 1 · зона A" {
  shape: cylinder
}
n_lb: "Балансировщик" {
  shape: diamond
}
n_app2: "App 2 · зона B" {
  shape: rectangle
  style.fill: "#fde2e2"
  style.stroke: "#c62828"
  style.stroke-dash: 3
}
n_db2: "БД 2 · зона B" {
  shape: cylinder
  style.fill: "#fde2e2"
  style.stroke: "#c62828"
  style.stroke-dash: 3
}

n_guest -> n_lb
n_lb -> n_app1
n_lb -> n_app2: "потеряно" {
  target-arrowhead.shape: cross
}
n_app2 -> n_db2: "потеряно" {
  target-arrowhead.shape: cross
}
n_db2 -> n_db1: "потеряно" {
  target-arrowhead.shape: cross
}
n_app1 -> n_db1

PlantUML: последовательность запросов

@startuml
participant "Гость" as n_guest
participant "App 1 · зона A" as n_app1
participant "Балансировщик" as n_lb
participant "App 2 · зона B" as n_app2
database "БД 1 · зона A" as n_db1
database "БД 2 · зона B" as n_db2
note over n_guest, n_app1 : Один сервер — одна точка отказа
n_guest ->x n_app1 : [потеряно] GET /bookings/b_311 HTTP/1.1
note over n_lb, n_app1 : Два сервера за балансировщиком
n_lb -> n_app1 : GET /healthz HTTP/1.1
n_app1 --> n_lb : HTTP/1.1 200 OK
note over n_lb, n_app2 : Мёртвый сервер выводится за секунды
n_lb ->x n_app2 : [потеряно] GET /healthz HTTP/1.1
note over n_db1, n_db2 : Резервная копия базы
n_db1 -> n_db2 : START_REPLICATION SLOT db2 PHYSICAL 0/5A3F1C0
n_db2 --> n_db1 : streaming WAL to db2
note over n_app1, n_db1 : Основная база умирает
n_app1 ->x n_db1 : [потеряно] INSERT INTO bookings (id, room, night)
note over n_app1, n_db2 : Автоматический failover
n_app1 -> n_db2 : resolve db-primary.internal
n_db2 --> n_app1 : ;; ANSWER SECTION
note over n_db1, n_db2 : Последние секунды не дошли до реплики
n_db1 ->x n_db2 : [потеряно] last state before db1 crashed
note over n_app1, n_db1 : Две основные базы сразу
n_app1 -> n_db1 : [дубль] INSERT INTO bookings (id, room, night)
n_db1 --> n_app1 : INSERT 0 1
note over n_db2, n_db1 : Отсекаем старую основную
n_db2 -> n_db1 : db1: rejoin as primary, my term=7
n_db1 --> n_db2 : rejected: cluster term=8, primary is db2
note over n_app1, n_db2 : Подтверждать только после реплики
n_app1 -> n_db2 : SET synchronous_commit = on;
n_db2 --> n_app1 : COMMIT
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Гость" as n_guest
component "App 1 · зона A" as n_app1
database "БД 1 · зона A" as n_db1
node "Балансировщик" as n_lb
component "App 2 · зона B" as n_app2 #fde2e2;line:c62828;line.dashed
database "БД 2 · зона B" as n_db2 #fde2e2;line:c62828;line.dashed
n_guest --> n_lb
n_lb --> n_app1
n_lb -[#c62828,dashed]-> n_app2 : потеряно
n_app2 -[#c62828,dashed]-> n_db2 : потеряно
n_db2 -[#c62828,dashed]-> n_db1 : потеряно
n_app1 --> n_db1
@enduml

Итог

Найдите части, без которых встаёт всё, и дайте каждой запасную, которая подхватит работу без человека.

1) Stateless-серверы работают active-active за health check. 2) База — active-passive с репликой и автоматическим failover. 3) Отсекайте старую основную, чтобы писала только одна. 4) Асинхронная репликация может потерять последние секунды; синхронная стоит задержки. 5) Разносите копии по зонам.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Ошибки100%0%
Время восстановления1 800 с30 с
Потеряно броней00
Запись p9512 мс15 мс

Шаги

  1. Проблема Один сервер — одна точка отказа

    Сайт бронирования отеля работает на одном сервере приложения и одной базе.

  2. Решение Два сервера за балансировщиком

    Второй сервер приложения запускает тот же код.

  3. Кейс Мёртвый сервер выводится за секунды

    App 2 зависает.

  4. Решение Резервная копия базы

    Базу нельзя просто удвоить: два сервера, принимающие записи независимо, разойдутся.

  5. Проблема Основная база умирает

    Сервер БД 1 теряет питание.

  6. Решение Автоматический failover

    Небольшой менеджер кластера следит за БД 1.

  7. Проблема Последние секунды не дошли до реплики

    Репликация была асинхронной: БД 1 подтверждала запись гостю раньше, чем отправляла её на БД 2.

  8. Проблема Две основные базы сразу

    БД 1 возвращается после перезагрузки.

  9. Решение Отсекаем старую основную

    Каждое повышение увеличивает номер term.

  10. Решение Подтверждать только после реплики

    Запись броней теперь идёт с синхронной репликацией: основная база отвечает «закоммичено» только после того, как реплика подтвердит, что изменение у неё на диске.

  11. Кейс Гаснет целая зона

    В зоне B пропадает питание: app 2 и БД 2 исчезают вместе.

  12. Итоги Итог

    Найдите части, без которых встаёт всё, и дайте каждой запасную, которая подхватит работу без человека.

Термины

Единая точка отказа (SPOF)
Часть, без которой останавливается вся система. Ей дают резерв, который подменяет её без участия человека.
Failover
Когда основная база умирает, резервную реплику повышают до primary и переключают на неё приложение. Автоматический failover делает это без человека за секунды.
Split brain
Два узла одновременно считают себя primary и оба принимают записи. Данные расходятся, поэтому старый primary отсекают через fencing.