Шпаргалка · Надёжность
Резервирование и failover
Проблема
Любая часть рано или поздно отказывает. Как найти единые точки отказа, дать каждой запасную, переключаться автоматически и не терять при этом данные.
Чему вы научитесь
- Как распознать единую точку отказа
- Active-active серверы приложений и health check
- Active-passive база: реплика, failover, fencing
- Цена асинхронной и синхронной репликации и зачем нужны зоны
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_guest(["Гость"])
n_app1["App 1 · зона A"]
n_db1[("БД 1 · зона A")]
n_lb{"Балансировщик"}
n_app2["App 2 · зона B"]
n_db2[("БД 2 · зона B")]
n_guest --> n_lb
n_lb --> n_app1
n_lb --x|"потеряно"| n_app2
n_app2 --x|"потеряно"| n_db2
n_db2 --x|"потеряно"| n_db1
n_app1 --> n_db1
classDef down fill:#fde2e2,stroke:#c62828,color:#4a0d0d,stroke-dasharray:4 3
class n_app2,n_db2 downMermaid: последовательность запросов
sequenceDiagram
participant n_guest as Гость
participant n_app1 as App 1 · зона A
participant n_lb as Балансировщик
participant n_app2 as App 2 · зона B
participant n_db1 as БД 1 · зона A
participant n_db2 as БД 2 · зона B
Note over n_guest,n_app1: Один сервер — одна точка отказа
n_guest-xn_app1: GET /bookings/b_311 HTTP/1.1
Note over n_lb,n_app1: Два сервера за балансировщиком
n_lb->>n_app1: GET /healthz HTTP/1.1
n_app1-->>n_lb: HTTP/1.1 200 OK
Note over n_lb,n_app2: Мёртвый сервер выводится за секунды
n_lb-xn_app2: GET /healthz HTTP/1.1
Note over n_db1,n_db2: Резервная копия базы
n_db1->>n_db2: START_REPLICATION SLOT db2 PHYSICAL 0/5A3F1C0
n_db2-->>n_db1: streaming WAL to db2
Note over n_app1,n_db1: Основная база умирает
n_app1-xn_db1: INSERT INTO bookings (id, room, night)
Note over n_app1,n_db2: Автоматический failover
n_app1->>n_db2: resolve db-primary.internal
n_db2-->>n_app1: #59;#59; ANSWER SECTION
Note over n_db1,n_db2: Последние секунды не дошли до реплики
n_db1-xn_db2: last state before db1 crashed
Note over n_app1,n_db1: Две основные базы сразу
n_app1->>n_db1: INSERT INTO bookings (id, room, night)
n_db1-->>n_app1: INSERT 0 1
Note over n_db2,n_db1: Отсекаем старую основную
n_db2->>n_db1: db1: rejoin as primary, my term=7
n_db1-->>n_db2: rejected: cluster term=8, primary is db2
Note over n_app1,n_db2: Подтверждать только после реплики
n_app1->>n_db2: SET synchronous_commit = on#59;
n_db2-->>n_app1: COMMITD2
direction: right
n_guest: "Гость" {
shape: rectangle
}
n_app1: "App 1 · зона A" {
shape: rectangle
}
n_db1: "БД 1 · зона A" {
shape: cylinder
}
n_lb: "Балансировщик" {
shape: diamond
}
n_app2: "App 2 · зона B" {
shape: rectangle
style.fill: "#fde2e2"
style.stroke: "#c62828"
style.stroke-dash: 3
}
n_db2: "БД 2 · зона B" {
shape: cylinder
style.fill: "#fde2e2"
style.stroke: "#c62828"
style.stroke-dash: 3
}
n_guest -> n_lb
n_lb -> n_app1
n_lb -> n_app2: "потеряно" {
target-arrowhead.shape: cross
}
n_app2 -> n_db2: "потеряно" {
target-arrowhead.shape: cross
}
n_db2 -> n_db1: "потеряно" {
target-arrowhead.shape: cross
}
n_app1 -> n_db1PlantUML: последовательность запросов
@startuml
participant "Гость" as n_guest
participant "App 1 · зона A" as n_app1
participant "Балансировщик" as n_lb
participant "App 2 · зона B" as n_app2
database "БД 1 · зона A" as n_db1
database "БД 2 · зона B" as n_db2
note over n_guest, n_app1 : Один сервер — одна точка отказа
n_guest ->x n_app1 : [потеряно] GET /bookings/b_311 HTTP/1.1
note over n_lb, n_app1 : Два сервера за балансировщиком
n_lb -> n_app1 : GET /healthz HTTP/1.1
n_app1 --> n_lb : HTTP/1.1 200 OK
note over n_lb, n_app2 : Мёртвый сервер выводится за секунды
n_lb ->x n_app2 : [потеряно] GET /healthz HTTP/1.1
note over n_db1, n_db2 : Резервная копия базы
n_db1 -> n_db2 : START_REPLICATION SLOT db2 PHYSICAL 0/5A3F1C0
n_db2 --> n_db1 : streaming WAL to db2
note over n_app1, n_db1 : Основная база умирает
n_app1 ->x n_db1 : [потеряно] INSERT INTO bookings (id, room, night)
note over n_app1, n_db2 : Автоматический failover
n_app1 -> n_db2 : resolve db-primary.internal
n_db2 --> n_app1 : ;; ANSWER SECTION
note over n_db1, n_db2 : Последние секунды не дошли до реплики
n_db1 ->x n_db2 : [потеряно] last state before db1 crashed
note over n_app1, n_db1 : Две основные базы сразу
n_app1 -> n_db1 : [дубль] INSERT INTO bookings (id, room, night)
n_db1 --> n_app1 : INSERT 0 1
note over n_db2, n_db1 : Отсекаем старую основную
n_db2 -> n_db1 : db1: rejoin as primary, my term=7
n_db1 --> n_db2 : rejected: cluster term=8, primary is db2
note over n_app1, n_db2 : Подтверждать только после реплики
n_app1 -> n_db2 : SET synchronous_commit = on;
n_db2 --> n_app1 : COMMIT
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Гость" as n_guest
component "App 1 · зона A" as n_app1
database "БД 1 · зона A" as n_db1
node "Балансировщик" as n_lb
component "App 2 · зона B" as n_app2 #fde2e2;line:c62828;line.dashed
database "БД 2 · зона B" as n_db2 #fde2e2;line:c62828;line.dashed
n_guest --> n_lb
n_lb --> n_app1
n_lb -[#c62828,dashed]-> n_app2 : потеряно
n_app2 -[#c62828,dashed]-> n_db2 : потеряно
n_db2 -[#c62828,dashed]-> n_db1 : потеряно
n_app1 --> n_db1
@endumlИтог
Найдите части, без которых встаёт всё, и дайте каждой запасную, которая подхватит работу без человека.
1) Stateless-серверы работают active-active за health check. 2) База — active-passive с репликой и автоматическим failover. 3) Отсекайте старую основную, чтобы писала только одна. 4) Асинхронная репликация может потерять последние секунды; синхронная стоит задержки. 5) Разносите копии по зонам.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Ошибки | 100% | 0% |
| Время восстановления | 1 800 с | 30 с |
| Потеряно броней | 0 | 0 |
| Запись p95 | 12 мс | 15 мс |
Шаги
- Проблема Один сервер — одна точка отказа
Сайт бронирования отеля работает на одном сервере приложения и одной базе.
- Решение Два сервера за балансировщиком
Второй сервер приложения запускает тот же код.
- Кейс Мёртвый сервер выводится за секунды
App 2 зависает.
- Решение Резервная копия базы
Базу нельзя просто удвоить: два сервера, принимающие записи независимо, разойдутся.
- Проблема Основная база умирает
Сервер БД 1 теряет питание.
- Решение Автоматический failover
Небольшой менеджер кластера следит за БД 1.
- Проблема Последние секунды не дошли до реплики
Репликация была асинхронной: БД 1 подтверждала запись гостю раньше, чем отправляла её на БД 2.
- Проблема Две основные базы сразу
БД 1 возвращается после перезагрузки.
- Решение Отсекаем старую основную
Каждое повышение увеличивает номер term.
- Решение Подтверждать только после реплики
Запись броней теперь идёт с синхронной репликацией: основная база отвечает «закоммичено» только после того, как реплика подтвердит, что изменение у неё на диске.
- Кейс Гаснет целая зона
В зоне B пропадает питание: app 2 и БД 2 исчезают вместе.
- Итоги Итог
Найдите части, без которых встаёт всё, и дайте каждой запасную, которая подхватит работу без человека.
Термины
- Единая точка отказа (SPOF)
- Часть, без которой останавливается вся система. Ей дают резерв, который подменяет её без участия человека.
- Failover
- Когда основная база умирает, резервную реплику повышают до primary и переключают на неё приложение. Автоматический failover делает это без человека за секунды.
- Split brain
- Два узла одновременно считают себя primary и оба принимают записи. Данные расходятся, поэтому старый primary отсекают через fencing.