Шпаргалка · Данные и хранение
Консенсус и выбор лидера
Проблема
Две копии ночной задачи выплат должны договориться, какая из них её выполняет. Пинговать друг друга ненадёжно, один сервер блокировок — единая точка отказа. Как кластер из пяти узлов выбирает лидера, ведёт реплицируемый лог и избегает split brain, считая до большинства.
Чему вы научитесь
- Почему два узла не могут сами надёжно решить, кто лидер
- Как кластер в стиле Raft реплицирует лог и коммитит на большинстве
- Что делают термы и голоса, когда лидер умер или отрезан
- Зачем блокировке fencing-токен и где её держать (etcd, ZooKeeper)
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_w1("Воркер выплат 1")
n_w2("Воркер выплат 2")
n_ledger[("БД выплат")]
n_n1["Узел 1"]
n_n2["Узел 2"]
n_n3["Узел 3"]
n_n4["Узел 4"]
n_n5["Узел 5"]
n_w1 --x n_ledger
n_w2 --> n_ledger
n_n2 --> n_n3
n_n2 --> n_n4
n_w1 --> n_n2
n_n2 --> n_n1
n_n2 --> n_n5
classDef slow fill:#fff4d6,stroke:#b26a00,color:#3d2600
class n_w1 slowMermaid: последовательность запросов
sequenceDiagram
participant n_w2 as Воркер выплат 2
participant n_ledger as БД выплат
participant n_n1 as Узел 1
participant n_w1 as Воркер выплат 1
participant n_n2 as Узел 2
participant n_n3 as Узел 3
Note over n_w2,n_ledger: Два воркера, и оба считают себя главными
n_w2->>n_ledger: INSERT INTO payouts (run, merchant, amount)
n_ledger-->>n_w2: INSERT 0 312
Note over n_w2,n_n1: Спросить третьего: один сервер блокировок
n_w2->>n_n1: POST /v1/locks/payouts HTTP/1.1
n_n1-->>n_w2: HTTP/1.1 409 Conflict
Note over n_w1,n_n1: Сервер блокировок — новая единая точка отказа
n_w1-xn_n1: POST /v1/locks/payouts HTTP/1.1
Note over n_n1,n_n2: Пять узлов, один лидер, один реплицируемый лог
n_n1->>n_n2: AppendEntries n1 -#62; n2
n_n2-->>n_n1: AppendEntries reply
Note over n_w1,n_n1: Запись в безопасности, когда она у большинства
n_w1->>n_n1: POST /v1/locks/payouts HTTP/1.1
n_n1-->>n_w1: HTTP/1.1 200 OK
Note over n_w1,n_n1: Лидер отрезан вместе с одним фолловером
n_w1->>n_n1: POST /v1/locks/payouts HTTP/1.1
n_n1-->>n_w1: HTTP/1.1 503 Service Unavailable
Note over n_n2,n_n3: Сторона большинства выбирает нового лидера
n_n2->>n_n3: RequestVote n2 -#62; n3
n_n3-->>n_n2: RequestVote reply
Note over n_n2,n_n1: Старый лидер возвращается и уступает
n_n2->>n_n1: INFO n1: AppendEntries with term 2 #62; my term 1
Note over n_w1,n_ledger: Замерший воркер просыпается со старой блокировкой
n_w1->>n_ledger: UPDATE payout_runs SET fence = 42, status = 'running'
n_ledger-->>n_w1: UPDATE 0D2
direction: right
n_w1: "Воркер выплат 1" {
shape: rectangle
style.multiple: true
style.fill: "#fff4d6"
style.stroke: "#b26a00"
}
n_w2: "Воркер выплат 2" {
shape: rectangle
style.multiple: true
}
n_ledger: "БД выплат" {
shape: cylinder
}
n_n1: "Узел 1" {
shape: rectangle
}
n_n2: "Узел 2" {
shape: rectangle
}
n_n3: "Узел 3" {
shape: rectangle
}
n_n4: "Узел 4" {
shape: rectangle
}
n_n5: "Узел 5" {
shape: rectangle
}
n_w1 -> n_ledger {
target-arrowhead.shape: cross
}
n_w2 -> n_ledger
n_n2 -> n_n3
n_n2 -> n_n4
n_w1 -> n_n2
n_n2 -> n_n1
n_n2 -> n_n5PlantUML: последовательность запросов
@startuml
participant "Воркер выплат 2" as n_w2
database "БД выплат" as n_ledger
participant "Узел 1" as n_n1
participant "Воркер выплат 1" as n_w1
participant "Узел 2" as n_n2
participant "Узел 3" as n_n3
note over n_w2, n_ledger : Два воркера, и оба считают себя главными
n_w2 -> n_ledger : [дубль] INSERT INTO payouts (run, merchant, amount)
n_ledger --> n_w2 : INSERT 0 312
note over n_w2, n_n1 : Спросить третьего: один сервер блокировок
n_w2 -> n_n1 : POST /v1/locks/payouts HTTP/1.1
n_n1 --> n_w2 : HTTP/1.1 409 Conflict
note over n_w1, n_n1 : Сервер блокировок — новая единая точка отказа
n_w1 ->x n_n1 : [потеряно] POST /v1/locks/payouts HTTP/1.1
note over n_n1, n_n2 : Пять узлов, один лидер, один реплицируемый лог
n_n1 -> n_n2 : AppendEntries n1 -> n2
n_n2 --> n_n1 : AppendEntries reply
note over n_w1, n_n1 : Запись в безопасности, когда она у большинства
n_w1 -> n_n1 : POST /v1/locks/payouts HTTP/1.1
n_n1 --> n_w1 : HTTP/1.1 200 OK
note over n_w1, n_n1 : Лидер отрезан вместе с одним фолловером
n_w1 -> n_n1 : POST /v1/locks/payouts HTTP/1.1
n_n1 --> n_w1 : HTTP/1.1 503 Service Unavailable
note over n_n2, n_n3 : Сторона большинства выбирает нового лидера
n_n2 -> n_n3 : RequestVote n2 -> n3
n_n3 --> n_n2 : RequestVote reply
note over n_n2, n_n1 : Старый лидер возвращается и уступает
n_n2 -> n_n1 : INFO n1: AppendEntries with term 2 > my term 1
note over n_w1, n_ledger : Замерший воркер просыпается со старой блокировкой
n_w1 -> n_ledger : UPDATE payout_runs SET fence = 42, status = 'running'
n_ledger --> n_w1 : UPDATE 0
@endumlPlantUML: компоненты
@startuml
left to right direction
collections "Воркер выплат 1" as n_w1 #fff4d6;line:b26a00
collections "Воркер выплат 2" as n_w2
database "БД выплат" as n_ledger
component "Узел 1" as n_n1
component "Узел 2" as n_n2
component "Узел 3" as n_n3
component "Узел 4" as n_n4
component "Узел 5" as n_n5
n_w1 -[#c62828]-> n_ledger
n_w2 --> n_ledger
n_n2 --> n_n3
n_n2 --> n_n4
n_w1 --> n_n2
n_n2 --> n_n1
n_n2 --> n_n5
@endumlИтог
Чтобы договориться о лидере, нужен не пинг, а большинство.
1) Ставьте 3 или 5 узлов: они переживут 1 или 2 отказа. 2) Изменение закоммичено, только когда его сохранило большинство. 3) Термы и голоса дают не больше одного лидера на терм; меньшинство никогда не коммитит. 4) Блокировка несёт fencing-токен, и защищаемый ресурс его проверяет. Не пишите это сами: блокировки, лидеров и конфиг держите в etcd, ZooKeeper или Consul.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Выплачено дважды | 48 000 $ | 0 $ |
| Блокировка недоступна | 0 с | 0,4 с |
| Время записи блокировки | 2 мс | 7 мс |
Шаги
- Проблема Два воркера, и оба считают себя главными
Ночная задача выплат для надёжности стоит на двух серверах.
- Решение Спросить третьего: один сервер блокировок
Теперь решает отдельный сервер блокировок.
- Проблема Сервер блокировок — новая единая точка отказа
У сервера блокировок умер диск.
- Решение Пять узлов, один лидер, один реплицируемый лог
Сервис блокировок теперь работает на пяти узлах.
- Кейс Запись в безопасности, когда она у большинства
Воркер 1 просит блокировку.
- Проблема Лидер отрезан вместе с одним фолловером
Сгорел коммутатор.
- Решение Сторона большинства выбирает нового лидера
Узлы 2, 3 и 4 перестают получать вести от лидера.
- Кейс Старый лидер возвращается и уступает
Коммутатор заменили.
- Кейс Замерший воркер просыпается со старой блокировкой
Воркер 1 замирает на 20 с в долгой паузе сборщика мусора.
- Итоги Итог
Чтобы договориться о лидере, нужен не пинг, а большинство.
Термины
- Консенсус (Raft)
- Несколько узлов договариваются о лидере и общем журнале голосованием большинства. Изменение закоммичено, когда его сохранило большинство, а термы и голоса дают не больше одного лидера на терм.
- Fencing-токен
- Растущий номер, который выдаётся с каждой новой блокировкой. Защищаемый ресурс помнит самый большой номер и отклоняет запись воркера, проснувшегося со старой блокировкой.