mufassall

Шпаргалка · Данные и хранение

Консенсус и выбор лидера

15 мин · Продвинутый · mufassall.dtwin.uz/ru/l/consensus/

← Открыть урок

Проблема

Две копии ночной задачи выплат должны договориться, какая из них её выполняет. Пинговать друг друга ненадёжно, один сервер блокировок — единая точка отказа. Как кластер из пяти узлов выбирает лидера, ведёт реплицируемый лог и избегает split brain, считая до большинства.

Чему вы научитесь

  • Почему два узла не могут сами надёжно решить, кто лидер
  • Как кластер в стиле Raft реплицирует лог и коммитит на большинстве
  • Что делают термы и голоса, когда лидер умер или отрезан
  • Зачем блокировке fencing-токен и где её держать (etcd, ZooKeeper)
Итоговая сцена
30%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_w1("Воркер выплат 1")
  n_w2("Воркер выплат 2")
  n_ledger[("БД выплат")]
  n_n1["Узел 1"]
  n_n2["Узел 2"]
  n_n3["Узел 3"]
  n_n4["Узел 4"]
  n_n5["Узел 5"]
  n_w1 --x n_ledger
  n_w2 --> n_ledger
  n_n2 --> n_n3
  n_n2 --> n_n4
  n_w1 --> n_n2
  n_n2 --> n_n1
  n_n2 --> n_n5
  classDef slow fill:#fff4d6,stroke:#b26a00,color:#3d2600
  class n_w1 slow

Mermaid: последовательность запросов

sequenceDiagram
  participant n_w2 as Воркер выплат 2
  participant n_ledger as БД выплат
  participant n_n1 as Узел 1
  participant n_w1 as Воркер выплат 1
  participant n_n2 as Узел 2
  participant n_n3 as Узел 3
  Note over n_w2,n_ledger: Два воркера, и оба считают себя главными
  n_w2->>n_ledger: INSERT INTO payouts (run, merchant, amount)
  n_ledger-->>n_w2: INSERT 0 312
  Note over n_w2,n_n1: Спросить третьего: один сервер блокировок
  n_w2->>n_n1: POST /v1/locks/payouts HTTP/1.1
  n_n1-->>n_w2: HTTP/1.1 409 Conflict
  Note over n_w1,n_n1: Сервер блокировок — новая единая точка отказа
  n_w1-xn_n1: POST /v1/locks/payouts HTTP/1.1
  Note over n_n1,n_n2: Пять узлов, один лидер, один реплицируемый лог
  n_n1->>n_n2: AppendEntries n1 -#62; n2
  n_n2-->>n_n1: AppendEntries reply
  Note over n_w1,n_n1: Запись в безопасности, когда она у большинства
  n_w1->>n_n1: POST /v1/locks/payouts HTTP/1.1
  n_n1-->>n_w1: HTTP/1.1 200 OK
  Note over n_w1,n_n1: Лидер отрезан вместе с одним фолловером
  n_w1->>n_n1: POST /v1/locks/payouts HTTP/1.1
  n_n1-->>n_w1: HTTP/1.1 503 Service Unavailable
  Note over n_n2,n_n3: Сторона большинства выбирает нового лидера
  n_n2->>n_n3: RequestVote n2 -#62; n3
  n_n3-->>n_n2: RequestVote reply
  Note over n_n2,n_n1: Старый лидер возвращается и уступает
  n_n2->>n_n1: INFO n1: AppendEntries with term 2 #62; my term 1
  Note over n_w1,n_ledger: Замерший воркер просыпается со старой блокировкой
  n_w1->>n_ledger: UPDATE payout_runs SET fence = 42, status = 'running'
  n_ledger-->>n_w1: UPDATE 0

D2

direction: right

n_w1: "Воркер выплат 1" {
  shape: rectangle
  style.multiple: true
  style.fill: "#fff4d6"
  style.stroke: "#b26a00"
}
n_w2: "Воркер выплат 2" {
  shape: rectangle
  style.multiple: true
}
n_ledger: "БД выплат" {
  shape: cylinder
}
n_n1: "Узел 1" {
  shape: rectangle
}
n_n2: "Узел 2" {
  shape: rectangle
}
n_n3: "Узел 3" {
  shape: rectangle
}
n_n4: "Узел 4" {
  shape: rectangle
}
n_n5: "Узел 5" {
  shape: rectangle
}

n_w1 -> n_ledger {
  target-arrowhead.shape: cross
}
n_w2 -> n_ledger
n_n2 -> n_n3
n_n2 -> n_n4
n_w1 -> n_n2
n_n2 -> n_n1
n_n2 -> n_n5

PlantUML: последовательность запросов

@startuml
participant "Воркер выплат 2" as n_w2
database "БД выплат" as n_ledger
participant "Узел 1" as n_n1
participant "Воркер выплат 1" as n_w1
participant "Узел 2" as n_n2
participant "Узел 3" as n_n3
note over n_w2, n_ledger : Два воркера, и оба считают себя главными
n_w2 -> n_ledger : [дубль] INSERT INTO payouts (run, merchant, amount)
n_ledger --> n_w2 : INSERT 0 312
note over n_w2, n_n1 : Спросить третьего: один сервер блокировок
n_w2 -> n_n1 : POST /v1/locks/payouts HTTP/1.1
n_n1 --> n_w2 : HTTP/1.1 409 Conflict
note over n_w1, n_n1 : Сервер блокировок — новая единая точка отказа
n_w1 ->x n_n1 : [потеряно] POST /v1/locks/payouts HTTP/1.1
note over n_n1, n_n2 : Пять узлов, один лидер, один реплицируемый лог
n_n1 -> n_n2 : AppendEntries n1 -> n2
n_n2 --> n_n1 : AppendEntries reply
note over n_w1, n_n1 : Запись в безопасности, когда она у большинства
n_w1 -> n_n1 : POST /v1/locks/payouts HTTP/1.1
n_n1 --> n_w1 : HTTP/1.1 200 OK
note over n_w1, n_n1 : Лидер отрезан вместе с одним фолловером
n_w1 -> n_n1 : POST /v1/locks/payouts HTTP/1.1
n_n1 --> n_w1 : HTTP/1.1 503 Service Unavailable
note over n_n2, n_n3 : Сторона большинства выбирает нового лидера
n_n2 -> n_n3 : RequestVote n2 -> n3
n_n3 --> n_n2 : RequestVote reply
note over n_n2, n_n1 : Старый лидер возвращается и уступает
n_n2 -> n_n1 : INFO n1: AppendEntries with term 2 > my term 1
note over n_w1, n_ledger : Замерший воркер просыпается со старой блокировкой
n_w1 -> n_ledger : UPDATE payout_runs SET fence = 42, status = 'running'
n_ledger --> n_w1 : UPDATE 0
@enduml

PlantUML: компоненты

@startuml
left to right direction
collections "Воркер выплат 1" as n_w1 #fff4d6;line:b26a00
collections "Воркер выплат 2" as n_w2
database "БД выплат" as n_ledger
component "Узел 1" as n_n1
component "Узел 2" as n_n2
component "Узел 3" as n_n3
component "Узел 4" as n_n4
component "Узел 5" as n_n5
n_w1 -[#c62828]-> n_ledger
n_w2 --> n_ledger
n_n2 --> n_n3
n_n2 --> n_n4
n_w1 --> n_n2
n_n2 --> n_n1
n_n2 --> n_n5
@enduml

Итог

Чтобы договориться о лидере, нужен не пинг, а большинство.

1) Ставьте 3 или 5 узлов: они переживут 1 или 2 отказа. 2) Изменение закоммичено, только когда его сохранило большинство. 3) Термы и голоса дают не больше одного лидера на терм; меньшинство никогда не коммитит. 4) Блокировка несёт fencing-токен, и защищаемый ресурс его проверяет. Не пишите это сами: блокировки, лидеров и конфиг держите в etcd, ZooKeeper или Consul.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Выплачено дважды48 000 $0 $
Блокировка недоступна0 с0,4 с
Время записи блокировки2 мс7 мс

Шаги

  1. Проблема Два воркера, и оба считают себя главными

    Ночная задача выплат для надёжности стоит на двух серверах.

  2. Решение Спросить третьего: один сервер блокировок

    Теперь решает отдельный сервер блокировок.

  3. Проблема Сервер блокировок — новая единая точка отказа

    У сервера блокировок умер диск.

  4. Решение Пять узлов, один лидер, один реплицируемый лог

    Сервис блокировок теперь работает на пяти узлах.

  5. Кейс Запись в безопасности, когда она у большинства

    Воркер 1 просит блокировку.

  6. Проблема Лидер отрезан вместе с одним фолловером

    Сгорел коммутатор.

  7. Решение Сторона большинства выбирает нового лидера

    Узлы 2, 3 и 4 перестают получать вести от лидера.

  8. Кейс Старый лидер возвращается и уступает

    Коммутатор заменили.

  9. Кейс Замерший воркер просыпается со старой блокировкой

    Воркер 1 замирает на 20 с в долгой паузе сборщика мусора.

  10. Итоги Итог

    Чтобы договориться о лидере, нужен не пинг, а большинство.

Термины

Консенсус (Raft)
Несколько узлов договариваются о лидере и общем журнале голосованием большинства. Изменение закоммичено, когда его сохранило большинство, а термы и голоса дают не больше одного лидера на терм.
Fencing-токен
Растущий номер, который выдаётся с каждой новой блокировкой. Защищаемый ресурс помнит самый большой номер и отклоняет запись воркера, проснувшегося со старой блокировкой.