mufassall

Шпаргалка · Архитектура

Распределённые блокировки

14 мин · Продвинутый · mufassall.dtwin.uz/ru/l/distributed-locks/

← Открыть урок

Проблема

Маркетплейс платит продавцам ночной задачей. Когда ради доступности поднимают второй под, задача запускается дважды и каждый продавец получает деньги два раза. Блокировка в Redis заставляет один под ждать другой, пока lease не кончится посреди задачи или замёрзший процесс не проснётся в уверенности, что блокировка всё ещё у него. Fencing-токены, которые проверяет база, ключ идемпотентности в банке и честный взгляд на Redlock показывают, что блокировка может обещать, а что нет, и когда лучше брать блокировку в самой базе.

Чему вы научитесь

  • Почему mutex внутри одного процесса ничего не защищает между подами и как SET key token NX PX даёт блокировку с lease
  • Снимать и продлевать только свою блокировку: токен сравнивается внутри Lua-скрипта
  • Почему пауза GC или скачок часов ломают любой lease и как fencing-токены, которые проверяет хранилище, обезвреживают устаревшего владельца
  • Что Redlock исправляет и чего не исправляет, и когда лучше блокировка в базе или выбор лидера
Итоговая сцена

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_a("Воркер A")
  n_db[("БД выплат")]
  n_bank>"Банк"]
  n_b("Воркер B")
  n_a --> n_db
  n_a -->|"вызов"| n_bank
  n_b --> n_db
  n_b -->|"вызов"| n_bank

Mermaid: последовательность запросов

sequenceDiagram
  participant n_a as Воркер A
  participant n_bank as Банк
  participant n_b as Воркер B
  participant n_redis as Redis
  participant n_db as БД выплат
  Note over n_a,n_bank: Каждую ночь один под платит продавцам
  n_a->>n_bank: 02:00:00 pod-a cron settle-payouts batch b_1118
  Note over n_b,n_bank: Второй под, и каждому продавцу платят дважды
  n_b->>n_bank: 02:00:00.004 pod-b cron settle-payouts batch b_1118
  Note over n_a,n_redis: Блокировка в Redis: SET, только если ключа нет, и с lease
  n_a->>n_redis: SET lock:payouts:2026-11-18 7f3c9a1e NX PX 30000
  n_redis-->>n_a: OK
  Note over n_a,n_redis: Снимать только ту блокировку, что ещё твоя
  n_a->>n_redis: EVAL release.lua 1 lock:payouts:2026-11-18 7f3c9a1e
  n_redis-->>n_a: (integer) 1
  Note over n_b,n_redis: Задача идёт дольше, чем lease
  n_b->>n_redis: 02:00:00 pod-a lock OK, lease 30 s, month end: 8 000 payouts
  Note over n_a,n_redis: Продлевать lease, пока задача идёт
  n_a->>n_redis: EVAL renew.lua 1 lock:payouts:2026-11-18 7f3c9a1e 30000
  n_redis-->>n_a: (integer) 1
  Note over n_a,n_bank: Владелец замирает дольше lease и просыпается
  n_a->>n_bank: 02:00:05.000 pod-a lock OK, claims payout po_5501
  Note over n_a,n_db: Fencing-токены: база отклоняет старого владельца
  n_a->>n_db: UPDATE payouts SET status = 'paying', fence = 33
  n_db-->>n_a: UPDATE 0
  Note over n_a,n_bank: Банк не проверяет fence: нужен ключ идемпотентности
  n_a->>n_bank: POST /v1/transfers HTTP/1.1
  n_bank-->>n_a: HTTP/1.1 200 OK
  Note over n_b,n_redis: Failover Redis выдаёт одну блокировку дважды
  n_b->>n_redis: 02:00:00.000 pod-a SET NX on the Redis primary -#62; OK
  Note over n_a,n_db: Блокировка в той базе, где лежат данные
  n_a->>n_db: BEGIN#59;
  n_db-->>n_a: pg_try_advisory_xact_lock = true

D2

direction: right

n_a: "Воркер A" {
  shape: rectangle
  style.multiple: true
}
n_db: "БД выплат" {
  shape: cylinder
}
n_bank: "Банк" {
  shape: cloud
}
n_b: "Воркер B" {
  shape: rectangle
  style.multiple: true
}

n_a -> n_db
n_a -> n_bank: "вызов"
n_b -> n_db
n_b -> n_bank: "вызов"

PlantUML: последовательность запросов

@startuml
participant "Воркер A" as n_a
boundary "Банк" as n_bank
participant "Воркер B" as n_b
collections "Redis" as n_redis
database "БД выплат" as n_db
note over n_a, n_bank : Каждую ночь один под платит продавцам
n_a -> n_bank : 02:00:00 pod-a cron settle-payouts batch b_1118
note over n_b, n_bank : Второй под, и каждому продавцу платят дважды
n_b -> n_bank : [дубль] 02:00:00.004 pod-b cron settle-payouts batch b_1118
note over n_a, n_redis : Блокировка в Redis: SET, только если ключа нет, и с lease
n_a -> n_redis : SET lock:payouts:2026-11-18 7f3c9a1e NX PX 30000
n_redis --> n_a : OK
note over n_a, n_redis : Снимать только ту блокировку, что ещё твоя
n_a -> n_redis : EVAL release.lua 1 lock:payouts:2026-11-18 7f3c9a1e
n_redis --> n_a : (integer) 1
note over n_b, n_redis : Задача идёт дольше, чем lease
n_b -> n_redis : 02:00:00 pod-a lock OK, lease 30 s, month end: 8 000 payouts
note over n_a, n_redis : Продлевать lease, пока задача идёт
n_a -> n_redis : EVAL renew.lua 1 lock:payouts:2026-11-18 7f3c9a1e 30000
n_redis --> n_a : (integer) 1
note over n_a, n_bank : Владелец замирает дольше lease и просыпается
n_a -> n_bank : [дубль] 02:00:05.000 pod-a lock OK, claims payout po_5501
note over n_a, n_db : Fencing-токены: база отклоняет старого владельца
n_a -> n_db : UPDATE payouts SET status = 'paying', fence = 33
n_db --> n_a : UPDATE 0
note over n_a, n_bank : Банк не проверяет fence: нужен ключ идемпотентности
n_a -> n_bank : POST /v1/transfers HTTP/1.1
n_bank --> n_a : HTTP/1.1 200 OK
note over n_b, n_redis : Failover Redis выдаёт одну блокировку дважды
n_b -> n_redis : 02:00:00.000 pod-a SET NX on the Redis primary -> OK
note over n_a, n_db : Блокировка в той базе, где лежат данные
n_a -> n_db : BEGIN;
n_db --> n_a : pg_try_advisory_xact_lock = true
@enduml

PlantUML: компоненты

@startuml
left to right direction
collections "Воркер A" as n_a
database "БД выплат" as n_db
cloud "Банк" as n_bank
collections "Воркер B" as n_b
n_a --> n_db
n_a --> n_bank : вызов
n_b --> n_db
n_b --> n_bank : вызов
@enduml

Итог

Шесть правил распределённых блокировок.

1) Mutex защищает один процесс; между подами блокировка должна лежать в общем месте. 2) Захватывайте одной атомарной SET key token NX PX, а снимайте и продлевайте только с проверкой токена в скрипте. 3) Продлевайте lease во время работы и сразу останавливайтесь, если продление не прошло. 4) Любой lease может пережить пауза или скачок часов, поэтому хранилище должно проверять fencing-токен при каждой записи. 5) Где fence не проверить, например во внешнем API, используйте ключи идемпотентности. 6) Предпочитайте блокировку в базе с данными или выбор лидера на консенсусном хранилище; блокировку в Redis, включая Redlock, считайте инструментом эффективности.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Двойные выплаты0/день0/день
Принятые устаревшие записи00
Отклонённые устаревшие записи01

Шаги

  1. Кейс Каждую ночь один под платит продавцам

    В 02:00 задача по расписанию читает ожидающие выплаты, по каждой отправляет перевод в банк и помечает её оплаченной.

  2. Проблема Второй под, и каждому продавцу платят дважды

    Ради доступности сервис теперь работает на двух подах.

  3. Решение Блокировка в Redis: SET, только если ключа нет, и с lease

    Перед запуском каждый под пробует SET lock:payouts:<дата> <токен> NX PX 30000.

  4. Решение Снимать только ту блокировку, что ещё твоя

    Когда задача закончилась, под удаляет ключ.

  5. Проблема Задача идёт дольше, чем lease

    Конец месяца: 8 000 выплат, задача длится 45 секунд.

  6. Решение Продлевать lease, пока задача идёт

    Сторожевой поток в задаче каждые 10 секунд продлевает lease с той же проверкой токена: PEXPIRE, только если ключ ещё наш.

  7. Проблема Владелец замирает дольше lease и просыпается

    В 02:00:05 pod-a берёт выплату po_5501, и рантайм останавливает весь процесс на полную сборку мусора.

  8. Решение Fencing-токены: база отклоняет старого владельца

    Скрипт блокировки теперь делает ещё и INCR счётчика и возвращает номер вместе с блокировкой: pod-a получил 33, pod-b позже 34.

  9. Решение Банк не проверяет fence: нужен ключ идемпотентности

    Банк ничего не знает о fencing-токенах.

  10. Кейс Failover Redis выдаёт одну блокировку дважды

    Redis реплицирует асинхронно.

  11. Решение Блокировка в той базе, где лежат данные

    Выплаты и так лежат в одном Postgres, поэтому задача берёт блокировку там же.

  12. Итоги Итог

    Шесть правил распределённых блокировок.

Термины

Распределённая блокировка
Блокировка в общем месте (Redis, база, консенсусное хранилище), которая даёт выполнять работу только одному из нескольких процессов или машин. Обычно выдаётся с lease, поэтому сама по себе корректность не гарантирует.
Токен блокировки (значение владельца)
Случайное значение, которое пишется в ключ при захвате. Снятие и продление выполняются, только если в ключе всё ещё этот токен, и владелец с истёкшим lease не удалит чужую блокировку.
Redlock
Алгоритм, который запрашивает блокировку у 5 независимых узлов Redis и считает её взятой, только если большинство выдало её в пределах lease. Переживает падение одного узла, но не даёт fencing-токена и предполагает ограниченные паузы и дрейф часов.
Advisory-блокировка
Блокировка, которую база держит по произвольному ключу приложения, например `pg_try_advisory_xact_lock` в Postgres. Она заканчивается вместе с транзакцией или сессией, поэтому не нужен отдельный сервис блокировок.
Пауза процесса (stop-the-world)
Остановка всего процесса на секунды из-за сборки мусора, миграции VM или swap. Процесс этого не замечает и может продолжить работу, считая, что блокировка у него, хотя lease уже истёк.