Шпаргалка · Архитектура
Распределённые блокировки
Проблема
Маркетплейс платит продавцам ночной задачей. Когда ради доступности поднимают второй под, задача запускается дважды и каждый продавец получает деньги два раза. Блокировка в Redis заставляет один под ждать другой, пока lease не кончится посреди задачи или замёрзший процесс не проснётся в уверенности, что блокировка всё ещё у него. Fencing-токены, которые проверяет база, ключ идемпотентности в банке и честный взгляд на Redlock показывают, что блокировка может обещать, а что нет, и когда лучше брать блокировку в самой базе.
Чему вы научитесь
- Почему mutex внутри одного процесса ничего не защищает между подами и как
SET key token NX PXдаёт блокировку с lease - Снимать и продлевать только свою блокировку: токен сравнивается внутри Lua-скрипта
- Почему пауза GC или скачок часов ломают любой lease и как fencing-токены, которые проверяет хранилище, обезвреживают устаревшего владельца
- Что Redlock исправляет и чего не исправляет, и когда лучше блокировка в базе или выбор лидера
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_a("Воркер A")
n_db[("БД выплат")]
n_bank>"Банк"]
n_b("Воркер B")
n_a --> n_db
n_a -->|"вызов"| n_bank
n_b --> n_db
n_b -->|"вызов"| n_bankMermaid: последовательность запросов
sequenceDiagram
participant n_a as Воркер A
participant n_bank as Банк
participant n_b as Воркер B
participant n_redis as Redis
participant n_db as БД выплат
Note over n_a,n_bank: Каждую ночь один под платит продавцам
n_a->>n_bank: 02:00:00 pod-a cron settle-payouts batch b_1118
Note over n_b,n_bank: Второй под, и каждому продавцу платят дважды
n_b->>n_bank: 02:00:00.004 pod-b cron settle-payouts batch b_1118
Note over n_a,n_redis: Блокировка в Redis: SET, только если ключа нет, и с lease
n_a->>n_redis: SET lock:payouts:2026-11-18 7f3c9a1e NX PX 30000
n_redis-->>n_a: OK
Note over n_a,n_redis: Снимать только ту блокировку, что ещё твоя
n_a->>n_redis: EVAL release.lua 1 lock:payouts:2026-11-18 7f3c9a1e
n_redis-->>n_a: (integer) 1
Note over n_b,n_redis: Задача идёт дольше, чем lease
n_b->>n_redis: 02:00:00 pod-a lock OK, lease 30 s, month end: 8 000 payouts
Note over n_a,n_redis: Продлевать lease, пока задача идёт
n_a->>n_redis: EVAL renew.lua 1 lock:payouts:2026-11-18 7f3c9a1e 30000
n_redis-->>n_a: (integer) 1
Note over n_a,n_bank: Владелец замирает дольше lease и просыпается
n_a->>n_bank: 02:00:05.000 pod-a lock OK, claims payout po_5501
Note over n_a,n_db: Fencing-токены: база отклоняет старого владельца
n_a->>n_db: UPDATE payouts SET status = 'paying', fence = 33
n_db-->>n_a: UPDATE 0
Note over n_a,n_bank: Банк не проверяет fence: нужен ключ идемпотентности
n_a->>n_bank: POST /v1/transfers HTTP/1.1
n_bank-->>n_a: HTTP/1.1 200 OK
Note over n_b,n_redis: Failover Redis выдаёт одну блокировку дважды
n_b->>n_redis: 02:00:00.000 pod-a SET NX on the Redis primary -#62; OK
Note over n_a,n_db: Блокировка в той базе, где лежат данные
n_a->>n_db: BEGIN#59;
n_db-->>n_a: pg_try_advisory_xact_lock = trueD2
direction: right
n_a: "Воркер A" {
shape: rectangle
style.multiple: true
}
n_db: "БД выплат" {
shape: cylinder
}
n_bank: "Банк" {
shape: cloud
}
n_b: "Воркер B" {
shape: rectangle
style.multiple: true
}
n_a -> n_db
n_a -> n_bank: "вызов"
n_b -> n_db
n_b -> n_bank: "вызов"PlantUML: последовательность запросов
@startuml
participant "Воркер A" as n_a
boundary "Банк" as n_bank
participant "Воркер B" as n_b
collections "Redis" as n_redis
database "БД выплат" as n_db
note over n_a, n_bank : Каждую ночь один под платит продавцам
n_a -> n_bank : 02:00:00 pod-a cron settle-payouts batch b_1118
note over n_b, n_bank : Второй под, и каждому продавцу платят дважды
n_b -> n_bank : [дубль] 02:00:00.004 pod-b cron settle-payouts batch b_1118
note over n_a, n_redis : Блокировка в Redis: SET, только если ключа нет, и с lease
n_a -> n_redis : SET lock:payouts:2026-11-18 7f3c9a1e NX PX 30000
n_redis --> n_a : OK
note over n_a, n_redis : Снимать только ту блокировку, что ещё твоя
n_a -> n_redis : EVAL release.lua 1 lock:payouts:2026-11-18 7f3c9a1e
n_redis --> n_a : (integer) 1
note over n_b, n_redis : Задача идёт дольше, чем lease
n_b -> n_redis : 02:00:00 pod-a lock OK, lease 30 s, month end: 8 000 payouts
note over n_a, n_redis : Продлевать lease, пока задача идёт
n_a -> n_redis : EVAL renew.lua 1 lock:payouts:2026-11-18 7f3c9a1e 30000
n_redis --> n_a : (integer) 1
note over n_a, n_bank : Владелец замирает дольше lease и просыпается
n_a -> n_bank : [дубль] 02:00:05.000 pod-a lock OK, claims payout po_5501
note over n_a, n_db : Fencing-токены: база отклоняет старого владельца
n_a -> n_db : UPDATE payouts SET status = 'paying', fence = 33
n_db --> n_a : UPDATE 0
note over n_a, n_bank : Банк не проверяет fence: нужен ключ идемпотентности
n_a -> n_bank : POST /v1/transfers HTTP/1.1
n_bank --> n_a : HTTP/1.1 200 OK
note over n_b, n_redis : Failover Redis выдаёт одну блокировку дважды
n_b -> n_redis : 02:00:00.000 pod-a SET NX on the Redis primary -> OK
note over n_a, n_db : Блокировка в той базе, где лежат данные
n_a -> n_db : BEGIN;
n_db --> n_a : pg_try_advisory_xact_lock = true
@endumlPlantUML: компоненты
@startuml
left to right direction
collections "Воркер A" as n_a
database "БД выплат" as n_db
cloud "Банк" as n_bank
collections "Воркер B" as n_b
n_a --> n_db
n_a --> n_bank : вызов
n_b --> n_db
n_b --> n_bank : вызов
@endumlИтог
Шесть правил распределённых блокировок.
1) Mutex защищает один процесс; между подами блокировка должна лежать в общем месте. 2) Захватывайте одной атомарной SET key token NX PX, а снимайте и продлевайте только с проверкой токена в скрипте. 3) Продлевайте lease во время работы и сразу останавливайтесь, если продление не прошло. 4) Любой lease может пережить пауза или скачок часов, поэтому хранилище должно проверять fencing-токен при каждой записи. 5) Где fence не проверить, например во внешнем API, используйте ключи идемпотентности. 6) Предпочитайте блокировку в базе с данными или выбор лидера на консенсусном хранилище; блокировку в Redis, включая Redlock, считайте инструментом эффективности.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Двойные выплаты | 0/день | 0/день |
| Принятые устаревшие записи | 0 | 0 |
| Отклонённые устаревшие записи | 0 | 1 |
Шаги
- Кейс Каждую ночь один под платит продавцам
В 02:00 задача по расписанию читает ожидающие выплаты, по каждой отправляет перевод в банк и помечает её оплаченной.
- Проблема Второй под, и каждому продавцу платят дважды
Ради доступности сервис теперь работает на двух подах.
- Решение Блокировка в Redis: SET, только если ключа нет, и с lease
Перед запуском каждый под пробует
SET lock:payouts:<дата> <токен> NX PX 30000. - Решение Снимать только ту блокировку, что ещё твоя
Когда задача закончилась, под удаляет ключ.
- Проблема Задача идёт дольше, чем lease
Конец месяца: 8 000 выплат, задача длится 45 секунд.
- Решение Продлевать lease, пока задача идёт
Сторожевой поток в задаче каждые 10 секунд продлевает lease с той же проверкой токена:
PEXPIRE, только если ключ ещё наш. - Проблема Владелец замирает дольше lease и просыпается
В 02:00:05 pod-a берёт выплату
po_5501, и рантайм останавливает весь процесс на полную сборку мусора. - Решение Fencing-токены: база отклоняет старого владельца
Скрипт блокировки теперь делает ещё и
INCRсчётчика и возвращает номер вместе с блокировкой: pod-a получил 33, pod-b позже 34. - Решение Банк не проверяет fence: нужен ключ идемпотентности
Банк ничего не знает о fencing-токенах.
- Кейс Failover Redis выдаёт одну блокировку дважды
Redis реплицирует асинхронно.
- Решение Блокировка в той базе, где лежат данные
Выплаты и так лежат в одном Postgres, поэтому задача берёт блокировку там же.
- Итоги Итог
Шесть правил распределённых блокировок.
Термины
- Распределённая блокировка
- Блокировка в общем месте (Redis, база, консенсусное хранилище), которая даёт выполнять работу только одному из нескольких процессов или машин. Обычно выдаётся с lease, поэтому сама по себе корректность не гарантирует.
- Токен блокировки (значение владельца)
- Случайное значение, которое пишется в ключ при захвате. Снятие и продление выполняются, только если в ключе всё ещё этот токен, и владелец с истёкшим lease не удалит чужую блокировку.
- Redlock
- Алгоритм, который запрашивает блокировку у 5 независимых узлов Redis и считает её взятой, только если большинство выдало её в пределах lease. Переживает падение одного узла, но не даёт fencing-токена и предполагает ограниченные паузы и дрейф часов.
- Advisory-блокировка
- Блокировка, которую база держит по произвольному ключу приложения, например `pg_try_advisory_xact_lock` в Postgres. Она заканчивается вместе с транзакцией или сессией, поэтому не нужен отдельный сервис блокировок.
- Пауза процесса (stop-the-world)
- Остановка всего процесса на секунды из-за сборки мусора, миграции VM или swap. Процесс этого не замечает и может продолжить работу, считая, что блокировка у него, хотя lease уже истёк.