Konspekt · Arxitektura
Taqsimlangan lock'lar
Muammo
Marketpleys sotuvchilarga pulni har tunda ishga tushadigan job orqali to'laydi. Ishonchlilik uchun ikkita pod qo'yilgach, job ikki marta ishlaydi va har bir sotuvchiga ikki marta pul o'tadi. Redis'dagi lock bir pod'ni ikkinchisini kutishga majbur qiladi, toki lease job o'rtasida tugamaguncha yoki muzlab qolgan jarayon uyg'onib, lock hali o'zida deb o'ylamaguncha. Baza tekshiradigan fencing token, bankdagi idempotency kaliti va Redlock'ga halol nazar lock nimani va'da qila olishini, nimani qila olmasligini, qachon esa lock'ni bazaning o'zida olish yaxshiroq ekanini ko'rsatadi.
Nimani o'rganasiz
- Nega bitta jarayon ichidagi mutex pod'lar orasida hech narsani to'smaydi va
SET key token NX PXlease'li lock'ni qanday quradi - Faqat o'z lock'ingizni bo'shatish va uzaytirish: token Lua skript ichida solishtiriladi
- Nega GC pauzasi yoki soatning sakrashi har qanday lease'ni buzadi va storage tekshiradigan fencing token eskirgan egasini qanday zararsiz qiladi
- Redlock nimani tuzatadi, nimani tuzatmaydi va qachon baza lock'i yoki leader election yaxshiroq tanlov
Diagramma kod sifatida
Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.
Mermaid: sxema
flowchart LR
n_a("Worker A")
n_db[("To'lovlar bazasi")]
n_bank>"Bank"]
n_b("Worker B")
n_a --> n_db
n_a -->|"chaqiruv"| n_bank
n_b --> n_db
n_b -->|"chaqiruv"| n_bankMermaid: so'rovlar ketma-ketligi
sequenceDiagram
participant n_a as Worker A
participant n_bank as Bank
participant n_b as Worker B
participant n_redis as Redis
participant n_db as To'lovlar bazasi
Note over n_a,n_bank: Har tunda bitta pod sotuvchilarga to'laydi
n_a->>n_bank: 02:00:00 pod-a cron settle-payouts batch b_1118
Note over n_b,n_bank: Ikkinchi pod qo'shiladi va har sotuvchiga ikki marta to'lanadi
n_b->>n_bank: 02:00:00.004 pod-b cron settle-payouts batch b_1118
Note over n_a,n_redis: Redis'da lock: kalit yo'q bo'lsagina SET, lease bilan
n_a->>n_redis: SET lock:payouts:2026-11-18 7f3c9a1e NX PX 30000
n_redis-->>n_a: OK
Note over n_a,n_redis: Faqat hali ham o'zingniki bo'lgan lock'ni bo'shat
n_a->>n_redis: EVAL release.lua 1 lock:payouts:2026-11-18 7f3c9a1e
n_redis-->>n_a: (integer) 1
Note over n_b,n_redis: Job lease'dan uzoqroq ishlaydi
n_b->>n_redis: 02:00:00 pod-a lock OK, lease 30 s, month end: 8 000 payouts
Note over n_a,n_redis: Job ishlayotganda lease'ni uzaytir
n_a->>n_redis: EVAL renew.lua 1 lock:payouts:2026-11-18 7f3c9a1e 30000
n_redis-->>n_a: (integer) 1
Note over n_a,n_bank: Ega lease'dan uzoqroq muzlaydi va uyg'onadi
n_a->>n_bank: 02:00:05.000 pod-a lock OK, claims payout po_5501
Note over n_a,n_db: Fencing token: baza eski egani rad etadi
n_a->>n_db: UPDATE payouts SET status = 'paying', fence = 33
n_db-->>n_a: UPDATE 0
Note over n_a,n_bank: Bank fence'ni tekshira olmaydi: idempotency kaliti ishlat
n_a->>n_bank: POST /v1/transfers HTTP/1.1
n_bank-->>n_a: HTTP/1.1 200 OK
Note over n_b,n_redis: Redis failover bitta lock'ni ikki marta beradi
n_b->>n_redis: 02:00:00.000 pod-a SET NX on the Redis primary -#62; OK
Note over n_a,n_db: Lock'ni ma'lumot turgan bazada ol
n_a->>n_db: BEGIN#59;
n_db-->>n_a: pg_try_advisory_xact_lock = trueD2
direction: right
n_a: "Worker A" {
shape: rectangle
style.multiple: true
}
n_db: "To'lovlar bazasi" {
shape: cylinder
}
n_bank: "Bank" {
shape: cloud
}
n_b: "Worker B" {
shape: rectangle
style.multiple: true
}
n_a -> n_db
n_a -> n_bank: "chaqiruv"
n_b -> n_db
n_b -> n_bank: "chaqiruv"PlantUML: so'rovlar ketma-ketligi
@startuml
participant "Worker A" as n_a
boundary "Bank" as n_bank
participant "Worker B" as n_b
collections "Redis" as n_redis
database "To'lovlar bazasi" as n_db
note over n_a, n_bank : Har tunda bitta pod sotuvchilarga to'laydi
n_a -> n_bank : 02:00:00 pod-a cron settle-payouts batch b_1118
note over n_b, n_bank : Ikkinchi pod qo'shiladi va har sotuvchiga ikki marta to'lanadi
n_b -> n_bank : [dublikat] 02:00:00.004 pod-b cron settle-payouts batch b_1118
note over n_a, n_redis : Redis'da lock: kalit yo'q bo'lsagina SET, lease bilan
n_a -> n_redis : SET lock:payouts:2026-11-18 7f3c9a1e NX PX 30000
n_redis --> n_a : OK
note over n_a, n_redis : Faqat hali ham o'zingniki bo'lgan lock'ni bo'shat
n_a -> n_redis : EVAL release.lua 1 lock:payouts:2026-11-18 7f3c9a1e
n_redis --> n_a : (integer) 1
note over n_b, n_redis : Job lease'dan uzoqroq ishlaydi
n_b -> n_redis : 02:00:00 pod-a lock OK, lease 30 s, month end: 8 000 payouts
note over n_a, n_redis : Job ishlayotganda lease'ni uzaytir
n_a -> n_redis : EVAL renew.lua 1 lock:payouts:2026-11-18 7f3c9a1e 30000
n_redis --> n_a : (integer) 1
note over n_a, n_bank : Ega lease'dan uzoqroq muzlaydi va uyg'onadi
n_a -> n_bank : [dublikat] 02:00:05.000 pod-a lock OK, claims payout po_5501
note over n_a, n_db : Fencing token: baza eski egani rad etadi
n_a -> n_db : UPDATE payouts SET status = 'paying', fence = 33
n_db --> n_a : UPDATE 0
note over n_a, n_bank : Bank fence'ni tekshira olmaydi: idempotency kaliti ishlat
n_a -> n_bank : POST /v1/transfers HTTP/1.1
n_bank --> n_a : HTTP/1.1 200 OK
note over n_b, n_redis : Redis failover bitta lock'ni ikki marta beradi
n_b -> n_redis : 02:00:00.000 pod-a SET NX on the Redis primary -> OK
note over n_a, n_db : Lock'ni ma'lumot turgan bazada ol
n_a -> n_db : BEGIN;
n_db --> n_a : pg_try_advisory_xact_lock = true
@endumlPlantUML: komponentlar
@startuml
left to right direction
collections "Worker A" as n_a
database "To'lovlar bazasi" as n_db
cloud "Bank" as n_bank
collections "Worker B" as n_b
n_a --> n_db
n_a --> n_bank : chaqiruv
n_b --> n_db
n_b --> n_bank : chaqiruv
@endumlXulosa
Taqsimlangan lock'lar uchun olti qoida.
1) Mutex bitta jarayonni himoya qiladi; pod'lar orasida lock umumiy joyda turishi kerak. 2) Lock'ni bitta atomar SET key token NX PX bilan oling, bo'shatish va uzaytirishni esa faqat skriptdagi token tekshiruvi bilan qiling. 3) Ishlayotganda lease'ni uzaytiring, uzaytirish o'tmasa darhol to'xtang. 4) Har qanday lease'dan pauza yoki soat sakrashi uzoqroq yashashi mumkin, shuning uchun storage har yozuvda fencing token'ni tekshirishi shart. 5) Fence tekshirib bo'lmaydigan joyda, masalan tashqi API'da, idempotency kalitlarini ishlating. 6) Ma'lumot turgan bazadagi lock'ni yoki consensus omboridagi leader election'ni afzal ko'ring; Redis lock'ini, Redlock ham shu jumladan, samaradorlik vositasi deb biling.
Ko'rsatkichlar: boshida va oxirida
| Ko'rsatkich | Boshida | Oxirida |
|---|---|---|
| Ikki marta to'lov | 0/kun | 0/kun |
| Qabul qilingan eskirgan yozuv | 0 | 0 |
| Rad etilgan eskirgan yozuv | 0 | 1 |
Qadamlar
- Holat Har tunda bitta pod sotuvchilarga to'laydi
Soat 02:00 da rejali job kutilayotgan to'lovlarni o'qiydi, har biri uchun bankka o'tkazma yuboradi va uni to'langan deb belgilaydi.
- Muammo Ikkinchi pod qo'shiladi va har sotuvchiga ikki marta to'lanadi
Ishonchlilik uchun servis endi ikkita pod'da ishlaydi.
- Yechim Redis'da lock: kalit yo'q bo'lsagina SET, lease bilan
Ishga tushishdan oldin har pod
SET lock:payouts:<sana> <token> NX PX 30000ni sinab ko'radi. - Yechim Faqat hali ham o'zingniki bo'lgan lock'ni bo'shat
Job tugagach, pod kalitni o'chiradi.
- Muammo Job lease'dan uzoqroq ishlaydi
Oy oxiri: 8 000 ta to'lov, job 45 soniya ishlaydi.
- Yechim Job ishlayotganda lease'ni uzaytir
Job ichidagi watchdog thread har 10 soniyada lease'ni uzaytiradi, o'sha token tekshiruvi bilan: kalit hali bizniki bo'lsagina
PEXPIRE. - Muammo Ega lease'dan uzoqroq muzlaydi va uyg'onadi
02:00:05 da pod-a
po_5501to'lovini oladi, runtime esa to'liq garbage collection uchun butun jarayonni to'xtatadi. - Yechim Fencing token: baza eski egani rad etadi
Lock skripti endi hisoblagichga
INCRham qiladi va raqamni lock bilan birga qaytaradi: pod-a 33 ni oldi, pod-b keyinroq 34 ni. - Yechim Bank fence'ni tekshira olmaydi: idempotency kaliti ishlat
Bank fencing token haqida hech narsa bilmaydi.
- Holat Redis failover bitta lock'ni ikki marta beradi
Redis asinxron replikatsiya qiladi.
- Yechim Lock'ni ma'lumot turgan bazada ol
To'lovlar baribir bitta Postgres'da, shuning uchun job lock'ni o'sha yerda oladi.
- Xulosa Xulosa
Taqsimlangan lock'lar uchun olti qoida.
Atamalar
- Taqsimlangan lock
- Bir nechta jarayon yoki mashina orasida bir vaqtda faqat bittasi ishni bajarishini ta'minlaydigan, umumiy joyda (Redis, baza, consensus ombori) turadigan lock. Odatda lease bilan beriladi, shuning uchun yolg'iz o'zi to'g'rilikni kafolatlamaydi.
- Lock tokeni (egasi qiymati)
- Lock olinganda kalitga yoziladigan tasodifiy qiymat. Bo'shatish va uzaytirish faqat kalitda hali o'sha token tursa bajariladi, shunda lease'i tugagan ega birovning lock'ini o'chirmaydi.
- Redlock
- Lock'ni 5 ta mustaqil Redis node'dan so'rab, lease ichida ko'pchilik bergandagina olingan deb hisoblaydigan algoritm. Bitta node'ning yiqilishiga chidaydi, lekin fencing token bermaydi va pauza hamda soat siljishi chegaralangan deb faraz qiladi.
- Advisory lock
- Baza ilova bergan ixtiyoriy kalit bo'yicha ushlab turadigan lock, masalan Postgres'dagi `pg_try_advisory_xact_lock`. U tranzaksiya yoki sessiya bilan birga tugaydi, shuning uchun alohida lock servisisiz ishlaydi.
- Jarayon pauzasi (stop-the-world)
- Garbage collection, VM migratsiyasi yoki swap tufayli butun jarayon soniyalab to'xtab qolishi. Jarayon buni sezmaydi, shuning uchun lease tugaganidan keyin ham lock o'zida deb ishlashda davom etishi mumkin.