mufassall

Konspekt · Arxitektura

Taqsimlangan lock'lar

14 daq · Yuqori · mufassall.dtwin.uz/uz/l/distributed-locks/

← Darsni ochish

Muammo

Marketpleys sotuvchilarga pulni har tunda ishga tushadigan job orqali to'laydi. Ishonchlilik uchun ikkita pod qo'yilgach, job ikki marta ishlaydi va har bir sotuvchiga ikki marta pul o'tadi. Redis'dagi lock bir pod'ni ikkinchisini kutishga majbur qiladi, toki lease job o'rtasida tugamaguncha yoki muzlab qolgan jarayon uyg'onib, lock hali o'zida deb o'ylamaguncha. Baza tekshiradigan fencing token, bankdagi idempotency kaliti va Redlock'ga halol nazar lock nimani va'da qila olishini, nimani qila olmasligini, qachon esa lock'ni bazaning o'zida olish yaxshiroq ekanini ko'rsatadi.

Nimani o'rganasiz

  • Nega bitta jarayon ichidagi mutex pod'lar orasida hech narsani to'smaydi va SET key token NX PX lease'li lock'ni qanday quradi
  • Faqat o'z lock'ingizni bo'shatish va uzaytirish: token Lua skript ichida solishtiriladi
  • Nega GC pauzasi yoki soatning sakrashi har qanday lease'ni buzadi va storage tekshiradigan fencing token eskirgan egasini qanday zararsiz qiladi
  • Redlock nimani tuzatadi, nimani tuzatmaydi va qachon baza lock'i yoki leader election yaxshiroq tanlov
Yakuniy sahna

Diagramma kod sifatida

Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.

Mermaid: sxema

flowchart LR
  n_a("Worker A")
  n_db[("To'lovlar bazasi")]
  n_bank>"Bank"]
  n_b("Worker B")
  n_a --> n_db
  n_a -->|"chaqiruv"| n_bank
  n_b --> n_db
  n_b -->|"chaqiruv"| n_bank

Mermaid: so'rovlar ketma-ketligi

sequenceDiagram
  participant n_a as Worker A
  participant n_bank as Bank
  participant n_b as Worker B
  participant n_redis as Redis
  participant n_db as To'lovlar bazasi
  Note over n_a,n_bank: Har tunda bitta pod sotuvchilarga to'laydi
  n_a->>n_bank: 02:00:00 pod-a cron settle-payouts batch b_1118
  Note over n_b,n_bank: Ikkinchi pod qo'shiladi va har sotuvchiga ikki marta to'lanadi
  n_b->>n_bank: 02:00:00.004 pod-b cron settle-payouts batch b_1118
  Note over n_a,n_redis: Redis'da lock: kalit yo'q bo'lsagina SET, lease bilan
  n_a->>n_redis: SET lock:payouts:2026-11-18 7f3c9a1e NX PX 30000
  n_redis-->>n_a: OK
  Note over n_a,n_redis: Faqat hali ham o'zingniki bo'lgan lock'ni bo'shat
  n_a->>n_redis: EVAL release.lua 1 lock:payouts:2026-11-18 7f3c9a1e
  n_redis-->>n_a: (integer) 1
  Note over n_b,n_redis: Job lease'dan uzoqroq ishlaydi
  n_b->>n_redis: 02:00:00 pod-a lock OK, lease 30 s, month end: 8 000 payouts
  Note over n_a,n_redis: Job ishlayotganda lease'ni uzaytir
  n_a->>n_redis: EVAL renew.lua 1 lock:payouts:2026-11-18 7f3c9a1e 30000
  n_redis-->>n_a: (integer) 1
  Note over n_a,n_bank: Ega lease'dan uzoqroq muzlaydi va uyg'onadi
  n_a->>n_bank: 02:00:05.000 pod-a lock OK, claims payout po_5501
  Note over n_a,n_db: Fencing token: baza eski egani rad etadi
  n_a->>n_db: UPDATE payouts SET status = 'paying', fence = 33
  n_db-->>n_a: UPDATE 0
  Note over n_a,n_bank: Bank fence'ni tekshira olmaydi: idempotency kaliti ishlat
  n_a->>n_bank: POST /v1/transfers HTTP/1.1
  n_bank-->>n_a: HTTP/1.1 200 OK
  Note over n_b,n_redis: Redis failover bitta lock'ni ikki marta beradi
  n_b->>n_redis: 02:00:00.000 pod-a SET NX on the Redis primary -#62; OK
  Note over n_a,n_db: Lock'ni ma'lumot turgan bazada ol
  n_a->>n_db: BEGIN#59;
  n_db-->>n_a: pg_try_advisory_xact_lock = true

D2

direction: right

n_a: "Worker A" {
  shape: rectangle
  style.multiple: true
}
n_db: "To'lovlar bazasi" {
  shape: cylinder
}
n_bank: "Bank" {
  shape: cloud
}
n_b: "Worker B" {
  shape: rectangle
  style.multiple: true
}

n_a -> n_db
n_a -> n_bank: "chaqiruv"
n_b -> n_db
n_b -> n_bank: "chaqiruv"

PlantUML: so'rovlar ketma-ketligi

@startuml
participant "Worker A" as n_a
boundary "Bank" as n_bank
participant "Worker B" as n_b
collections "Redis" as n_redis
database "To'lovlar bazasi" as n_db
note over n_a, n_bank : Har tunda bitta pod sotuvchilarga to'laydi
n_a -> n_bank : 02:00:00 pod-a cron settle-payouts batch b_1118
note over n_b, n_bank : Ikkinchi pod qo'shiladi va har sotuvchiga ikki marta to'lanadi
n_b -> n_bank : [dublikat] 02:00:00.004 pod-b cron settle-payouts batch b_1118
note over n_a, n_redis : Redis'da lock: kalit yo'q bo'lsagina SET, lease bilan
n_a -> n_redis : SET lock:payouts:2026-11-18 7f3c9a1e NX PX 30000
n_redis --> n_a : OK
note over n_a, n_redis : Faqat hali ham o'zingniki bo'lgan lock'ni bo'shat
n_a -> n_redis : EVAL release.lua 1 lock:payouts:2026-11-18 7f3c9a1e
n_redis --> n_a : (integer) 1
note over n_b, n_redis : Job lease'dan uzoqroq ishlaydi
n_b -> n_redis : 02:00:00 pod-a lock OK, lease 30 s, month end: 8 000 payouts
note over n_a, n_redis : Job ishlayotganda lease'ni uzaytir
n_a -> n_redis : EVAL renew.lua 1 lock:payouts:2026-11-18 7f3c9a1e 30000
n_redis --> n_a : (integer) 1
note over n_a, n_bank : Ega lease'dan uzoqroq muzlaydi va uyg'onadi
n_a -> n_bank : [dublikat] 02:00:05.000 pod-a lock OK, claims payout po_5501
note over n_a, n_db : Fencing token: baza eski egani rad etadi
n_a -> n_db : UPDATE payouts SET status = 'paying', fence = 33
n_db --> n_a : UPDATE 0
note over n_a, n_bank : Bank fence'ni tekshira olmaydi: idempotency kaliti ishlat
n_a -> n_bank : POST /v1/transfers HTTP/1.1
n_bank --> n_a : HTTP/1.1 200 OK
note over n_b, n_redis : Redis failover bitta lock'ni ikki marta beradi
n_b -> n_redis : 02:00:00.000 pod-a SET NX on the Redis primary -> OK
note over n_a, n_db : Lock'ni ma'lumot turgan bazada ol
n_a -> n_db : BEGIN;
n_db --> n_a : pg_try_advisory_xact_lock = true
@enduml

PlantUML: komponentlar

@startuml
left to right direction
collections "Worker A" as n_a
database "To'lovlar bazasi" as n_db
cloud "Bank" as n_bank
collections "Worker B" as n_b
n_a --> n_db
n_a --> n_bank : chaqiruv
n_b --> n_db
n_b --> n_bank : chaqiruv
@enduml

Xulosa

Taqsimlangan lock'lar uchun olti qoida.

1) Mutex bitta jarayonni himoya qiladi; pod'lar orasida lock umumiy joyda turishi kerak. 2) Lock'ni bitta atomar SET key token NX PX bilan oling, bo'shatish va uzaytirishni esa faqat skriptdagi token tekshiruvi bilan qiling. 3) Ishlayotganda lease'ni uzaytiring, uzaytirish o'tmasa darhol to'xtang. 4) Har qanday lease'dan pauza yoki soat sakrashi uzoqroq yashashi mumkin, shuning uchun storage har yozuvda fencing token'ni tekshirishi shart. 5) Fence tekshirib bo'lmaydigan joyda, masalan tashqi API'da, idempotency kalitlarini ishlating. 6) Ma'lumot turgan bazadagi lock'ni yoki consensus omboridagi leader election'ni afzal ko'ring; Redis lock'ini, Redlock ham shu jumladan, samaradorlik vositasi deb biling.

Ko'rsatkichlar: boshida va oxirida

Ko'rsatkichBoshidaOxirida
Ikki marta to'lov0/kun0/kun
Qabul qilingan eskirgan yozuv00
Rad etilgan eskirgan yozuv01

Qadamlar

  1. Holat Har tunda bitta pod sotuvchilarga to'laydi

    Soat 02:00 da rejali job kutilayotgan to'lovlarni o'qiydi, har biri uchun bankka o'tkazma yuboradi va uni to'langan deb belgilaydi.

  2. Muammo Ikkinchi pod qo'shiladi va har sotuvchiga ikki marta to'lanadi

    Ishonchlilik uchun servis endi ikkita pod'da ishlaydi.

  3. Yechim Redis'da lock: kalit yo'q bo'lsagina SET, lease bilan

    Ishga tushishdan oldin har pod SET lock:payouts:<sana> <token> NX PX 30000 ni sinab ko'radi.

  4. Yechim Faqat hali ham o'zingniki bo'lgan lock'ni bo'shat

    Job tugagach, pod kalitni o'chiradi.

  5. Muammo Job lease'dan uzoqroq ishlaydi

    Oy oxiri: 8 000 ta to'lov, job 45 soniya ishlaydi.

  6. Yechim Job ishlayotganda lease'ni uzaytir

    Job ichidagi watchdog thread har 10 soniyada lease'ni uzaytiradi, o'sha token tekshiruvi bilan: kalit hali bizniki bo'lsagina PEXPIRE.

  7. Muammo Ega lease'dan uzoqroq muzlaydi va uyg'onadi

    02:00:05 da pod-a po_5501 to'lovini oladi, runtime esa to'liq garbage collection uchun butun jarayonni to'xtatadi.

  8. Yechim Fencing token: baza eski egani rad etadi

    Lock skripti endi hisoblagichga INCR ham qiladi va raqamni lock bilan birga qaytaradi: pod-a 33 ni oldi, pod-b keyinroq 34 ni.

  9. Yechim Bank fence'ni tekshira olmaydi: idempotency kaliti ishlat

    Bank fencing token haqida hech narsa bilmaydi.

  10. Holat Redis failover bitta lock'ni ikki marta beradi

    Redis asinxron replikatsiya qiladi.

  11. Yechim Lock'ni ma'lumot turgan bazada ol

    To'lovlar baribir bitta Postgres'da, shuning uchun job lock'ni o'sha yerda oladi.

  12. Xulosa Xulosa

    Taqsimlangan lock'lar uchun olti qoida.

Atamalar

Taqsimlangan lock
Bir nechta jarayon yoki mashina orasida bir vaqtda faqat bittasi ishni bajarishini ta'minlaydigan, umumiy joyda (Redis, baza, consensus ombori) turadigan lock. Odatda lease bilan beriladi, shuning uchun yolg'iz o'zi to'g'rilikni kafolatlamaydi.
Lock tokeni (egasi qiymati)
Lock olinganda kalitga yoziladigan tasodifiy qiymat. Bo'shatish va uzaytirish faqat kalitda hali o'sha token tursa bajariladi, shunda lease'i tugagan ega birovning lock'ini o'chirmaydi.
Redlock
Lock'ni 5 ta mustaqil Redis node'dan so'rab, lease ichida ko'pchilik bergandagina olingan deb hisoblaydigan algoritm. Bitta node'ning yiqilishiga chidaydi, lekin fencing token bermaydi va pauza hamda soat siljishi chegaralangan deb faraz qiladi.
Advisory lock
Baza ilova bergan ixtiyoriy kalit bo'yicha ushlab turadigan lock, masalan Postgres'dagi `pg_try_advisory_xact_lock`. U tranzaksiya yoki sessiya bilan birga tugaydi, shuning uchun alohida lock servisisiz ishlaydi.
Jarayon pauzasi (stop-the-world)
Garbage collection, VM migratsiyasi yoki swap tufayli butun jarayon soniyalab to'xtab qolishi. Jarayon buni sezmaydi, shuning uchun lease tugaganidan keyin ham lock o'zida deb ishlashda davom etishi mumkin.