mufassall

Konspekt · Masshtablash

Keshni yangilash (invalidation)

14 daq · Yuqori · mufassall.dtwin.uz/uz/l/cache-invalidation/

← Darsni ochish

Muammo

Akkaunt API har bir akkauntning tarifini bazadan oldin turgan keshda saqlaydi. Faqat TTL bilan to'lov qilgan mijoz o'n daqiqagacha eski tarifda qoladi. Yozuvdan keyin kalitni o'chirish odatiy holatni hal qiladi, lekin poyga qoladi: o'chirishdan keyin keshga eski qiymat qayta yoziladi. Ikki marta o'chirish, lease va baza o'zgarishlar jurnalidan invalidatsiya bu bo'shliqlarni birma-bir yopadi. O'qish tomonida esa issiq kalit bitta so'rov uni yangilayotgan paytda eski qiymat bilan beriladi, mavjud bo'lmagan qatorlar ham keshlanadi.

Nimani o'rganasiz

  • Nega TTL ma'lumot qancha vaqt noto'g'ri bo'lishini cheklaydi-yu, uni to'g'ri qilmaydi, va yozuvdan keyin o'chirish yangi qiymatni keshga yozishdan nimasi bilan farq qiladi
  • Sekin o'quvchi bilan yozuvchi o'rtasidagi poyga, o'chirishdan keyin keshda eski qiymat qolishi va uni yopishning uch yo'li: ikki marta o'chirish, versiya, lease
  • Baza o'zgarishlar jurnalidan (CDC) invalidatsiya: API'ni chaqirmaydigan yozuvchilar ham keshni eskirtirib qo'ya olmaydi
  • Issiq kalit uchun jitter bilan stale-while-revalidate va hech narsa topmaydigan so'rovlar uchun negativ keshlash
Yakuniy sahna
60%

Diagramma kod sifatida

Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.

Mermaid: sxema

flowchart LR
  n_app(["Veb-ilova"])
  n_api["Akkaunt API"]
  n_cache{{"Kesh"}}
  n_db[("Akkauntlar bazasi")]
  n_batch("Billing job")
  n_cdc("CDC worker")
  n_app -->|"chaqiruv"| n_api
  n_api -->|"chaqiruv"| n_cache
  n_api -->|"chaqiruv"| n_db
  n_batch --> n_db
  n_cdc -->|"asinxron"| n_db
  n_cdc --> n_cache

Mermaid: so'rovlar ketma-ketligi

sequenceDiagram
  participant n_app as Veb-ilova
  participant n_api as Akkaunt API
  participant n_cache as Kesh
  participant n_db as Akkauntlar bazasi
  participant n_batch as Billing job
  participant n_cdc as CDC worker
  Note over n_app,n_api: Har bir akkaunt tarifi o'n daqiqaga keshlangan
  n_app->>n_api: GET /v1/accounts/4821/plan HTTP/1.1
  n_api-->>n_app: HTTP/1.1 200 OK
  Note over n_api,n_cache: Mijoz to'ladi, kesh esa hali ham Free deydi
  n_api->>n_cache: 10:00:00 UPDATE accounts SET plan = 'pro' WHERE id = 4821#59; COMMIT
  Note over n_api,n_db: Commit'dan keyin kalitni o'chir
  n_api->>n_db: PATCH /v1/accounts/4821/plan {#34;plan#34;: #34;pro#34;}
  Note over n_api,n_cache: Sekin o'quvchi eski qiymatni qayta yozadi
  n_api->>n_cache: acct:4821:plan two requests, one key
  Note over n_api,n_cache: Birozdan keyin yana o'chir
  n_api->>n_cache: W COMMIT#59; DEL acct:4821:plan#59; schedule DEL in 500 ms
  Note over n_api,n_cache: Lease: kesh kutmagan to'ldirishni rad etadi
  n_api->>n_cache: R get acct:4821:plan -#62; MISS, lease 7731
  Note over n_batch,n_db: API'ni hech qachon chaqirmaydigan yozuvchi
  n_batch->>n_db: -- billing job, 02:00 every night
  Note over n_cdc,n_db: Baza o'zgarishlar jurnalidan invalidatsiya
  n_cdc->>n_db: change accounts lsn 0/5B10A2C8
  n_db-->>n_cdc: DEL acct:4821:plan acct:4821:limits -#62; (integer) 2
  Note over n_api,n_cache: Hamma bitta qayta qurishni kutadi
  n_api->>n_cache: 11:00:00.000 config:tariffs expired (read 18 000/s by every request)
  Note over n_api,n_cache: Bitta so'rov yangilayotganda eski qiymatni ber
  n_api->>n_cache: GET config:tariffs (EX 3600)
  n_cache-->>n_api: 11:00:00.001 past fresh_until: answer with this value now
  Note over n_api,n_cache: #34;Topilmadi#34; ni ham keshla
  n_api->>n_cache: GET acct:4821:limits -#62; (nil)

D2

direction: right

n_app: "Veb-ilova" {
  shape: rectangle
}
n_api: "Akkaunt API" {
  shape: rectangle
}
n_cache: "Kesh" {
  shape: hexagon
}
n_db: "Akkauntlar bazasi" {
  shape: cylinder
}
n_batch: "Billing job" {
  shape: rectangle
  style.multiple: true
}
n_cdc: "CDC worker" {
  shape: rectangle
  style.multiple: true
}

n_app -> n_api: "chaqiruv"
n_api -> n_cache: "chaqiruv"
n_api -> n_db: "chaqiruv"
n_batch -> n_db
n_cdc -> n_db: "asinxron"
n_cdc -> n_cache

PlantUML: so'rovlar ketma-ketligi

@startuml
participant "Veb-ilova" as n_app
participant "Akkaunt API" as n_api
collections "Kesh" as n_cache
database "Akkauntlar bazasi" as n_db
participant "Billing job" as n_batch
participant "CDC worker" as n_cdc
note over n_app, n_api : Har bir akkaunt tarifi o'n daqiqaga keshlangan
n_app -> n_api : GET /v1/accounts/4821/plan HTTP/1.1
n_api --> n_app : HTTP/1.1 200 OK
note over n_api, n_cache : Mijoz to'ladi, kesh esa hali ham Free deydi
n_api -> n_cache : 10:00:00 UPDATE accounts SET plan = 'pro' WHERE id = 4821; COMMIT
note over n_api, n_db : Commit'dan keyin kalitni o'chir
n_api -> n_db : PATCH /v1/accounts/4821/plan {"plan": "pro"}
note over n_api, n_cache : Sekin o'quvchi eski qiymatni qayta yozadi
n_api -> n_cache : [dublikat] acct:4821:plan two requests, one key
note over n_api, n_cache : Birozdan keyin yana o'chir
n_api -> n_cache : W COMMIT; DEL acct:4821:plan; schedule DEL in 500 ms
note over n_api, n_cache : Lease: kesh kutmagan to'ldirishni rad etadi
n_api -> n_cache : R get acct:4821:plan -> MISS, lease 7731
note over n_batch, n_db : API'ni hech qachon chaqirmaydigan yozuvchi
n_batch -> n_db : -- billing job, 02:00 every night
note over n_cdc, n_db : Baza o'zgarishlar jurnalidan invalidatsiya
n_cdc ->> n_db : change accounts lsn 0/5B10A2C8
n_db -->> n_cdc : DEL acct:4821:plan acct:4821:limits -> (integer) 2
note over n_api, n_cache : Hamma bitta qayta qurishni kutadi
n_api -> n_cache : 11:00:00.000 config:tariffs expired (read 18 000/s by every request)
note over n_api, n_cache : Bitta so'rov yangilayotganda eski qiymatni ber
n_api -> n_cache : GET config:tariffs (EX 3600)
n_cache --> n_api : 11:00:00.001 past fresh_until: answer with this value now
note over n_api, n_cache : "Topilmadi" ni ham keshla
n_api -> n_cache : GET acct:4821:limits -> (nil)
@enduml

PlantUML: komponentlar

@startuml
left to right direction
agent "Veb-ilova" as n_app
component "Akkaunt API" as n_api
stack "Kesh" as n_cache
database "Akkauntlar bazasi" as n_db
collections "Billing job" as n_batch
collections "CDC worker" as n_cdc
n_app --> n_api : chaqiruv
n_api --> n_cache : chaqiruv
n_api --> n_db : chaqiruv
n_batch --> n_db
n_cdc --> n_db : asinxron
n_cdc --> n_cache
@enduml

Xulosa

Kesh invalidatsiyasining olti qoidasi.

1) TTL faqat ma'lumot qancha vaqt noto'g'ri bo'lishini cheklaydi; uni sug'urta sifatida qoldir. 2) Yozuvdan keyin kalitni commit'dan so'ng o'chir, yangi qiymatni yozma. 3) Sekin o'quvchi o'chirishdan keyin eski qiymatni qaytarib qo'yishi mumkin: ikki marta o'chirish oynani toraytiradi, lease yoki versiya tekshiruvi uni yopadi. 4) O'zgarishlar jurnalidan invalidatsiya qil, shunda har bir yozuvchi qamraladi, jurnal offset'ini esa faqat o'chirishdan keyin commit qil. 5) Issiq kalitlar uchun bitta so'rov yangilayotganda eski qiymatni ber va TTL'ga jitter qo'sh. 6) "Topilmadi" ni qisqa TTL bilan keshla va insert'da uni invalidatsiya qil.

Ko'rsatkichlar: boshida va oxirida

Ko'rsatkichBoshidaOxirida
Keshga eski qiymat yozilishi0/kun0/kun
Eng uzun eskirish oynasi0 s0 s
Bazadan o'qish900/s300/s
Keshga tushish ulushi94%98%
p99 kechikish6 ms6 ms

Qadamlar

  1. Holat Har bir akkaunt tarifi o'n daqiqaga keshlangan

    Veb-ilovaning har bir sahifasi akkaunt API'dan akkaunt qaysi tarifda ekanini so'raydi: soniyasiga 15 000 o'qish.

  2. Muammo Mijoz to'ladi, kesh esa hali ham Free deydi

    Soat 10:00 da 4821-akkaunt Pro'ga o'tadi va baza commit qiladi.

  3. Yechim Commit'dan keyin kalitni o'chir

    Endi API tranzaksiya commit bo'lishi bilan kalitni o'chiradi.

  4. Muammo Sekin o'quvchi eski qiymatni qayta yozadi

    R o'quvchi keshda topolmaydi va qatorni u hali free bo'lgan paytda o'qiydi.

  5. Yechim Birozdan keyin yana o'chir

    Arzon yechim: birinchi o'chirishdan keyin yozuvchi 500 ms dan so'ng ikkinchisini rejalashtiradi.

  6. Yechim Lease: kesh kutmagan to'ldirishni rad etadi

    Lease bilan keshda topilmaslik token qaytaradi.

  7. Muammo API'ni hech qachon chaqirmaydigan yozuvchi

    Har kecha soat 02:00 da billing job to'lov muddati tugagan akkauntlarni pastroq tarifga tushiradi: bitta UPDATE da 1 900 qator.

  8. Yechim Baza o'zgarishlar jurnalidan invalidatsiya

    CDC worker bazaning o'zgarishlar jurnalini o'qiydi.

  9. Muammo Hamma bitta qayta qurishni kutadi

    Har bir so'rov config:tariffs ni ham o'qiydi, soniyasiga 18 000 marta.

  10. Yechim Bitta so'rov yangilayotganda eski qiymatni ber

    Endi qiymatning ikki umri bor.

  11. Yechim "Topilmadi" ni ham keshla

    Har bir sahifa akkauntning maxsus limitlarini ham so'raydi, akkauntlarning 96% ida esa ular yo'q.

  12. Xulosa Xulosa

    Kesh invalidatsiyasining olti qoidasi.

Atamalar

Kesh invalidatsiyasi
Ma'lumot o'zgarganda keshdagi eski nusxani o'chirish. Yozuv commit bo'lgandan keyin kalit o'chiriladi va keyingi o'qish yangi qiymatni oladi.
Stale-while-revalidate
Kesh qiymatining yumshoq va qattiq TTL'i bor: yumshoq muddat o'tgach eski qiymat darhol beriladi, bitta so'rov esa uni fonda yangilaydi. Hech kim qayta qurishni kutmaydi.
Negativ keshlash
"Topilmadi" javobini ham qisqa TTL bilan keshlash, shunda mavjud bo'lmagan qatorni qidirish har safar bazaga bormaydi. Yangi qator qo'shilganda bu yozuv o'chirilishi kerak.
Kesh lease'i
Keshda topilmaslik bilan beriladigan token: to'ldirish faqat hali amal qilayotgan token bilan qabul qilinadi, kalitni o'chirish esa tokenni bekor qiladi. Sekin o'quvchi eski qiymatni qayta yoza olmaydi.
Ikki marta o'chirish
Yozuvdan keyin kesh kalitini darhol, so'ng bir oz kechiktirib yana o'chirish, shunda oraliqda sekin o'quvchi qaytargan eski qiymat ham olib tashlanadi. Oynani toraytiradi, lekin yopmaydi.