Konspekt · Masshtablash
Keshni yangilash (invalidation)
Muammo
Akkaunt API har bir akkauntning tarifini bazadan oldin turgan keshda saqlaydi. Faqat TTL bilan to'lov qilgan mijoz o'n daqiqagacha eski tarifda qoladi. Yozuvdan keyin kalitni o'chirish odatiy holatni hal qiladi, lekin poyga qoladi: o'chirishdan keyin keshga eski qiymat qayta yoziladi. Ikki marta o'chirish, lease va baza o'zgarishlar jurnalidan invalidatsiya bu bo'shliqlarni birma-bir yopadi. O'qish tomonida esa issiq kalit bitta so'rov uni yangilayotgan paytda eski qiymat bilan beriladi, mavjud bo'lmagan qatorlar ham keshlanadi.
Nimani o'rganasiz
- Nega TTL ma'lumot qancha vaqt noto'g'ri bo'lishini cheklaydi-yu, uni to'g'ri qilmaydi, va yozuvdan keyin o'chirish yangi qiymatni keshga yozishdan nimasi bilan farq qiladi
- Sekin o'quvchi bilan yozuvchi o'rtasidagi poyga, o'chirishdan keyin keshda eski qiymat qolishi va uni yopishning uch yo'li: ikki marta o'chirish, versiya, lease
- Baza o'zgarishlar jurnalidan (CDC) invalidatsiya: API'ni chaqirmaydigan yozuvchilar ham keshni eskirtirib qo'ya olmaydi
- Issiq kalit uchun jitter bilan stale-while-revalidate va hech narsa topmaydigan so'rovlar uchun negativ keshlash
Diagramma kod sifatida
Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.
Mermaid: sxema
flowchart LR
n_app(["Veb-ilova"])
n_api["Akkaunt API"]
n_cache{{"Kesh"}}
n_db[("Akkauntlar bazasi")]
n_batch("Billing job")
n_cdc("CDC worker")
n_app -->|"chaqiruv"| n_api
n_api -->|"chaqiruv"| n_cache
n_api -->|"chaqiruv"| n_db
n_batch --> n_db
n_cdc -->|"asinxron"| n_db
n_cdc --> n_cacheMermaid: so'rovlar ketma-ketligi
sequenceDiagram
participant n_app as Veb-ilova
participant n_api as Akkaunt API
participant n_cache as Kesh
participant n_db as Akkauntlar bazasi
participant n_batch as Billing job
participant n_cdc as CDC worker
Note over n_app,n_api: Har bir akkaunt tarifi o'n daqiqaga keshlangan
n_app->>n_api: GET /v1/accounts/4821/plan HTTP/1.1
n_api-->>n_app: HTTP/1.1 200 OK
Note over n_api,n_cache: Mijoz to'ladi, kesh esa hali ham Free deydi
n_api->>n_cache: 10:00:00 UPDATE accounts SET plan = 'pro' WHERE id = 4821#59; COMMIT
Note over n_api,n_db: Commit'dan keyin kalitni o'chir
n_api->>n_db: PATCH /v1/accounts/4821/plan {#34;plan#34;: #34;pro#34;}
Note over n_api,n_cache: Sekin o'quvchi eski qiymatni qayta yozadi
n_api->>n_cache: acct:4821:plan two requests, one key
Note over n_api,n_cache: Birozdan keyin yana o'chir
n_api->>n_cache: W COMMIT#59; DEL acct:4821:plan#59; schedule DEL in 500 ms
Note over n_api,n_cache: Lease: kesh kutmagan to'ldirishni rad etadi
n_api->>n_cache: R get acct:4821:plan -#62; MISS, lease 7731
Note over n_batch,n_db: API'ni hech qachon chaqirmaydigan yozuvchi
n_batch->>n_db: -- billing job, 02:00 every night
Note over n_cdc,n_db: Baza o'zgarishlar jurnalidan invalidatsiya
n_cdc->>n_db: change accounts lsn 0/5B10A2C8
n_db-->>n_cdc: DEL acct:4821:plan acct:4821:limits -#62; (integer) 2
Note over n_api,n_cache: Hamma bitta qayta qurishni kutadi
n_api->>n_cache: 11:00:00.000 config:tariffs expired (read 18 000/s by every request)
Note over n_api,n_cache: Bitta so'rov yangilayotganda eski qiymatni ber
n_api->>n_cache: GET config:tariffs (EX 3600)
n_cache-->>n_api: 11:00:00.001 past fresh_until: answer with this value now
Note over n_api,n_cache: #34;Topilmadi#34; ni ham keshla
n_api->>n_cache: GET acct:4821:limits -#62; (nil)D2
direction: right
n_app: "Veb-ilova" {
shape: rectangle
}
n_api: "Akkaunt API" {
shape: rectangle
}
n_cache: "Kesh" {
shape: hexagon
}
n_db: "Akkauntlar bazasi" {
shape: cylinder
}
n_batch: "Billing job" {
shape: rectangle
style.multiple: true
}
n_cdc: "CDC worker" {
shape: rectangle
style.multiple: true
}
n_app -> n_api: "chaqiruv"
n_api -> n_cache: "chaqiruv"
n_api -> n_db: "chaqiruv"
n_batch -> n_db
n_cdc -> n_db: "asinxron"
n_cdc -> n_cachePlantUML: so'rovlar ketma-ketligi
@startuml
participant "Veb-ilova" as n_app
participant "Akkaunt API" as n_api
collections "Kesh" as n_cache
database "Akkauntlar bazasi" as n_db
participant "Billing job" as n_batch
participant "CDC worker" as n_cdc
note over n_app, n_api : Har bir akkaunt tarifi o'n daqiqaga keshlangan
n_app -> n_api : GET /v1/accounts/4821/plan HTTP/1.1
n_api --> n_app : HTTP/1.1 200 OK
note over n_api, n_cache : Mijoz to'ladi, kesh esa hali ham Free deydi
n_api -> n_cache : 10:00:00 UPDATE accounts SET plan = 'pro' WHERE id = 4821; COMMIT
note over n_api, n_db : Commit'dan keyin kalitni o'chir
n_api -> n_db : PATCH /v1/accounts/4821/plan {"plan": "pro"}
note over n_api, n_cache : Sekin o'quvchi eski qiymatni qayta yozadi
n_api -> n_cache : [dublikat] acct:4821:plan two requests, one key
note over n_api, n_cache : Birozdan keyin yana o'chir
n_api -> n_cache : W COMMIT; DEL acct:4821:plan; schedule DEL in 500 ms
note over n_api, n_cache : Lease: kesh kutmagan to'ldirishni rad etadi
n_api -> n_cache : R get acct:4821:plan -> MISS, lease 7731
note over n_batch, n_db : API'ni hech qachon chaqirmaydigan yozuvchi
n_batch -> n_db : -- billing job, 02:00 every night
note over n_cdc, n_db : Baza o'zgarishlar jurnalidan invalidatsiya
n_cdc ->> n_db : change accounts lsn 0/5B10A2C8
n_db -->> n_cdc : DEL acct:4821:plan acct:4821:limits -> (integer) 2
note over n_api, n_cache : Hamma bitta qayta qurishni kutadi
n_api -> n_cache : 11:00:00.000 config:tariffs expired (read 18 000/s by every request)
note over n_api, n_cache : Bitta so'rov yangilayotganda eski qiymatni ber
n_api -> n_cache : GET config:tariffs (EX 3600)
n_cache --> n_api : 11:00:00.001 past fresh_until: answer with this value now
note over n_api, n_cache : "Topilmadi" ni ham keshla
n_api -> n_cache : GET acct:4821:limits -> (nil)
@endumlPlantUML: komponentlar
@startuml
left to right direction
agent "Veb-ilova" as n_app
component "Akkaunt API" as n_api
stack "Kesh" as n_cache
database "Akkauntlar bazasi" as n_db
collections "Billing job" as n_batch
collections "CDC worker" as n_cdc
n_app --> n_api : chaqiruv
n_api --> n_cache : chaqiruv
n_api --> n_db : chaqiruv
n_batch --> n_db
n_cdc --> n_db : asinxron
n_cdc --> n_cache
@endumlXulosa
Kesh invalidatsiyasining olti qoidasi.
1) TTL faqat ma'lumot qancha vaqt noto'g'ri bo'lishini cheklaydi; uni sug'urta sifatida qoldir. 2) Yozuvdan keyin kalitni commit'dan so'ng o'chir, yangi qiymatni yozma. 3) Sekin o'quvchi o'chirishdan keyin eski qiymatni qaytarib qo'yishi mumkin: ikki marta o'chirish oynani toraytiradi, lease yoki versiya tekshiruvi uni yopadi. 4) O'zgarishlar jurnalidan invalidatsiya qil, shunda har bir yozuvchi qamraladi, jurnal offset'ini esa faqat o'chirishdan keyin commit qil. 5) Issiq kalitlar uchun bitta so'rov yangilayotganda eski qiymatni ber va TTL'ga jitter qo'sh. 6) "Topilmadi" ni qisqa TTL bilan keshla va insert'da uni invalidatsiya qil.
Ko'rsatkichlar: boshida va oxirida
| Ko'rsatkich | Boshida | Oxirida |
|---|---|---|
| Keshga eski qiymat yozilishi | 0/kun | 0/kun |
| Eng uzun eskirish oynasi | 0 s | 0 s |
| Bazadan o'qish | 900/s | 300/s |
| Keshga tushish ulushi | 94% | 98% |
| p99 kechikish | 6 ms | 6 ms |
Qadamlar
- Holat Har bir akkaunt tarifi o'n daqiqaga keshlangan
Veb-ilovaning har bir sahifasi akkaunt API'dan akkaunt qaysi tarifda ekanini so'raydi: soniyasiga 15 000 o'qish.
- Muammo Mijoz to'ladi, kesh esa hali ham Free deydi
Soat 10:00 da 4821-akkaunt Pro'ga o'tadi va baza commit qiladi.
- Yechim Commit'dan keyin kalitni o'chir
Endi API tranzaksiya commit bo'lishi bilan kalitni o'chiradi.
- Muammo Sekin o'quvchi eski qiymatni qayta yozadi
R o'quvchi keshda topolmaydi va qatorni u hali
freebo'lgan paytda o'qiydi. - Yechim Birozdan keyin yana o'chir
Arzon yechim: birinchi o'chirishdan keyin yozuvchi 500 ms dan so'ng ikkinchisini rejalashtiradi.
- Yechim Lease: kesh kutmagan to'ldirishni rad etadi
Lease bilan keshda topilmaslik token qaytaradi.
- Muammo API'ni hech qachon chaqirmaydigan yozuvchi
Har kecha soat 02:00 da billing job to'lov muddati tugagan akkauntlarni pastroq tarifga tushiradi: bitta
UPDATEda 1 900 qator. - Yechim Baza o'zgarishlar jurnalidan invalidatsiya
CDC worker bazaning o'zgarishlar jurnalini o'qiydi.
- Muammo Hamma bitta qayta qurishni kutadi
Har bir so'rov
config:tariffsni ham o'qiydi, soniyasiga 18 000 marta. - Yechim Bitta so'rov yangilayotganda eski qiymatni ber
Endi qiymatning ikki umri bor.
- Yechim "Topilmadi" ni ham keshla
Har bir sahifa akkauntning maxsus limitlarini ham so'raydi, akkauntlarning 96% ida esa ular yo'q.
- Xulosa Xulosa
Kesh invalidatsiyasining olti qoidasi.
Atamalar
- Kesh invalidatsiyasi
- Ma'lumot o'zgarganda keshdagi eski nusxani o'chirish. Yozuv commit bo'lgandan keyin kalit o'chiriladi va keyingi o'qish yangi qiymatni oladi.
- Stale-while-revalidate
- Kesh qiymatining yumshoq va qattiq TTL'i bor: yumshoq muddat o'tgach eski qiymat darhol beriladi, bitta so'rov esa uni fonda yangilaydi. Hech kim qayta qurishni kutmaydi.
- Negativ keshlash
- "Topilmadi" javobini ham qisqa TTL bilan keshlash, shunda mavjud bo'lmagan qatorni qidirish har safar bazaga bormaydi. Yangi qator qo'shilganda bu yozuv o'chirilishi kerak.
- Kesh lease'i
- Keshda topilmaslik bilan beriladigan token: to'ldirish faqat hali amal qilayotgan token bilan qabul qilinadi, kalitni o'chirish esa tokenni bekor qiladi. Sekin o'quvchi eski qiymatni qayta yoza olmaydi.
- Ikki marta o'chirish
- Yozuvdan keyin kesh kalitini darhol, so'ng bir oz kechiktirib yana o'chirish, shunda oraliqda sekin o'quvchi qaytargan eski qiymat ham olib tashlanadi. Oynani toraytiradi, lekin yopmaydi.