mufassall

Konspekt · Masshtablash

Keshlash

13 daq · O'rta · mufassall.dtwin.uz/uz/l/caching/

← Darsni ochish

Muammo

Mahsulot sahifasi bazadan bir xil qatorni soniyasiga minglab marta o'qiydi. Oldiga qo'yilgan kesh o'qishni tezlashtiradi, keyin o'z muammolarini olib keladi: eskirgan ma'lumot, issiq kalitga yopirilish va yozuvlar qayerga ketishi.

Nimani o'rganasiz

  • Cache-aside o'qish yo'li: keshga qara, bo'lmasa bazadan o'qi, keshni to'ldir
  • TTL va invalidatsiya: nega yozuv keshdagi nusxani o'chirishi kerak
  • Issiq kalitga yopirilish (stampede) nima va uni coalescing hamda tasodifiy TTL qanday to'xtatadi
  • Write-through va write-back: har biri nimani xavf ostiga qo'yadi
Yakuniy sahna
50%30%20%

Diagramma kod sifatida

Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.

Mermaid: sxema

flowchart LR
  n_client(["Do'kon ilovasi"])
  n_api["Mahsulot API"]
  n_db[("Baza")]
  n_cache{{"Kesh (Redis)"}}
  n_admin(("Do'kon menejeri"))
  n_worker("Flush worker")
  n_client --> n_api
  n_api --> n_db
  n_api --> n_cache
  n_admin --> n_api
  n_worker --> n_cache
  n_worker --> n_db

Mermaid: so'rovlar ketma-ketligi

sequenceDiagram
  participant n_api as Mahsulot API
  participant n_db as Baza
  participant n_cache as Kesh (Redis)
  Note over n_api,n_db: Har sahifa ochilishi bazaga boradi
  n_api->>n_db: SELECT p.id, p.name, p.price, s.qty
  n_db-->>n_api: 1 row in 38 ms
  Note over n_api,n_cache: Avval keshga qara
  n_api->>n_cache: GET product:1042
  n_cache-->>n_api: (nil)
  Note over n_api,n_cache: Miss'dan keyin javobni keshga qo'y
  n_api->>n_cache: SET product:1042 '{...}' EX 300
  n_cache-->>n_api: OK
  Note over n_api,n_cache: Hit: javob xotiradan
  n_api->>n_cache: GET product:1042
  n_cache-->>n_api: (bulk string, 52 bytes)
  Note over n_api,n_db: Narx o'zgardi, kesh esa yo'q
  n_api->>n_db: UPDATE products SET price = 4490000
  n_db-->>n_api: UPDATE 1
  Note over n_api,n_cache: Yozuv keshdagi nusxani o'chiradi
  n_api->>n_cache: DEL product:1042
  n_cache-->>n_api: (integer) 1
  Note over n_api,n_db: Aksiya paytida issiq kalit tugaydi
  n_api->>n_db: 08:00:00.000 key product:1042 expired
  Note over n_api,n_cache: Kalitni faqat bitta so'rov tiklaydi
  n_api->>n_cache: SET lock:product:1042 req_7 NX PX 2000
  n_cache-->>n_api: OK
  Note over n_api,n_cache: Kalitlar birga tugamasin
  n_api->>n_cache: SET product:1042 '{...}' EX 347
  n_cache-->>n_api: OK
  Note over n_api,n_cache: Yozuvlar: kesh orqali yoki keshdan keyin
  n_api->>n_cache: INCR views:1042
  n_cache-->>n_api: (integer) 58213

D2

direction: right

n_client: "Do'kon ilovasi" {
  shape: rectangle
}
n_api: "Mahsulot API" {
  shape: rectangle
}
n_db: "Baza" {
  shape: cylinder
}
n_cache: "Kesh (Redis)" {
  shape: hexagon
}
n_admin: "Do'kon menejeri" {
  shape: person
}
n_worker: "Flush worker" {
  shape: rectangle
  style.multiple: true
}

n_client -> n_api
n_api -> n_db
n_api -> n_cache
n_admin -> n_api
n_worker -> n_cache
n_worker -> n_db

PlantUML: so'rovlar ketma-ketligi

@startuml
participant "Mahsulot API" as n_api
database "Baza" as n_db
collections "Kesh (Redis)" as n_cache
note over n_api, n_db : Har sahifa ochilishi bazaga boradi
n_api -> n_db : SELECT p.id, p.name, p.price, s.qty
n_db --> n_api : 1 row in 38 ms
note over n_api, n_cache : Avval keshga qara
n_api -> n_cache : GET product:1042
n_cache --> n_api : (nil)
note over n_api, n_cache : Miss'dan keyin javobni keshga qo'y
n_api -> n_cache : SET product:1042 '{...}' EX 300
n_cache --> n_api : OK
note over n_api, n_cache : Hit: javob xotiradan
n_api -> n_cache : GET product:1042
n_cache --> n_api : (bulk string, 52 bytes)
note over n_api, n_db : Narx o'zgardi, kesh esa yo'q
n_api -> n_db : UPDATE products SET price = 4490000
n_db --> n_api : UPDATE 1
note over n_api, n_cache : Yozuv keshdagi nusxani o'chiradi
n_api -> n_cache : DEL product:1042
n_cache --> n_api : (integer) 1
note over n_api, n_db : Aksiya paytida issiq kalit tugaydi
n_api -> n_db : [dublikat] 08:00:00.000 key product:1042 expired
note over n_api, n_cache : Kalitni faqat bitta so'rov tiklaydi
n_api -> n_cache : SET lock:product:1042 req_7 NX PX 2000
n_cache --> n_api : OK
note over n_api, n_cache : Kalitlar birga tugamasin
n_api -> n_cache : SET product:1042 '{...}' EX 347
n_cache --> n_api : OK
note over n_api, n_cache : Yozuvlar: kesh orqali yoki keshdan keyin
n_api -> n_cache : INCR views:1042
n_cache --> n_api : (integer) 58213
@enduml

PlantUML: komponentlar

@startuml
left to right direction
agent "Do'kon ilovasi" as n_client
component "Mahsulot API" as n_api
database "Baza" as n_db
stack "Kesh (Redis)" as n_cache
actor "Do'kon menejeri" as n_admin
collections "Flush worker" as n_worker
n_client --> n_api
n_api --> n_db
n_api --> n_cache
n_admin --> n_api
n_worker --> n_cache
n_worker --> n_db
@enduml

Xulosa

Kesh uchun besh qoida.

1) Cache-aside: keshni o'qi, miss bo'lsa bazani o'qi va to'ldir. 2) Har kalitda zaxira sifatida TTL bor. 3) Yozuv kalitni commit'dan keyin o'chiradi. 4) Issiq kalitlarga coalescing va tasodifiy TTL kerak. 5) Write-back faqat yo'qotsa bo'ladigan ma'lumot uchun.

Ko'rsatkichlar: boshida va oxirida

Ko'rsatkichBoshidaOxirida
Keshga tushish ulushi0%96%
Javob p95850 ms14 ms
Bazadan o'qishlar2 400/s110/s
Eski narx ko'rinadi0 s0 s

Qadamlar

  1. Muammo Har sahifa ochilishi bazaga boradi

    Kimdir 1042 mahsulotni ochganda API ikki jadvalni JOIN qiladi va o'sha qatorni qaytadan o'qiydi.

  2. Yechim Avval keshga qara

    API yoniga kesh qo'yiladi.

  3. Yechim Miss'dan keyin javobni keshga qo'y

    Bazadan o'qigach, API natijani keshga yashash muddati (TTL) bilan yozadi.

  4. Holat Hit: javob xotiradan

    Endi ko'p so'rovlar kalitni topadi.

  5. Muammo Narx o'zgardi, kesh esa yo'q

    Menejer narxni tushiradi.

  6. Yechim Yozuv keshdagi nusxani o'chiradi

    Yangilash commit bo'lgach, API kalitni o'chiradi.

  7. Muammo Aksiya paytida issiq kalit tugaydi

    Soat 08:00 da aksiya boshlanadi va minglab odam bitta mahsulotni ochadi.

  8. Yechim Kalitni faqat bitta so'rov tiklaydi

    Miss bo'lganda API avval qisqa qulf olishga urinadi.

  9. Yechim Kalitlar birga tugamasin

    Deploy'dan keyin minglab kalit bir daqiqa ichida bir xil TTL bilan to'ldirildi, shuning uchun ularning hammasi ham bir daqiqada tugaydi.

  10. Holat Yozuvlar: kesh orqali yoki keshdan keyin

    Hozirgacha yozuvlar to'g'ri bazaga ketardi.

  11. Xulosa Xulosa

    Kesh uchun besh qoida.

Atamalar

Cache-aside
Eng keng tarqalgan kesh usuli: ilova avval keshga qaraydi, miss bo'lsa bazadan o'qiydi va javobni keshga qo'yadi. Keyingi so'rovlar hit bo'lib, xotiradan javob oladi.
TTL (yashash muddati)
Keshdagi kalit qancha vaqtdan keyin o'zi o'chishi. Invalidatsiya unutilsa ham eskirgan ma'lumot abadiy qolmasligi uchun zaxira himoya.
Keshga yopirilish (stampede)
Issiq kalit tugagan lahzada minglab so'rov bir vaqtda miss qilib, bazaga bir xil so'rov bilan boradi. Coalescing va tasodifiy TTL bunga qarshi ishlaydi.
Request coalescing
Miss bo'lganda faqat bitta so'rov qisqa lock olib bazadan o'qiydi va keshni to'ldiradi, qolganlari bir necha millisekund kutib tayyor kalitni o'qiydi. Minglab bir xil so'rov bittaga aylanadi.
Write-through va write-back
Write-through bitta so'rovda keshga ham, bazaga ham yozadi: kesh doim yangi, lekin yozuv ikki marta to'laydi. Write-back faqat keshga yozadi va worker keyinroq bazaga o'tkazadi: juda tez, lekin kesh o'lsa o'tkazilmagan qism yo'qoladi.