Konspekt · Ishonchlilik
Timeout va qayta urinishlar
Muammo
Buyurtma API'si tariflar servisiga bog'liq: u avval sekinlashadi, keyin butunlay o'ladi. Timeout, backoff, qayta urinish budjeti va circuit breaker bitta kasal servis hamma narsani yiqitmasligi uchun qanday ishlaydi.
Nimani o'rganasiz
- Nega timeout'siz chaqiruv barcha thread'larni band qilib qo'yadi
- Jitter bilan eksponensial backoff va qayta urinishlar qanday bo'ronga aylanadi
- Qayta urinish budjeti va circuit breaker: closed, open, half-open
- Faqat idempotent chaqiruvga qayta urining yoki uni kalit bilan idempotent qiling
Diagramma kod sifatida
Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.
Mermaid: sxema
flowchart LR
n_client(["Do'kon ilovasi"])
n_api["Buyurtma API"]
n_rates["Tariflar servisi"]
n_db[("Buyurtmalar bazasi")]
n_pay>"To'lov provayderi"]
n_client -->|"chaqiruv"| n_api
n_api -->|"chaqiruv"| n_rates
n_api -->|"chaqiruv"| n_db
n_api -->|"chaqiruv"| n_payMermaid: so'rovlar ketma-ketligi
sequenceDiagram
participant n_api as Buyurtma API
participant n_rates as Tariflar servisi
participant n_client as Do'kon ilovasi
participant n_pay as To'lov provayderi
Note over n_api,n_rates: Har buyurtma yetkazish narxini so'raydi
n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
n_rates-->>n_api: HTTP/1.1 200 OK
Note over n_client,n_api: Bitta sekin servis hammasini muzlatadi
n_client->>n_api: POST /v1/checkout HTTP/1.1
n_api-->>n_client: HTTP/1.1 503 Service Unavailable
Note over n_api,n_rates: 800 ms'dan keyin voz kech
n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
n_rates-->>n_api: timeout: no answer in 800ms
Note over n_api,n_rates: Darhol qayta urinishlar bo'ronga aylanadi
n_api->>n_rates: 10:42:07.112 GET /v1/quote attempt=1 timeout
Note over n_api,n_rates: Jitter bilan eksponensial backoff
n_api->>n_rates: attempt=1 timeout, sleep 90ms (base 100ms, jitter)
Note over n_api,n_rates: Qayta urinish budjeti ortiqcha yukni cheklaydi
n_api->>n_rates: retry budget rates: 40 of 400 per s used (10%)
Note over n_api,n_rates: Circuit breaker: o'lik servisga qo'ng'iroq qilma
n_api->>n_rates: circuit rates: CLOSED -#62; OPEN
Note over n_api,n_rates: Half-open: bitta sinov hal qiladi
n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
n_rates-->>n_api: HTTP/1.1 200 OK in 92ms
Note over n_api,n_pay: To'lovga qayta urinish ikki marta yechadi
n_api->>n_pay: POST /v1/charges HTTP/1.1
n_pay-->>n_api: HTTP/1.1 201 Created
Note over n_api,n_pay: Faqat idempotent chaqiruvga qayta urining
n_api->>n_pay: POST /v1/charges HTTP/1.1
n_pay-->>n_api: HTTP/1.1 201 CreatedD2
direction: right
n_client: "Do'kon ilovasi" {
shape: rectangle
}
n_api: "Buyurtma API" {
shape: rectangle
}
n_rates: "Tariflar servisi" {
shape: rectangle
}
n_db: "Buyurtmalar bazasi" {
shape: cylinder
}
n_pay: "To'lov provayderi" {
shape: cloud
}
n_client -> n_api: "chaqiruv"
n_api -> n_rates: "chaqiruv"
n_api -> n_db: "chaqiruv"
n_api -> n_pay: "chaqiruv"PlantUML: so'rovlar ketma-ketligi
@startuml
participant "Buyurtma API" as n_api
participant "Tariflar servisi" as n_rates
participant "Do'kon ilovasi" as n_client
boundary "To'lov provayderi" as n_pay
note over n_api, n_rates : Har buyurtma yetkazish narxini so'raydi
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : HTTP/1.1 200 OK
note over n_client, n_api : Bitta sekin servis hammasini muzlatadi
n_client -> n_api : POST /v1/checkout HTTP/1.1
n_api --> n_client : HTTP/1.1 503 Service Unavailable
note over n_api, n_rates : 800 ms'dan keyin voz kech
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : timeout: no answer in 800ms
note over n_api, n_rates : Darhol qayta urinishlar bo'ronga aylanadi
n_api -> n_rates : [qayta urinish] 10:42:07.112 GET /v1/quote attempt=1 timeout
note over n_api, n_rates : Jitter bilan eksponensial backoff
n_api -> n_rates : [qayta urinish] attempt=1 timeout, sleep 90ms (base 100ms, jitter)
note over n_api, n_rates : Qayta urinish budjeti ortiqcha yukni cheklaydi
n_api -> n_rates : [qayta urinish] retry budget rates: 40 of 400 per s used (10%)
note over n_api, n_rates : Circuit breaker: o'lik servisga qo'ng'iroq qilma
n_api -> n_rates : circuit rates: CLOSED -> OPEN
note over n_api, n_rates : Half-open: bitta sinov hal qiladi
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : HTTP/1.1 200 OK in 92ms
note over n_api, n_pay : To'lovga qayta urinish ikki marta yechadi
n_api -> n_pay : [dublikat] POST /v1/charges HTTP/1.1
n_pay --> n_api : HTTP/1.1 201 Created
note over n_api, n_pay : Faqat idempotent chaqiruvga qayta urining
n_api -> n_pay : POST /v1/charges HTTP/1.1
n_pay --> n_api : HTTP/1.1 201 Created
@endumlPlantUML: komponentlar
@startuml
left to right direction
agent "Do'kon ilovasi" as n_client
component "Buyurtma API" as n_api
component "Tariflar servisi" as n_rates
database "Buyurtmalar bazasi" as n_db
cloud "To'lov provayderi" as n_pay
n_client --> n_api : chaqiruv
n_api --> n_rates : chaqiruv
n_api --> n_db : chaqiruv
n_api --> n_pay : chaqiruv
@endumlXulosa
Yiqilishi mumkin bo'lgan narsani chaqirish uchun besh qoida.
1) Har tarmoq chaqiruvida haqiqiy kechikishdan tanlangan timeout bor. 2) Bitta qatlamda, jitter bilan eksponensial backoff orqali qayta urining. 3) Qayta urinish budjeti ortiqcha yukni cheklaydi. 4) Circuit breaker o'lik servisga chaqiruvni to'xtatadi va half-open'da tekshiradi. 5) Faqat idempotent chaqiruvga qayta urining, qolganiga idempotency kalitini bering.
Ko'rsatkichlar: boshida va oxirida
| Ko'rsatkich | Boshida | Oxirida |
|---|---|---|
| Buyurtma p95 | 180 ms | 190 ms |
| Muvaffaqiyatsiz buyurtma | 0,2% | 0,2% |
| Tariflarga chaqiruv | 400/s | 400/s |
| Ikki marta yechish | 0/kun | 0/kun |
Qadamlar
- Holat Har buyurtma yetkazish narxini so'raydi
Ilova buyurtmani API'ga yuboradi.
- Muammo Bitta sekin servis hammasini muzlatadi
Tariflar servisi 85 ms o'rniga 30 soniyada javob bera boshlaydi.
- Yechim 800 ms'dan keyin voz kech
Endi API tariflarni ko'pi bilan 800 ms kutadi: qisqa connect timeout va read timeout.
- Muammo Darhol qayta urinishlar bo'ronga aylanadi
Fallback'ni kamaytirish uchun API'ga uchta darhol qayta urinish qo'shildi.
- Yechim Jitter bilan eksponensial backoff
Endi faqat API qayta urinadi, ilova emas.
- Yechim Qayta urinish budjeti ortiqcha yukni cheklaydi
Backoff qayta urinishlarni vaqtga yoyadi, lekin uzoq avariyada ular baribir yig'iladi.
- Yechim Circuit breaker: o'lik servisga qo'ng'iroq qilma
Tariflar butunlay yiqildi.
- Holat Half-open: bitta sinov hal qiladi
30 soniyadan keyin breaker half-open holatiga o'tadi va bitta haqiqiy chaqiruvni o'tkazadi.
- Muammo To'lovga qayta urinish ikki marta yechadi
O'sha qayta urinish kodi to'lov chaqiruvi uchun ham ishlatildi.
- Yechim Faqat idempotent chaqiruvga qayta urining
Narx uchun GET'ga xavfsiz qayta urinish mumkin.
- Xulosa Xulosa
Yiqilishi mumkin bo'lgan narsani chaqirish uchun besh qoida.
Atamalar
- Timeout
- Javobni qancha kutib, keyin voz kechish chegarasi. Timeout'siz bitta sekin servis barcha thread'larni band qilib, hammasini muzlatishi mumkin; qiymat haqiqiy kechikishdan tanlanadi.
- Eksponensial backoff
- Har qayta urinishdan oldin kutish vaqti ikki baravar oshadi. Darhol qayta urinishlar yiqilgan servisni bo'ronga ko'mib tashlamaydi.
- Jitter
- Kutish vaqtiga tasodifiy qism qo'shish, shunda ko'p klient bir lahzada qayta urinmaydi. Kesh TTL'lariga ham qo'shiladi, kalitlar birga tugamasligi uchun.
- Circuit breaker
- Xatolar ulushi chegaradan oshsa, breaker ochiladi va bir muddat o'lik servisga umuman qo'ng'iroq qilmasdan zaxira javob qaytaradi. Keyin half-open holatda bitta sinov chaqiruvi uni yopish yoki qayta ochishni hal qiladi.