mufassall

Konspekt · Ishonchlilik

Timeout va qayta urinishlar

13 daq · O'rta · mufassall.dtwin.uz/uz/l/timeouts-retries/

← Darsni ochish

Muammo

Buyurtma API'si tariflar servisiga bog'liq: u avval sekinlashadi, keyin butunlay o'ladi. Timeout, backoff, qayta urinish budjeti va circuit breaker bitta kasal servis hamma narsani yiqitmasligi uchun qanday ishlaydi.

Nimani o'rganasiz

  • Nega timeout'siz chaqiruv barcha thread'larni band qilib qo'yadi
  • Jitter bilan eksponensial backoff va qayta urinishlar qanday bo'ronga aylanadi
  • Qayta urinish budjeti va circuit breaker: closed, open, half-open
  • Faqat idempotent chaqiruvga qayta urining yoki uni kalit bilan idempotent qiling
Yakuniy sahna
25%40%

Diagramma kod sifatida

Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.

Mermaid: sxema

flowchart LR
  n_client(["Do'kon ilovasi"])
  n_api["Buyurtma API"]
  n_rates["Tariflar servisi"]
  n_db[("Buyurtmalar bazasi")]
  n_pay>"To'lov provayderi"]
  n_client -->|"chaqiruv"| n_api
  n_api -->|"chaqiruv"| n_rates
  n_api -->|"chaqiruv"| n_db
  n_api -->|"chaqiruv"| n_pay

Mermaid: so'rovlar ketma-ketligi

sequenceDiagram
  participant n_api as Buyurtma API
  participant n_rates as Tariflar servisi
  participant n_client as Do'kon ilovasi
  participant n_pay as To'lov provayderi
  Note over n_api,n_rates: Har buyurtma yetkazish narxini so'raydi
  n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
  n_rates-->>n_api: HTTP/1.1 200 OK
  Note over n_client,n_api: Bitta sekin servis hammasini muzlatadi
  n_client->>n_api: POST /v1/checkout HTTP/1.1
  n_api-->>n_client: HTTP/1.1 503 Service Unavailable
  Note over n_api,n_rates: 800 ms'dan keyin voz kech
  n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
  n_rates-->>n_api: timeout: no answer in 800ms
  Note over n_api,n_rates: Darhol qayta urinishlar bo'ronga aylanadi
  n_api->>n_rates: 10:42:07.112 GET /v1/quote attempt=1 timeout
  Note over n_api,n_rates: Jitter bilan eksponensial backoff
  n_api->>n_rates: attempt=1 timeout, sleep 90ms (base 100ms, jitter)
  Note over n_api,n_rates: Qayta urinish budjeti ortiqcha yukni cheklaydi
  n_api->>n_rates: retry budget rates: 40 of 400 per s used (10%)
  Note over n_api,n_rates: Circuit breaker: o'lik servisga qo'ng'iroq qilma
  n_api->>n_rates: circuit rates: CLOSED -#62; OPEN
  Note over n_api,n_rates: Half-open: bitta sinov hal qiladi
  n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
  n_rates-->>n_api: HTTP/1.1 200 OK in 92ms
  Note over n_api,n_pay: To'lovga qayta urinish ikki marta yechadi
  n_api->>n_pay: POST /v1/charges HTTP/1.1
  n_pay-->>n_api: HTTP/1.1 201 Created
  Note over n_api,n_pay: Faqat idempotent chaqiruvga qayta urining
  n_api->>n_pay: POST /v1/charges HTTP/1.1
  n_pay-->>n_api: HTTP/1.1 201 Created

D2

direction: right

n_client: "Do'kon ilovasi" {
  shape: rectangle
}
n_api: "Buyurtma API" {
  shape: rectangle
}
n_rates: "Tariflar servisi" {
  shape: rectangle
}
n_db: "Buyurtmalar bazasi" {
  shape: cylinder
}
n_pay: "To'lov provayderi" {
  shape: cloud
}

n_client -> n_api: "chaqiruv"
n_api -> n_rates: "chaqiruv"
n_api -> n_db: "chaqiruv"
n_api -> n_pay: "chaqiruv"

PlantUML: so'rovlar ketma-ketligi

@startuml
participant "Buyurtma API" as n_api
participant "Tariflar servisi" as n_rates
participant "Do'kon ilovasi" as n_client
boundary "To'lov provayderi" as n_pay
note over n_api, n_rates : Har buyurtma yetkazish narxini so'raydi
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : HTTP/1.1 200 OK
note over n_client, n_api : Bitta sekin servis hammasini muzlatadi
n_client -> n_api : POST /v1/checkout HTTP/1.1
n_api --> n_client : HTTP/1.1 503 Service Unavailable
note over n_api, n_rates : 800 ms'dan keyin voz kech
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : timeout: no answer in 800ms
note over n_api, n_rates : Darhol qayta urinishlar bo'ronga aylanadi
n_api -> n_rates : [qayta urinish] 10:42:07.112 GET /v1/quote attempt=1 timeout
note over n_api, n_rates : Jitter bilan eksponensial backoff
n_api -> n_rates : [qayta urinish] attempt=1 timeout, sleep 90ms (base 100ms, jitter)
note over n_api, n_rates : Qayta urinish budjeti ortiqcha yukni cheklaydi
n_api -> n_rates : [qayta urinish] retry budget rates: 40 of 400 per s used (10%)
note over n_api, n_rates : Circuit breaker: o'lik servisga qo'ng'iroq qilma
n_api -> n_rates : circuit rates: CLOSED -> OPEN
note over n_api, n_rates : Half-open: bitta sinov hal qiladi
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : HTTP/1.1 200 OK in 92ms
note over n_api, n_pay : To'lovga qayta urinish ikki marta yechadi
n_api -> n_pay : [dublikat] POST /v1/charges HTTP/1.1
n_pay --> n_api : HTTP/1.1 201 Created
note over n_api, n_pay : Faqat idempotent chaqiruvga qayta urining
n_api -> n_pay : POST /v1/charges HTTP/1.1
n_pay --> n_api : HTTP/1.1 201 Created
@enduml

PlantUML: komponentlar

@startuml
left to right direction
agent "Do'kon ilovasi" as n_client
component "Buyurtma API" as n_api
component "Tariflar servisi" as n_rates
database "Buyurtmalar bazasi" as n_db
cloud "To'lov provayderi" as n_pay
n_client --> n_api : chaqiruv
n_api --> n_rates : chaqiruv
n_api --> n_db : chaqiruv
n_api --> n_pay : chaqiruv
@enduml

Xulosa

Yiqilishi mumkin bo'lgan narsani chaqirish uchun besh qoida.

1) Har tarmoq chaqiruvida haqiqiy kechikishdan tanlangan timeout bor. 2) Bitta qatlamda, jitter bilan eksponensial backoff orqali qayta urining. 3) Qayta urinish budjeti ortiqcha yukni cheklaydi. 4) Circuit breaker o'lik servisga chaqiruvni to'xtatadi va half-open'da tekshiradi. 5) Faqat idempotent chaqiruvga qayta urining, qolganiga idempotency kalitini bering.

Ko'rsatkichlar: boshida va oxirida

Ko'rsatkichBoshidaOxirida
Buyurtma p95180 ms190 ms
Muvaffaqiyatsiz buyurtma0,2%0,2%
Tariflarga chaqiruv400/s400/s
Ikki marta yechish0/kun0/kun

Qadamlar

  1. Holat Har buyurtma yetkazish narxini so'raydi

    Ilova buyurtmani API'ga yuboradi.

  2. Muammo Bitta sekin servis hammasini muzlatadi

    Tariflar servisi 85 ms o'rniga 30 soniyada javob bera boshlaydi.

  3. Yechim 800 ms'dan keyin voz kech

    Endi API tariflarni ko'pi bilan 800 ms kutadi: qisqa connect timeout va read timeout.

  4. Muammo Darhol qayta urinishlar bo'ronga aylanadi

    Fallback'ni kamaytirish uchun API'ga uchta darhol qayta urinish qo'shildi.

  5. Yechim Jitter bilan eksponensial backoff

    Endi faqat API qayta urinadi, ilova emas.

  6. Yechim Qayta urinish budjeti ortiqcha yukni cheklaydi

    Backoff qayta urinishlarni vaqtga yoyadi, lekin uzoq avariyada ular baribir yig'iladi.

  7. Yechim Circuit breaker: o'lik servisga qo'ng'iroq qilma

    Tariflar butunlay yiqildi.

  8. Holat Half-open: bitta sinov hal qiladi

    30 soniyadan keyin breaker half-open holatiga o'tadi va bitta haqiqiy chaqiruvni o'tkazadi.

  9. Muammo To'lovga qayta urinish ikki marta yechadi

    O'sha qayta urinish kodi to'lov chaqiruvi uchun ham ishlatildi.

  10. Yechim Faqat idempotent chaqiruvga qayta urining

    Narx uchun GET'ga xavfsiz qayta urinish mumkin.

  11. Xulosa Xulosa

    Yiqilishi mumkin bo'lgan narsani chaqirish uchun besh qoida.

Atamalar

Timeout
Javobni qancha kutib, keyin voz kechish chegarasi. Timeout'siz bitta sekin servis barcha thread'larni band qilib, hammasini muzlatishi mumkin; qiymat haqiqiy kechikishdan tanlanadi.
Eksponensial backoff
Har qayta urinishdan oldin kutish vaqti ikki baravar oshadi. Darhol qayta urinishlar yiqilgan servisni bo'ronga ko'mib tashlamaydi.
Jitter
Kutish vaqtiga tasodifiy qism qo'shish, shunda ko'p klient bir lahzada qayta urinmaydi. Kesh TTL'lariga ham qo'shiladi, kalitlar birga tugamasligi uchun.
Circuit breaker
Xatolar ulushi chegaradan oshsa, breaker ochiladi va bir muddat o'lik servisga umuman qo'ng'iroq qilmasdan zaxira javob qaytaradi. Keyin half-open holatda bitta sinov chaqiruvi uni yopish yoki qayta ochishni hal qiladi.