mufassall

Konspekt · Asoslar

Kechikish va o'tkazuvchanlik

11 daq · Boshlang'ich · mufassall.dtwin.uz/uz/l/latency-throughput/

← Darsni ochish

Muammo

Bitta so'rov qancha davom etishi va bir soniyaga nechta so'rov sig'ishi — ikki xil son. Qidiruv API bir hovuch foydalanuvchidan kechki tig'iz soatgacha o'sadi: o'rtacha qiymat og'riqni qanday yashiradi va 90% band server nega allaqachon xavfda.

Nimani o'rganasiz

  • Kechikish (latency) va o'tkazuvchanlik (throughput), ular ishlov berilayotgan so'rovlar soni orqali qanday bog'langan
  • p50, p95 va p99 ni o'qish va o'rtacha qiymat nega aldaydi
  • Server 100% ga yaqinlashganda kutish vaqti nega keskin oshadi
  • Ortiqcha yukni erta rad etish va sekin ishni so'rov yo'lidan olib tashlash
Yakuniy sahna
48%

Diagramma kod sifatida

Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.

Mermaid: sxema

flowchart LR
  n_users(["Foydalanuvchilar"])
  n_api["Qidiruv API"]
  n_db[("Baza")]
  n_counter{{"Hisoblagich keshi"}}
  n_users --> n_api
  n_api -.-> n_users
  n_api --> n_db
  n_api --> n_counter

Mermaid: so'rovlar ketma-ketligi

sequenceDiagram
  participant n_users as Foydalanuvchilar
  participant n_api as Qidiruv API
  participant n_db as Baza
  participant n_counter as Hisoblagich keshi
  Note over n_users,n_api: Kechikish: bitta so'rov qancha davom etadi
  n_users->>n_api: GET /search?q=lamp HTTP/1.1
  n_api-->>n_users: HTTP/1.1 200 OK
  Note over n_users,n_api: O'tkazuvchanlik: soniyasiga nechta
  n_users->>n_api: load test: 60 s
  Note over n_users,n_api: O'rtacha qiymat «hammasi joyida» deydi
  n_users->>n_api: access log, last 10000 requests
  Note over n_api,n_db: Dum qayerdan keladi
  n_api->>n_db: UPDATE search_stats SET hits = hits + 1
  n_db-->>n_api: UPDATE 1
  Note over n_users,n_api: Tig'iz soat: server 93% band
  n_users->>n_api: GET /search?q=lamp HTTP/1.1
  n_api-->>n_users: HTTP/1.1 200 OK
  Note over n_users,n_api: Mijozlar voz kechib, qayta urinadi
  n_users->>n_api: GET /search?q=lamp
  Note over n_users,n_api: Tez «yo'q» deyish
  n_users->>n_api: GET /search?q=lamp HTTP/1.1
  n_api-->>n_users: HTTP/1.1 503 Service Unavailable
  Note over n_api,n_counter: Sekin ishni so'rov yo'lidan olib tashlash
  n_api->>n_counter: INCR search:lamp:hits
  n_counter-->>n_api: (integer) 51207

D2

direction: right

n_users: "Foydalanuvchilar" {
  shape: rectangle
}
n_api: "Qidiruv API" {
  shape: rectangle
}
n_db: "Baza" {
  shape: cylinder
}
n_counter: "Hisoblagich keshi" {
  shape: hexagon
}

n_users -> n_api
n_api -> n_users {
  style.stroke-dash: 3
}
n_api -> n_db
n_api -> n_counter

PlantUML: so'rovlar ketma-ketligi

@startuml
participant "Foydalanuvchilar" as n_users
participant "Qidiruv API" as n_api
database "Baza" as n_db
collections "Hisoblagich keshi" as n_counter
note over n_users, n_api : Kechikish: bitta so'rov qancha davom etadi
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 200 OK
note over n_users, n_api : O'tkazuvchanlik: soniyasiga nechta
n_users -> n_api : load test: 60 s
note over n_users, n_api : O'rtacha qiymat «hammasi joyida» deydi
n_users -> n_api : access log, last 10000 requests
note over n_api, n_db : Dum qayerdan keladi
n_api -> n_db : UPDATE search_stats SET hits = hits + 1
n_db --> n_api : UPDATE 1
note over n_users, n_api : Tig'iz soat: server 93% band
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 200 OK
note over n_users, n_api : Mijozlar voz kechib, qayta urinadi
n_users -> n_api : [qayta urinish] GET /search?q=lamp
note over n_users, n_api : Tez «yo'q» deyish
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 503 Service Unavailable
note over n_api, n_counter : Sekin ishni so'rov yo'lidan olib tashlash
n_api -> n_counter : INCR search:lamp:hits
n_counter --> n_api : (integer) 51207
@enduml

PlantUML: komponentlar

@startuml
left to right direction
agent "Foydalanuvchilar" as n_users
component "Qidiruv API" as n_api
database "Baza" as n_db
stack "Hisoblagich keshi" as n_counter
n_users --> n_api
n_api ..> n_users
n_api --> n_db
n_api --> n_counter
@enduml

Xulosa

Kechikish — bitta so'rovning vaqti, o'tkazuvchanlik — soniyasiga nechta so'rov tugashi. Ular ishlanayotgan so'rovlar soni orqali bog'lanadi.

1) O'rtachaga emas, p95 va p99 ga qarang. 2) To'liq yukka yaqin kechikishni ish emas, kutish belgilaydi, shuning uchun zaxira qoldiring. 3) Qayta urinishga backoff, ortiqcha yukka tez 503 kerak. 4) So'rov yo'lini qisqartiring, dum ham u bilan qisqaradi.

Ko'rsatkichlar: boshida va oxirida

Ko'rsatkichBoshidaOxirida
O'tkazuvchanlik5/s450/s
Kechikish p5041 ms22 ms
Kechikish p9960 ms85 ms
Xatolar0%0%

Qadamlar

  1. Holat Kechikish: bitta so'rov qancha davom etadi

    Foydalanuvchi «lamp» so'zini qidiradi.

  2. Holat O'tkazuvchanlik: soniyasiga nechta

    Endi har soniyada 200 ta so'rov keladi va API hammasiga javob beradi.

  3. Muammo O'rtacha qiymat «hammasi joyida» deydi

    Dashboard o'rtacha 62 ms ko'rsatadi.

  4. Muammo Dum qayerdan keladi

    Sekin so'rovlarning umumiy jihati bor: har bir qidiruv o'z so'zining hisoblagichini ham oshiradi.

  5. Muammo Tig'iz soat: server 93% band

    Kechqurun trafik ikki baravardan ko'proq oshib, soniyasiga 450 ga yetadi.

  6. Holat Nega 90% allaqachon ko'p

    Har bir mijozga 1 daqiqa sarflaydigan kassirni tasavvur qiling.

  7. Muammo Mijozlar voz kechib, qayta urinadi

    Mobil ilova 3 s dan keyin kutishni to'xtatadi va o'sha qidiruvni darhol qayta yuboradi.

  8. Yechim Tez «yo'q» deyish

    API endi navbatni cheklaydi: bir vaqtda ko'pi bilan 64 ta so'rov ishlanadi va 100 tasi kutadi.

  9. Yechim Sekin ishni so'rov yo'lidan olib tashlash

    Qidiruv hisoblagichi endi har bir so'rovda bazaga tegmaydi.

  10. Xulosa Xulosa

    Kechikish — bitta so'rovning vaqti, o'tkazuvchanlik — soniyasiga nechta so'rov tugashi.

Atamalar

Kechikish (latency)
Bitta so'rov boshidan oxirigacha qancha vaqt olishi. Yuk oshganda unga ishning o'zidan tashqari navbatda kutish ham qo'shiladi.
O'tkazuvchanlik (throughput)
Tizim soniyasiga nechta so'rovni tugatishi. Kechikish bilan bir vaqtda ishlanayotgan so'rovlar soni orqali bog'langan.
Persentil (p50, p95, p99)
p95 — so'rovlarning 95% i shu vaqtdan tezroq tugaydi, ya'ni har yigirmatadan bittasi sekinroq. O'rtacha qiymat sekin dumni yashiradi, shuning uchun p95 va p99 kuzatiladi.
Ortiqcha yukni rad etish (load shedding)
Server to'lib qolganda ortiqcha so'rovlarga kutdirmasdan darhol 503 qaytarish. Hammaga sekin xato bergandan ko'ra bir qismiga tez "keyinroq urining" deyish yaxshi.