mufassall

Шпаргалка · Основы

Задержка и пропускная способность

11 мин · Начальный · mufassall.dtwin.uz/ru/l/latency-throughput/

← Открыть урок

Проблема

Сколько длится один запрос и сколько запросов помещается в секунду — два разных числа. API поиска растёт от горстки пользователей до вечернего пика: почему среднее прячет проблему и почему сервер на 90% уже в беде.

Чему вы научитесь

  • Задержка и пропускная способность и как их связывает число запросов в обработке
  • Как читать p50, p95 и p99 и почему среднее врёт
  • Почему ожидание взрывается, когда сервер приближается к 100%
  • Ранний отказ при перегрузке и вынос медленной работы с пути запроса
Итоговая сцена
48%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_users(["Пользователи"])
  n_api["API поиска"]
  n_db[("База")]
  n_counter{{"Кеш счётчиков"}}
  n_users --> n_api
  n_api -.-> n_users
  n_api --> n_db
  n_api --> n_counter

Mermaid: последовательность запросов

sequenceDiagram
  participant n_users as Пользователи
  participant n_api as API поиска
  participant n_db as База
  participant n_counter as Кеш счётчиков
  Note over n_users,n_api: Задержка: сколько длится один запрос
  n_users->>n_api: GET /search?q=lamp HTTP/1.1
  n_api-->>n_users: HTTP/1.1 200 OK
  Note over n_users,n_api: Пропускная способность: сколько в секунду
  n_users->>n_api: load test: 60 s
  Note over n_users,n_api: Среднее говорит, что всё хорошо
  n_users->>n_api: access log, last 10000 requests
  Note over n_api,n_db: Откуда берётся хвост
  n_api->>n_db: UPDATE search_stats SET hits = hits + 1
  n_db-->>n_api: UPDATE 1
  Note over n_users,n_api: Час пик: сервер занят на 93%
  n_users->>n_api: GET /search?q=lamp HTTP/1.1
  n_api-->>n_users: HTTP/1.1 200 OK
  Note over n_users,n_api: Клиенты сдаются и повторяют
  n_users->>n_api: GET /search?q=lamp
  Note over n_users,n_api: Отказывать быстро
  n_users->>n_api: GET /search?q=lamp HTTP/1.1
  n_api-->>n_users: HTTP/1.1 503 Service Unavailable
  Note over n_api,n_counter: Убрать медленную работу с пути запроса
  n_api->>n_counter: INCR search:lamp:hits
  n_counter-->>n_api: (integer) 51207

D2

direction: right

n_users: "Пользователи" {
  shape: rectangle
}
n_api: "API поиска" {
  shape: rectangle
}
n_db: "База" {
  shape: cylinder
}
n_counter: "Кеш счётчиков" {
  shape: hexagon
}

n_users -> n_api
n_api -> n_users {
  style.stroke-dash: 3
}
n_api -> n_db
n_api -> n_counter

PlantUML: последовательность запросов

@startuml
participant "Пользователи" as n_users
participant "API поиска" as n_api
database "База" as n_db
collections "Кеш счётчиков" as n_counter
note over n_users, n_api : Задержка: сколько длится один запрос
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 200 OK
note over n_users, n_api : Пропускная способность: сколько в секунду
n_users -> n_api : load test: 60 s
note over n_users, n_api : Среднее говорит, что всё хорошо
n_users -> n_api : access log, last 10000 requests
note over n_api, n_db : Откуда берётся хвост
n_api -> n_db : UPDATE search_stats SET hits = hits + 1
n_db --> n_api : UPDATE 1
note over n_users, n_api : Час пик: сервер занят на 93%
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 200 OK
note over n_users, n_api : Клиенты сдаются и повторяют
n_users -> n_api : [повтор] GET /search?q=lamp
note over n_users, n_api : Отказывать быстро
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 503 Service Unavailable
note over n_api, n_counter : Убрать медленную работу с пути запроса
n_api -> n_counter : INCR search:lamp:hits
n_counter --> n_api : (integer) 51207
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Пользователи" as n_users
component "API поиска" as n_api
database "База" as n_db
stack "Кеш счётчиков" as n_counter
n_users --> n_api
n_api ..> n_users
n_api --> n_db
n_api --> n_counter
@enduml

Итог

Задержка — время одного запроса, пропускная способность — сколько их завершается в секунду. Связывает их число запросов в обработке.

1) Смотрите на p95 и p99, а не на среднее. 2) У полной загрузки задержку определяет ожидание, а не работа, поэтому держите запас. 3) Повторам нужен backoff, перегрузке — быстрый 503. 4) Сократите путь запроса, и хвост сократится вместе с ним.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Пропускная способность5/с450/с
Задержка p5041 мс22 мс
Задержка p9960 мс85 мс
Ошибки0%0%

Шаги

  1. Кейс Задержка: сколько длится один запрос

    Пользователь ищет «lamp».

  2. Кейс Пропускная способность: сколько в секунду

    Теперь каждую секунду приходит 200 запросов, и API отвечает на все.

  3. Проблема Среднее говорит, что всё хорошо

    Дашборд показывает среднее 62 мс.

  4. Проблема Откуда берётся хвост

    У медленных запросов есть общее: каждый поиск ещё и увеличивает счётчик своего слова.

  5. Проблема Час пик: сервер занят на 93%

    Вечером трафик вырастает более чем вдвое, до 450 запросов в секунду.

  6. Кейс Почему 90% — это уже много

    Представьте кассира, которому нужна 1 минута на покупателя.

  7. Проблема Клиенты сдаются и повторяют

    Мобильное приложение ждёт 3 с и сразу отправляет тот же поиск ещё раз.

  8. Решение Отказывать быстро

    API теперь ограничивает очередь: не больше 64 запросов в обработке и 100 в ожидании.

  9. Решение Убрать медленную работу с пути запроса

    Счётчик поиска больше не трогает базу на каждом запросе.

  10. Итоги Итоги

    Задержка — время одного запроса, пропускная способность — сколько их завершается в секунду.

Термины

Задержка (latency)
Сколько времени занимает один запрос от начала до конца. Под нагрузкой к самой работе добавляется ожидание в очереди.
Пропускная способность (throughput)
Сколько запросов система завершает за секунду. С задержкой её связывает число запросов, которые обрабатываются одновременно.
Перцентиль (p50, p95, p99)
p95 означает, что 95% запросов быстрее этого значения, то есть каждый двадцатый медленнее. Среднее прячет медленный хвост, поэтому смотрят на p95 и p99.
Сброс нагрузки (load shedding)
При перегрузке лишние запросы сразу получают 503, а не стоят в очереди. Лучше быстро сказать части клиентов «попробуйте позже», чем медленно отказать всем.