Шпаргалка · Основы
Задержка и пропускная способность
Проблема
Сколько длится один запрос и сколько запросов помещается в секунду — два разных числа. API поиска растёт от горстки пользователей до вечернего пика: почему среднее прячет проблему и почему сервер на 90% уже в беде.
Чему вы научитесь
- Задержка и пропускная способность и как их связывает число запросов в обработке
- Как читать p50, p95 и p99 и почему среднее врёт
- Почему ожидание взрывается, когда сервер приближается к 100%
- Ранний отказ при перегрузке и вынос медленной работы с пути запроса
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_users(["Пользователи"])
n_api["API поиска"]
n_db[("База")]
n_counter{{"Кеш счётчиков"}}
n_users --> n_api
n_api -.-> n_users
n_api --> n_db
n_api --> n_counterMermaid: последовательность запросов
sequenceDiagram
participant n_users as Пользователи
participant n_api as API поиска
participant n_db as База
participant n_counter as Кеш счётчиков
Note over n_users,n_api: Задержка: сколько длится один запрос
n_users->>n_api: GET /search?q=lamp HTTP/1.1
n_api-->>n_users: HTTP/1.1 200 OK
Note over n_users,n_api: Пропускная способность: сколько в секунду
n_users->>n_api: load test: 60 s
Note over n_users,n_api: Среднее говорит, что всё хорошо
n_users->>n_api: access log, last 10000 requests
Note over n_api,n_db: Откуда берётся хвост
n_api->>n_db: UPDATE search_stats SET hits = hits + 1
n_db-->>n_api: UPDATE 1
Note over n_users,n_api: Час пик: сервер занят на 93%
n_users->>n_api: GET /search?q=lamp HTTP/1.1
n_api-->>n_users: HTTP/1.1 200 OK
Note over n_users,n_api: Клиенты сдаются и повторяют
n_users->>n_api: GET /search?q=lamp
Note over n_users,n_api: Отказывать быстро
n_users->>n_api: GET /search?q=lamp HTTP/1.1
n_api-->>n_users: HTTP/1.1 503 Service Unavailable
Note over n_api,n_counter: Убрать медленную работу с пути запроса
n_api->>n_counter: INCR search:lamp:hits
n_counter-->>n_api: (integer) 51207D2
direction: right
n_users: "Пользователи" {
shape: rectangle
}
n_api: "API поиска" {
shape: rectangle
}
n_db: "База" {
shape: cylinder
}
n_counter: "Кеш счётчиков" {
shape: hexagon
}
n_users -> n_api
n_api -> n_users {
style.stroke-dash: 3
}
n_api -> n_db
n_api -> n_counterPlantUML: последовательность запросов
@startuml
participant "Пользователи" as n_users
participant "API поиска" as n_api
database "База" as n_db
collections "Кеш счётчиков" as n_counter
note over n_users, n_api : Задержка: сколько длится один запрос
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 200 OK
note over n_users, n_api : Пропускная способность: сколько в секунду
n_users -> n_api : load test: 60 s
note over n_users, n_api : Среднее говорит, что всё хорошо
n_users -> n_api : access log, last 10000 requests
note over n_api, n_db : Откуда берётся хвост
n_api -> n_db : UPDATE search_stats SET hits = hits + 1
n_db --> n_api : UPDATE 1
note over n_users, n_api : Час пик: сервер занят на 93%
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 200 OK
note over n_users, n_api : Клиенты сдаются и повторяют
n_users -> n_api : [повтор] GET /search?q=lamp
note over n_users, n_api : Отказывать быстро
n_users -> n_api : GET /search?q=lamp HTTP/1.1
n_api --> n_users : HTTP/1.1 503 Service Unavailable
note over n_api, n_counter : Убрать медленную работу с пути запроса
n_api -> n_counter : INCR search:lamp:hits
n_counter --> n_api : (integer) 51207
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Пользователи" as n_users
component "API поиска" as n_api
database "База" as n_db
stack "Кеш счётчиков" as n_counter
n_users --> n_api
n_api ..> n_users
n_api --> n_db
n_api --> n_counter
@endumlИтог
Задержка — время одного запроса, пропускная способность — сколько их завершается в секунду. Связывает их число запросов в обработке.
1) Смотрите на p95 и p99, а не на среднее. 2) У полной загрузки задержку определяет ожидание, а не работа, поэтому держите запас. 3) Повторам нужен backoff, перегрузке — быстрый 503. 4) Сократите путь запроса, и хвост сократится вместе с ним.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Пропускная способность | 5/с | 450/с |
| Задержка p50 | 41 мс | 22 мс |
| Задержка p99 | 60 мс | 85 мс |
| Ошибки | 0% | 0% |
Шаги
- Кейс Задержка: сколько длится один запрос
Пользователь ищет «lamp».
- Кейс Пропускная способность: сколько в секунду
Теперь каждую секунду приходит 200 запросов, и API отвечает на все.
- Проблема Среднее говорит, что всё хорошо
Дашборд показывает среднее 62 мс.
- Проблема Откуда берётся хвост
У медленных запросов есть общее: каждый поиск ещё и увеличивает счётчик своего слова.
- Проблема Час пик: сервер занят на 93%
Вечером трафик вырастает более чем вдвое, до 450 запросов в секунду.
- Кейс Почему 90% — это уже много
Представьте кассира, которому нужна 1 минута на покупателя.
- Проблема Клиенты сдаются и повторяют
Мобильное приложение ждёт 3 с и сразу отправляет тот же поиск ещё раз.
- Решение Отказывать быстро
API теперь ограничивает очередь: не больше 64 запросов в обработке и 100 в ожидании.
- Решение Убрать медленную работу с пути запроса
Счётчик поиска больше не трогает базу на каждом запросе.
- Итоги Итоги
Задержка — время одного запроса, пропускная способность — сколько их завершается в секунду.
Термины
- Задержка (latency)
- Сколько времени занимает один запрос от начала до конца. Под нагрузкой к самой работе добавляется ожидание в очереди.
- Пропускная способность (throughput)
- Сколько запросов система завершает за секунду. С задержкой её связывает число запросов, которые обрабатываются одновременно.
- Перцентиль (p50, p95, p99)
- p95 означает, что 95% запросов быстрее этого значения, то есть каждый двадцатый медленнее. Среднее прячет медленный хвост, поэтому смотрят на p95 и p99.
- Сброс нагрузки (load shedding)
- При перегрузке лишние запросы сразу получают 503, а не стоят в очереди. Лучше быстро сказать части клиентов «попробуйте позже», чем медленно отказать всем.