Шпаргалка · Надёжность
Таймауты и ретраи
Проблема
API оформления заказа зависит от сервиса тарифов, который сначала тормозит, а потом падает. Как таймауты, backoff, бюджет ретраев и circuit breaker не дают одной больной зависимости уронить всё.
Чему вы научитесь
- Почему вызов без таймаута может занять все потоки
- Экспоненциальный backoff с jitter и как ретраи множатся в шторм
- Бюджет ретраев и circuit breaker: closed, open, half-open
- Повторять только идемпотентное, или сделать его таким с помощью ключа
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_client(["Приложение магазина"])
n_api["API заказов"]
n_rates["Сервис тарифов"]
n_db[("База заказов")]
n_pay>"Платёжный провайдер"]
n_client -->|"вызов"| n_api
n_api -->|"вызов"| n_rates
n_api -->|"вызов"| n_db
n_api -->|"вызов"| n_payMermaid: последовательность запросов
sequenceDiagram
participant n_api as API заказов
participant n_rates as Сервис тарифов
participant n_client as Приложение магазина
participant n_pay as Платёжный провайдер
Note over n_api,n_rates: Каждый заказ спрашивает цену доставки
n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
n_rates-->>n_api: HTTP/1.1 200 OK
Note over n_client,n_api: Одна медленная зависимость замораживает всё
n_client->>n_api: POST /v1/checkout HTTP/1.1
n_api-->>n_client: HTTP/1.1 503 Service Unavailable
Note over n_api,n_rates: Сдаёмся через 800 мс
n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
n_rates-->>n_api: timeout: no answer in 800ms
Note over n_api,n_rates: Мгновенные ретраи превращаются в шторм
n_api->>n_rates: 10:42:07.112 GET /v1/quote attempt=1 timeout
Note over n_api,n_rates: Экспоненциальный backoff с jitter
n_api->>n_rates: attempt=1 timeout, sleep 90ms (base 100ms, jitter)
Note over n_api,n_rates: Бюджет ретраев ограничивает лишнюю нагрузку
n_api->>n_rates: retry budget rates: 40 of 400 per s used (10%)
Note over n_api,n_rates: Circuit breaker: не звонить мёртвому сервису
n_api->>n_rates: circuit rates: CLOSED -#62; OPEN
Note over n_api,n_rates: Half-open: решает одна проба
n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
n_rates-->>n_api: HTTP/1.1 200 OK in 92ms
Note over n_api,n_pay: Повтор списания списывает дважды
n_api->>n_pay: POST /v1/charges HTTP/1.1
n_pay-->>n_api: HTTP/1.1 201 Created
Note over n_api,n_pay: Повторять только идемпотентное
n_api->>n_pay: POST /v1/charges HTTP/1.1
n_pay-->>n_api: HTTP/1.1 201 CreatedD2
direction: right
n_client: "Приложение магазина" {
shape: rectangle
}
n_api: "API заказов" {
shape: rectangle
}
n_rates: "Сервис тарифов" {
shape: rectangle
}
n_db: "База заказов" {
shape: cylinder
}
n_pay: "Платёжный провайдер" {
shape: cloud
}
n_client -> n_api: "вызов"
n_api -> n_rates: "вызов"
n_api -> n_db: "вызов"
n_api -> n_pay: "вызов"PlantUML: последовательность запросов
@startuml
participant "API заказов" as n_api
participant "Сервис тарифов" as n_rates
participant "Приложение магазина" as n_client
boundary "Платёжный провайдер" as n_pay
note over n_api, n_rates : Каждый заказ спрашивает цену доставки
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : HTTP/1.1 200 OK
note over n_client, n_api : Одна медленная зависимость замораживает всё
n_client -> n_api : POST /v1/checkout HTTP/1.1
n_api --> n_client : HTTP/1.1 503 Service Unavailable
note over n_api, n_rates : Сдаёмся через 800 мс
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : timeout: no answer in 800ms
note over n_api, n_rates : Мгновенные ретраи превращаются в шторм
n_api -> n_rates : [повтор] 10:42:07.112 GET /v1/quote attempt=1 timeout
note over n_api, n_rates : Экспоненциальный backoff с jitter
n_api -> n_rates : [повтор] attempt=1 timeout, sleep 90ms (base 100ms, jitter)
note over n_api, n_rates : Бюджет ретраев ограничивает лишнюю нагрузку
n_api -> n_rates : [повтор] retry budget rates: 40 of 400 per s used (10%)
note over n_api, n_rates : Circuit breaker: не звонить мёртвому сервису
n_api -> n_rates : circuit rates: CLOSED -> OPEN
note over n_api, n_rates : Half-open: решает одна проба
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : HTTP/1.1 200 OK in 92ms
note over n_api, n_pay : Повтор списания списывает дважды
n_api -> n_pay : [дубль] POST /v1/charges HTTP/1.1
n_pay --> n_api : HTTP/1.1 201 Created
note over n_api, n_pay : Повторять только идемпотентное
n_api -> n_pay : POST /v1/charges HTTP/1.1
n_pay --> n_api : HTTP/1.1 201 Created
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение магазина" as n_client
component "API заказов" as n_api
component "Сервис тарифов" as n_rates
database "База заказов" as n_db
cloud "Платёжный провайдер" as n_pay
n_client --> n_api : вызов
n_api --> n_rates : вызов
n_api --> n_db : вызов
n_api --> n_pay : вызов
@endumlИтог
Пять правил для вызова того, что может упасть.
1) У каждого сетевого вызова есть таймаут, выбранный по реальной задержке. 2) Повторяйте на одном уровне, с экспоненциальным backoff и jitter. 3) Бюджет ретраев ограничивает лишнюю нагрузку. 4) Circuit breaker прекращает вызовы мёртвого сервиса и проверяет его в half-open. 5) Повторяйте только идемпотентные вызовы, остальным дайте ключ идемпотентности.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Оформление p95 | 180 мс | 190 мс |
| Неудачные заказы | 0,2% | 0,2% |
| Вызовы тарифов | 400/с | 400/с |
| Двойные списания | 0/день | 0/день |
Шаги
- Кейс Каждый заказ спрашивает цену доставки
Приложение отправляет заказ в API.
- Проблема Одна медленная зависимость замораживает всё
Сервис тарифов начинает отвечать за 30 секунд вместо 85 мс.
- Решение Сдаёмся через 800 мс
Теперь API ждёт тарифы не дольше 800 мс: короткий connect timeout плюс read timeout.
- Проблема Мгновенные ретраи превращаются в шторм
Чтобы реже уходить в fallback, в API добавили три мгновенных повтора.
- Решение Экспоненциальный backoff с jitter
Теперь повторяет только API, приложение — нет.
- Решение Бюджет ретраев ограничивает лишнюю нагрузку
Backoff разносит ретраи во времени, но в долгой аварии они всё равно копятся.
- Решение Circuit breaker: не звонить мёртвому сервису
Тарифы упали полностью.
- Кейс Half-open: решает одна проба
Через 30 секунд breaker переходит в half-open и пропускает один настоящий вызов.
- Проблема Повтор списания списывает дважды
Тот же код ретраев переиспользовали для оплаты.
- Решение Повторять только идемпотентное
GET за ценой можно повторять безопасно.
- Итоги Итоги
Пять правил для вызова того, что может упасть.
Термины
- Таймаут
- Предел ожидания ответа, после которого вызов сдаётся. Без таймаута одна медленная зависимость занимает все потоки и замораживает всё; значение выбирают по реальной задержке.
- Экспоненциальный backoff
- Перед каждой повторной попыткой пауза удваивается. Мгновенные ретраи не превращаются в шторм, который добивает упавший сервис.
- Jitter (джиттер)
- Случайная добавка к паузе, чтобы множество клиентов не повторяли запрос в одно мгновение. Её же добавляют к TTL в кеше, чтобы ключи не истекали разом.
- Circuit breaker
- Когда доля ошибок превышает порог, breaker размыкается и на время вообще не вызывает мёртвый сервис, отдавая запасной ответ. Затем в состоянии half-open одна пробная попытка решает, замкнуть его или снова разомкнуть.