mufassall

Шпаргалка · Надёжность

Таймауты и ретраи

13 мин · Средний · mufassall.dtwin.uz/ru/l/timeouts-retries/

← Открыть урок

Проблема

API оформления заказа зависит от сервиса тарифов, который сначала тормозит, а потом падает. Как таймауты, backoff, бюджет ретраев и circuit breaker не дают одной больной зависимости уронить всё.

Чему вы научитесь

  • Почему вызов без таймаута может занять все потоки
  • Экспоненциальный backoff с jitter и как ретраи множатся в шторм
  • Бюджет ретраев и circuit breaker: closed, open, half-open
  • Повторять только идемпотентное, или сделать его таким с помощью ключа
Итоговая сцена
25%40%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_client(["Приложение магазина"])
  n_api["API заказов"]
  n_rates["Сервис тарифов"]
  n_db[("База заказов")]
  n_pay>"Платёжный провайдер"]
  n_client -->|"вызов"| n_api
  n_api -->|"вызов"| n_rates
  n_api -->|"вызов"| n_db
  n_api -->|"вызов"| n_pay

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API заказов
  participant n_rates as Сервис тарифов
  participant n_client as Приложение магазина
  participant n_pay as Платёжный провайдер
  Note over n_api,n_rates: Каждый заказ спрашивает цену доставки
  n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
  n_rates-->>n_api: HTTP/1.1 200 OK
  Note over n_client,n_api: Одна медленная зависимость замораживает всё
  n_client->>n_api: POST /v1/checkout HTTP/1.1
  n_api-->>n_client: HTTP/1.1 503 Service Unavailable
  Note over n_api,n_rates: Сдаёмся через 800 мс
  n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
  n_rates-->>n_api: timeout: no answer in 800ms
  Note over n_api,n_rates: Мгновенные ретраи превращаются в шторм
  n_api->>n_rates: 10:42:07.112 GET /v1/quote attempt=1 timeout
  Note over n_api,n_rates: Экспоненциальный backoff с jitter
  n_api->>n_rates: attempt=1 timeout, sleep 90ms (base 100ms, jitter)
  Note over n_api,n_rates: Бюджет ретраев ограничивает лишнюю нагрузку
  n_api->>n_rates: retry budget rates: 40 of 400 per s used (10%)
  Note over n_api,n_rates: Circuit breaker: не звонить мёртвому сервису
  n_api->>n_rates: circuit rates: CLOSED -#62; OPEN
  Note over n_api,n_rates: Half-open: решает одна проба
  n_api->>n_rates: GET /v1/quote?city=TAS#38;kg=2.4 HTTP/1.1
  n_rates-->>n_api: HTTP/1.1 200 OK in 92ms
  Note over n_api,n_pay: Повтор списания списывает дважды
  n_api->>n_pay: POST /v1/charges HTTP/1.1
  n_pay-->>n_api: HTTP/1.1 201 Created
  Note over n_api,n_pay: Повторять только идемпотентное
  n_api->>n_pay: POST /v1/charges HTTP/1.1
  n_pay-->>n_api: HTTP/1.1 201 Created

D2

direction: right

n_client: "Приложение магазина" {
  shape: rectangle
}
n_api: "API заказов" {
  shape: rectangle
}
n_rates: "Сервис тарифов" {
  shape: rectangle
}
n_db: "База заказов" {
  shape: cylinder
}
n_pay: "Платёжный провайдер" {
  shape: cloud
}

n_client -> n_api: "вызов"
n_api -> n_rates: "вызов"
n_api -> n_db: "вызов"
n_api -> n_pay: "вызов"

PlantUML: последовательность запросов

@startuml
participant "API заказов" as n_api
participant "Сервис тарифов" as n_rates
participant "Приложение магазина" as n_client
boundary "Платёжный провайдер" as n_pay
note over n_api, n_rates : Каждый заказ спрашивает цену доставки
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : HTTP/1.1 200 OK
note over n_client, n_api : Одна медленная зависимость замораживает всё
n_client -> n_api : POST /v1/checkout HTTP/1.1
n_api --> n_client : HTTP/1.1 503 Service Unavailable
note over n_api, n_rates : Сдаёмся через 800 мс
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : timeout: no answer in 800ms
note over n_api, n_rates : Мгновенные ретраи превращаются в шторм
n_api -> n_rates : [повтор] 10:42:07.112 GET /v1/quote attempt=1 timeout
note over n_api, n_rates : Экспоненциальный backoff с jitter
n_api -> n_rates : [повтор] attempt=1 timeout, sleep 90ms (base 100ms, jitter)
note over n_api, n_rates : Бюджет ретраев ограничивает лишнюю нагрузку
n_api -> n_rates : [повтор] retry budget rates: 40 of 400 per s used (10%)
note over n_api, n_rates : Circuit breaker: не звонить мёртвому сервису
n_api -> n_rates : circuit rates: CLOSED -> OPEN
note over n_api, n_rates : Half-open: решает одна проба
n_api -> n_rates : GET /v1/quote?city=TAS&kg=2.4 HTTP/1.1
n_rates --> n_api : HTTP/1.1 200 OK in 92ms
note over n_api, n_pay : Повтор списания списывает дважды
n_api -> n_pay : [дубль] POST /v1/charges HTTP/1.1
n_pay --> n_api : HTTP/1.1 201 Created
note over n_api, n_pay : Повторять только идемпотентное
n_api -> n_pay : POST /v1/charges HTTP/1.1
n_pay --> n_api : HTTP/1.1 201 Created
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение магазина" as n_client
component "API заказов" as n_api
component "Сервис тарифов" as n_rates
database "База заказов" as n_db
cloud "Платёжный провайдер" as n_pay
n_client --> n_api : вызов
n_api --> n_rates : вызов
n_api --> n_db : вызов
n_api --> n_pay : вызов
@enduml

Итог

Пять правил для вызова того, что может упасть.

1) У каждого сетевого вызова есть таймаут, выбранный по реальной задержке. 2) Повторяйте на одном уровне, с экспоненциальным backoff и jitter. 3) Бюджет ретраев ограничивает лишнюю нагрузку. 4) Circuit breaker прекращает вызовы мёртвого сервиса и проверяет его в half-open. 5) Повторяйте только идемпотентные вызовы, остальным дайте ключ идемпотентности.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Оформление p95180 мс190 мс
Неудачные заказы0,2%0,2%
Вызовы тарифов400/с400/с
Двойные списания0/день0/день

Шаги

  1. Кейс Каждый заказ спрашивает цену доставки

    Приложение отправляет заказ в API.

  2. Проблема Одна медленная зависимость замораживает всё

    Сервис тарифов начинает отвечать за 30 секунд вместо 85 мс.

  3. Решение Сдаёмся через 800 мс

    Теперь API ждёт тарифы не дольше 800 мс: короткий connect timeout плюс read timeout.

  4. Проблема Мгновенные ретраи превращаются в шторм

    Чтобы реже уходить в fallback, в API добавили три мгновенных повтора.

  5. Решение Экспоненциальный backoff с jitter

    Теперь повторяет только API, приложение — нет.

  6. Решение Бюджет ретраев ограничивает лишнюю нагрузку

    Backoff разносит ретраи во времени, но в долгой аварии они всё равно копятся.

  7. Решение Circuit breaker: не звонить мёртвому сервису

    Тарифы упали полностью.

  8. Кейс Half-open: решает одна проба

    Через 30 секунд breaker переходит в half-open и пропускает один настоящий вызов.

  9. Проблема Повтор списания списывает дважды

    Тот же код ретраев переиспользовали для оплаты.

  10. Решение Повторять только идемпотентное

    GET за ценой можно повторять безопасно.

  11. Итоги Итоги

    Пять правил для вызова того, что может упасть.

Термины

Таймаут
Предел ожидания ответа, после которого вызов сдаётся. Без таймаута одна медленная зависимость занимает все потоки и замораживает всё; значение выбирают по реальной задержке.
Экспоненциальный backoff
Перед каждой повторной попыткой пауза удваивается. Мгновенные ретраи не превращаются в шторм, который добивает упавший сервис.
Jitter (джиттер)
Случайная добавка к паузе, чтобы множество клиентов не повторяли запрос в одно мгновение. Её же добавляют к TTL в кеше, чтобы ключи не истекали разом.
Circuit breaker
Когда доля ошибок превышает порог, breaker размыкается и на время вообще не вызывает мёртвый сервис, отдавая запасной ответ. Затем в состоянии half-open одна пробная попытка решает, замкнуть его или снова разомкнуть.