Шпаргалка · Надёжность
Rate limiting
Проблема
Один шумный клиент может замедлить API для всех. Как честно ограничить каждого: окна, token bucket, ответ 429 и счётчик, общий для всех серверов.
Чему вы научитесь
- Fixed window, sliding window и token bucket — где ломается каждый
- Что хороший ответ
429сообщает клиенту - Кого ограничивать: IP, API-ключ или пользователя
- Почему счётчик должен быть общим и что делать, когда он недоступен
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_partner(["Приложение партнёра"])
n_bot(["Скрипт"])
n_api["API"]
n_db[("База")]
n_office(["Офис (300 человек)"])
n_lb{"Балансировщик"}
n_api2["API 2"]
n_api3["API 3"]
n_redis{{"Redis"}}
n_api -->|"вызов"| n_db
n_partner -->|"вызов"| n_lb
n_office -->|"вызов"| n_lb
n_bot -->|"вызов"| n_lb
n_lb -->|"вызов"| n_api
n_lb -->|"вызов"| n_api2
n_lb -->|"вызов"| n_api3
n_api2 -->|"вызов"| n_db
n_api3 -->|"вызов"| n_db
n_api --x|"потеряно"| n_redis
n_api2 --x|"потеряно"| n_redis
n_api3 --x|"потеряно"| n_redis
classDef down fill:#fde2e2,stroke:#c62828,color:#4a0d0d,stroke-dasharray:4 3
class n_redis downMermaid: последовательность запросов
sequenceDiagram
participant n_bot as Скрипт
participant n_api as API
participant n_partner as Приложение партнёра
participant n_office as Офис (300 человек)
participant n_lb as Балансировщик
participant n_redis as Redis
Note over n_bot,n_api: Один скрипт занимает весь API
n_bot->>n_api: GET /v1/products?page=8812 HTTP/1.1
n_api-->>n_bot: HTTP/1.1 200 OK
Note over n_bot,n_api: Считаем запросы за секунду
n_bot->>n_api: GET /v1/products?page=8812 HTTP/1.1
n_api-->>n_bot: HTTP/1.1 429 Too Many Requests
Note over n_bot,n_api: Двойной лимит на краю окна
n_bot->>n_api: limit 10 per second, fixed window, ip=198.51.100.7
Note over n_bot,n_api: Sliding window смотрит назад
n_bot->>n_api: sliding window, ip=198.51.100.7, t=12:00:01.250
Note over n_partner,n_api: Честный всплеск отклонён
n_partner->>n_api: partner app opens: 25 requests in 300 ms
Note over n_partner,n_api: Token bucket: всплески можно, среднее держим
n_partner->>n_api: token bucket ip=203.0.113.24: capacity=30 refill=10/s
Note over n_office,n_api: 300 человек за одним IP
n_office->>n_api: GET /v1/orders HTTP/1.1
n_api-->>n_office: HTTP/1.1 429 Too Many Requests
Note over n_office,n_api: Лимит по ключу, а не по адресу
n_office->>n_api: GET /v1/orders HTTP/1.1
n_api-->>n_office: HTTP/1.1 200 OK
Note over n_bot,n_lb: Три сервера, три отдельных счётчика
n_bot->>n_lb: local counters, key_id=k_88, limit 10/s
Note over n_api,n_redis: Один счётчик в Redis
n_api->>n_redis: EVALSHA 9f2c7a1e4b8d3f60a5c2e7b19d4f8a6c3e1b2d07 1 rl:k_88 30 10
n_redis-->>n_api: 1) (integer) 0
Note over n_api,n_redis: Когда отказывает сам лимитер
n_api-xn_redis: rate limiter: redis timeout after 20 msD2
direction: right
n_partner: "Приложение партнёра" {
shape: rectangle
}
n_bot: "Скрипт" {
shape: rectangle
}
n_api: "API" {
shape: rectangle
}
n_db: "База" {
shape: cylinder
}
n_office: "Офис (300 человек)" {
shape: rectangle
}
n_lb: "Балансировщик" {
shape: diamond
}
n_api2: "API 2" {
shape: rectangle
}
n_api3: "API 3" {
shape: rectangle
}
n_redis: "Redis" {
shape: hexagon
style.fill: "#fde2e2"
style.stroke: "#c62828"
style.stroke-dash: 3
}
n_api -> n_db: "вызов"
n_partner -> n_lb: "вызов"
n_office -> n_lb: "вызов"
n_bot -> n_lb: "вызов"
n_lb -> n_api: "вызов"
n_lb -> n_api2: "вызов"
n_lb -> n_api3: "вызов"
n_api2 -> n_db: "вызов"
n_api3 -> n_db: "вызов"
n_api -> n_redis: "потеряно" {
target-arrowhead.shape: cross
}
n_api2 -> n_redis: "потеряно" {
target-arrowhead.shape: cross
}
n_api3 -> n_redis: "потеряно" {
target-arrowhead.shape: cross
}PlantUML: последовательность запросов
@startuml
participant "Скрипт" as n_bot
participant "API" as n_api
participant "Приложение партнёра" as n_partner
participant "Офис (300 человек)" as n_office
participant "Балансировщик" as n_lb
collections "Redis" as n_redis
note over n_bot, n_api : Один скрипт занимает весь API
n_bot -> n_api : GET /v1/products?page=8812 HTTP/1.1
n_api --> n_bot : HTTP/1.1 200 OK
note over n_bot, n_api : Считаем запросы за секунду
n_bot -> n_api : GET /v1/products?page=8812 HTTP/1.1
n_api --> n_bot : HTTP/1.1 429 Too Many Requests
note over n_bot, n_api : Двойной лимит на краю окна
n_bot -> n_api : limit 10 per second, fixed window, ip=198.51.100.7
note over n_bot, n_api : Sliding window смотрит назад
n_bot -> n_api : sliding window, ip=198.51.100.7, t=12:00:01.250
note over n_partner, n_api : Честный всплеск отклонён
n_partner -> n_api : partner app opens: 25 requests in 300 ms
note over n_partner, n_api : Token bucket: всплески можно, среднее держим
n_partner -> n_api : token bucket ip=203.0.113.24: capacity=30 refill=10/s
note over n_office, n_api : 300 человек за одним IP
n_office -> n_api : GET /v1/orders HTTP/1.1
n_api --> n_office : HTTP/1.1 429 Too Many Requests
note over n_office, n_api : Лимит по ключу, а не по адресу
n_office -> n_api : GET /v1/orders HTTP/1.1
n_api --> n_office : HTTP/1.1 200 OK
note over n_bot, n_lb : Три сервера, три отдельных счётчика
n_bot -> n_lb : local counters, key_id=k_88, limit 10/s
note over n_api, n_redis : Один счётчик в Redis
n_api -> n_redis : EVALSHA 9f2c7a1e4b8d3f60a5c2e7b19d4f8a6c3e1b2d07 1 rl:k_88 30 10
n_redis --> n_api : 1) (integer) 0
note over n_api, n_redis : Когда отказывает сам лимитер
n_api ->x n_redis : [потеряно] rate limiter: redis timeout after 20 ms
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение партнёра" as n_partner
agent "Скрипт" as n_bot
component "API" as n_api
database "База" as n_db
agent "Офис (300 человек)" as n_office
node "Балансировщик" as n_lb
component "API 2" as n_api2
component "API 3" as n_api3
stack "Redis" as n_redis #fde2e2;line:c62828;line.dashed
n_api --> n_db : вызов
n_partner --> n_lb : вызов
n_office --> n_lb : вызов
n_bot --> n_lb : вызов
n_lb --> n_api : вызов
n_lb --> n_api2 : вызов
n_lb --> n_api3 : вызов
n_api2 --> n_db : вызов
n_api3 --> n_db : вызов
n_api -[#c62828,dashed]-> n_redis : потеряно
n_api2 -[#c62828,dashed]-> n_redis : потеряно
n_api3 -[#c62828,dashed]-> n_redis : потеряно
@endumlИтог
Rate limit защищает всех остальных от одного клиента, и сказать «нет» должно быть дёшево.
1) Fixed window протекает на краях; sliding window и token bucket — нет. 2) Token bucket пропускает честные всплески и держит среднее. 3) Отвечайте 429 с Retry-After. 4) Ограничивайте по ключу или пользователю, по IP — только анонимные вызовы. 5) При многих серверах держите счётчик в одном общем месте и заранее решите, как жить без него.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Партнёр p95 | 2 400 мс | 87 мс |
| Ошибки честных | 9% | 0% |
| Сверх лимита | 90 x | 1,2 x |
Шаги
- Проблема Один скрипт занимает весь API
Кто-то запустил скрипт, который листает весь каталог так быстро, как может: 900 запросов в секунду.
- Решение Считаем запросы за секунду
API теперь держит счётчик на каждый IP за текущую секунду.
- Проблема Двойной лимит на краю окна
Скрипт подстраивается под ритм: 10 запросов в самом конце одной секунды и ещё 10 в самом начале следующей.
- Решение Sliding window смотрит назад
Sliding window считает последнюю секунду в любой момент, а не календарную секунду.
- Проблема Честный всплеск отклонён
При открытии приложение партнёра грузит главный экран 25 запросами сразу, а потом минуту молчит.
- Решение Token bucket: всплески можно, среднее держим
Каждому клиенту дают ведро на 30 токенов, оно пополняется по 10 в секунду.
- Проблема 300 человек за одним IP
Офис клиента на 300 человек выходит в интернет через один адрес.
- Решение Лимит по ключу, а не по адресу
Авторизованные вызовы теперь ограничиваются по API-ключу (или по пользователю); лимит по IP остаётся только для анонимных эндпоинтов вроде логина, и он гораздо мягче.
- Проблема Три сервера, три отдельных счётчика
Трафик вырос, API работает на трёх серверах за балансировщиком.
- Решение Один счётчик в Redis
Ведро переезжает в Redis, общий для всех серверов API.
- Кейс Когда отказывает сам лимитер
Redis недоступен.
- Итоги Итог
Rate limit защищает всех остальных от одного клиента, и сказать «нет» должно быть дёшево.
Термины
- Rate limiting (ограничение частоты)
- Ограничение числа запросов одного клиента за единицу времени, чтобы защитить от него остальных. Сверх лимита отвечают 429 с Retry-After, а счётчик общий для всех серверов.
- Token bucket
- У каждого клиента есть ведро токенов ограниченной ёмкости, которое пополняется с постоянной скоростью, и каждый запрос берёт один токен. Честные всплески проходят, а средняя скорость держится.