mufassall

Шпаргалка · Надёжность

Rate limiting

13 мин · Средний · mufassall.dtwin.uz/ru/l/rate-limiting/

← Открыть урок

Проблема

Один шумный клиент может замедлить API для всех. Как честно ограничить каждого: окна, token bucket, ответ 429 и счётчик, общий для всех серверов.

Чему вы научитесь

  • Fixed window, sliding window и token bucket — где ломается каждый
  • Что хороший ответ 429 сообщает клиенту
  • Кого ограничивать: IP, API-ключ или пользователя
  • Почему счётчик должен быть общим и что делать, когда он недоступен
Итоговая сцена
30%20%30%30%30%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_partner(["Приложение партнёра"])
  n_bot(["Скрипт"])
  n_api["API"]
  n_db[("База")]
  n_office(["Офис (300 человек)"])
  n_lb{"Балансировщик"}
  n_api2["API 2"]
  n_api3["API 3"]
  n_redis{{"Redis"}}
  n_api -->|"вызов"| n_db
  n_partner -->|"вызов"| n_lb
  n_office -->|"вызов"| n_lb
  n_bot -->|"вызов"| n_lb
  n_lb -->|"вызов"| n_api
  n_lb -->|"вызов"| n_api2
  n_lb -->|"вызов"| n_api3
  n_api2 -->|"вызов"| n_db
  n_api3 -->|"вызов"| n_db
  n_api --x|"потеряно"| n_redis
  n_api2 --x|"потеряно"| n_redis
  n_api3 --x|"потеряно"| n_redis
  classDef down fill:#fde2e2,stroke:#c62828,color:#4a0d0d,stroke-dasharray:4 3
  class n_redis down

Mermaid: последовательность запросов

sequenceDiagram
  participant n_bot as Скрипт
  participant n_api as API
  participant n_partner as Приложение партнёра
  participant n_office as Офис (300 человек)
  participant n_lb as Балансировщик
  participant n_redis as Redis
  Note over n_bot,n_api: Один скрипт занимает весь API
  n_bot->>n_api: GET /v1/products?page=8812 HTTP/1.1
  n_api-->>n_bot: HTTP/1.1 200 OK
  Note over n_bot,n_api: Считаем запросы за секунду
  n_bot->>n_api: GET /v1/products?page=8812 HTTP/1.1
  n_api-->>n_bot: HTTP/1.1 429 Too Many Requests
  Note over n_bot,n_api: Двойной лимит на краю окна
  n_bot->>n_api: limit 10 per second, fixed window, ip=198.51.100.7
  Note over n_bot,n_api: Sliding window смотрит назад
  n_bot->>n_api: sliding window, ip=198.51.100.7, t=12:00:01.250
  Note over n_partner,n_api: Честный всплеск отклонён
  n_partner->>n_api: partner app opens: 25 requests in 300 ms
  Note over n_partner,n_api: Token bucket: всплески можно, среднее держим
  n_partner->>n_api: token bucket ip=203.0.113.24: capacity=30 refill=10/s
  Note over n_office,n_api: 300 человек за одним IP
  n_office->>n_api: GET /v1/orders HTTP/1.1
  n_api-->>n_office: HTTP/1.1 429 Too Many Requests
  Note over n_office,n_api: Лимит по ключу, а не по адресу
  n_office->>n_api: GET /v1/orders HTTP/1.1
  n_api-->>n_office: HTTP/1.1 200 OK
  Note over n_bot,n_lb: Три сервера, три отдельных счётчика
  n_bot->>n_lb: local counters, key_id=k_88, limit 10/s
  Note over n_api,n_redis: Один счётчик в Redis
  n_api->>n_redis: EVALSHA 9f2c7a1e4b8d3f60a5c2e7b19d4f8a6c3e1b2d07 1 rl:k_88 30 10
  n_redis-->>n_api: 1) (integer) 0
  Note over n_api,n_redis: Когда отказывает сам лимитер
  n_api-xn_redis: rate limiter: redis timeout after 20 ms

D2

direction: right

n_partner: "Приложение партнёра" {
  shape: rectangle
}
n_bot: "Скрипт" {
  shape: rectangle
}
n_api: "API" {
  shape: rectangle
}
n_db: "База" {
  shape: cylinder
}
n_office: "Офис (300 человек)" {
  shape: rectangle
}
n_lb: "Балансировщик" {
  shape: diamond
}
n_api2: "API 2" {
  shape: rectangle
}
n_api3: "API 3" {
  shape: rectangle
}
n_redis: "Redis" {
  shape: hexagon
  style.fill: "#fde2e2"
  style.stroke: "#c62828"
  style.stroke-dash: 3
}

n_api -> n_db: "вызов"
n_partner -> n_lb: "вызов"
n_office -> n_lb: "вызов"
n_bot -> n_lb: "вызов"
n_lb -> n_api: "вызов"
n_lb -> n_api2: "вызов"
n_lb -> n_api3: "вызов"
n_api2 -> n_db: "вызов"
n_api3 -> n_db: "вызов"
n_api -> n_redis: "потеряно" {
  target-arrowhead.shape: cross
}
n_api2 -> n_redis: "потеряно" {
  target-arrowhead.shape: cross
}
n_api3 -> n_redis: "потеряно" {
  target-arrowhead.shape: cross
}

PlantUML: последовательность запросов

@startuml
participant "Скрипт" as n_bot
participant "API" as n_api
participant "Приложение партнёра" as n_partner
participant "Офис (300 человек)" as n_office
participant "Балансировщик" as n_lb
collections "Redis" as n_redis
note over n_bot, n_api : Один скрипт занимает весь API
n_bot -> n_api : GET /v1/products?page=8812 HTTP/1.1
n_api --> n_bot : HTTP/1.1 200 OK
note over n_bot, n_api : Считаем запросы за секунду
n_bot -> n_api : GET /v1/products?page=8812 HTTP/1.1
n_api --> n_bot : HTTP/1.1 429 Too Many Requests
note over n_bot, n_api : Двойной лимит на краю окна
n_bot -> n_api : limit 10 per second, fixed window, ip=198.51.100.7
note over n_bot, n_api : Sliding window смотрит назад
n_bot -> n_api : sliding window, ip=198.51.100.7, t=12:00:01.250
note over n_partner, n_api : Честный всплеск отклонён
n_partner -> n_api : partner app opens: 25 requests in 300 ms
note over n_partner, n_api : Token bucket: всплески можно, среднее держим
n_partner -> n_api : token bucket ip=203.0.113.24: capacity=30 refill=10/s
note over n_office, n_api : 300 человек за одним IP
n_office -> n_api : GET /v1/orders HTTP/1.1
n_api --> n_office : HTTP/1.1 429 Too Many Requests
note over n_office, n_api : Лимит по ключу, а не по адресу
n_office -> n_api : GET /v1/orders HTTP/1.1
n_api --> n_office : HTTP/1.1 200 OK
note over n_bot, n_lb : Три сервера, три отдельных счётчика
n_bot -> n_lb : local counters, key_id=k_88, limit 10/s
note over n_api, n_redis : Один счётчик в Redis
n_api -> n_redis : EVALSHA 9f2c7a1e4b8d3f60a5c2e7b19d4f8a6c3e1b2d07 1 rl:k_88 30 10
n_redis --> n_api : 1) (integer) 0
note over n_api, n_redis : Когда отказывает сам лимитер
n_api ->x n_redis : [потеряно] rate limiter: redis timeout after 20 ms
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение партнёра" as n_partner
agent "Скрипт" as n_bot
component "API" as n_api
database "База" as n_db
agent "Офис (300 человек)" as n_office
node "Балансировщик" as n_lb
component "API 2" as n_api2
component "API 3" as n_api3
stack "Redis" as n_redis #fde2e2;line:c62828;line.dashed
n_api --> n_db : вызов
n_partner --> n_lb : вызов
n_office --> n_lb : вызов
n_bot --> n_lb : вызов
n_lb --> n_api : вызов
n_lb --> n_api2 : вызов
n_lb --> n_api3 : вызов
n_api2 --> n_db : вызов
n_api3 --> n_db : вызов
n_api -[#c62828,dashed]-> n_redis : потеряно
n_api2 -[#c62828,dashed]-> n_redis : потеряно
n_api3 -[#c62828,dashed]-> n_redis : потеряно
@enduml

Итог

Rate limit защищает всех остальных от одного клиента, и сказать «нет» должно быть дёшево.

1) Fixed window протекает на краях; sliding window и token bucket — нет. 2) Token bucket пропускает честные всплески и держит среднее. 3) Отвечайте 429 с Retry-After. 4) Ограничивайте по ключу или пользователю, по IP — только анонимные вызовы. 5) При многих серверах держите счётчик в одном общем месте и заранее решите, как жить без него.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Партнёр p952 400 мс87 мс
Ошибки честных9%0%
Сверх лимита90 x1,2 x

Шаги

  1. Проблема Один скрипт занимает весь API

    Кто-то запустил скрипт, который листает весь каталог так быстро, как может: 900 запросов в секунду.

  2. Решение Считаем запросы за секунду

    API теперь держит счётчик на каждый IP за текущую секунду.

  3. Проблема Двойной лимит на краю окна

    Скрипт подстраивается под ритм: 10 запросов в самом конце одной секунды и ещё 10 в самом начале следующей.

  4. Решение Sliding window смотрит назад

    Sliding window считает последнюю секунду в любой момент, а не календарную секунду.

  5. Проблема Честный всплеск отклонён

    При открытии приложение партнёра грузит главный экран 25 запросами сразу, а потом минуту молчит.

  6. Решение Token bucket: всплески можно, среднее держим

    Каждому клиенту дают ведро на 30 токенов, оно пополняется по 10 в секунду.

  7. Проблема 300 человек за одним IP

    Офис клиента на 300 человек выходит в интернет через один адрес.

  8. Решение Лимит по ключу, а не по адресу

    Авторизованные вызовы теперь ограничиваются по API-ключу (или по пользователю); лимит по IP остаётся только для анонимных эндпоинтов вроде логина, и он гораздо мягче.

  9. Проблема Три сервера, три отдельных счётчика

    Трафик вырос, API работает на трёх серверах за балансировщиком.

  10. Решение Один счётчик в Redis

    Ведро переезжает в Redis, общий для всех серверов API.

  11. Кейс Когда отказывает сам лимитер

    Redis недоступен.

  12. Итоги Итог

    Rate limit защищает всех остальных от одного клиента, и сказать «нет» должно быть дёшево.

Термины

Rate limiting (ограничение частоты)
Ограничение числа запросов одного клиента за единицу времени, чтобы защитить от него остальных. Сверх лимита отвечают 429 с Retry-After, а счётчик общий для всех серверов.
Token bucket
У каждого клиента есть ведро токенов ограниченной ёмкости, которое пополняется с постоянной скоростью, и каждый запрос берёт один токен. Честные всплески проходят, а средняя скорость держится.