Шпаргалка · Взаимодействие
Очереди сообщений
Проблема
Магазин отправляет письмо о заказе через провайдера, который принимает 100 писем в секунду, а распродажа приносит 600 заказов в секунду. Как очередь поглощает пик и что в ней обязательно настроить: аренду, ack, backoff, очередь недоставленных и backpressure.
Чему вы научитесь
- Как очередь между продюсером и воркерами сглаживает пик
- Visibility timeout и ack: что будет, если воркер упал или медленный
- Повторы с экспоненциальной задержкой и джиттером, dead-letter очередь для ядовитых сообщений
- Масштабирование потребителей по бэклогу и торможение продюсера через backpressure
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_buyers(["Покупатели"])
n_api["API магазина"]
n_mail>"Почтовый провайдер"]
n_queue[["Очередь"]]
n_w1("Воркер 1")
n_w2("Воркер 2")
n_dlq[["Dead-letter очередь"]]
n_campaign("Рассылка")
n_buyers -->|"вызов"| n_api
n_api -->|"асинхронно"| n_queue
n_queue -->|"асинхронно"| n_w1
n_w1 -->|"вызов"| n_mail
n_queue -->|"асинхронно"| n_w2
n_w2 -->|"вызов"| n_mail
n_queue --x|"асинхронно"| n_dlq
n_campaign -->|"асинхронно"| n_queueMermaid: последовательность запросов
sequenceDiagram
participant n_api as API магазина
participant n_mail as Почтовый провайдер
participant n_queue as Очередь
participant n_w2 as Воркер 2
participant n_w1 as Воркер 1
participant n_dlq as Dead-letter очередь
participant n_campaign as Рассылка
Note over n_api,n_mail: Письмо уходит внутри запроса заказа
n_api->>n_mail: POST /v1/send HTTP/1.1
n_mail-->>n_api: HTTP/1.1 202 Accepted
Note over n_api,n_mail: Распродажа: 600 заказов в секунду
n_api->>n_mail: POST /v1/send HTTP/1.1
n_mail-->>n_api: HTTP/1.1 429 Too Many Requests
Note over n_api,n_queue: Очередь между заказом и письмом
n_api->>n_queue: SEND emails
n_queue-->>n_api: OK queued, depth 42000
Note over n_queue,n_w2: Больше воркеров — до потолка провайдера
n_queue->>n_w2: autoscaler: queue emails
Note over n_queue,n_w1: Воркер умер с сообщением в руках
n_queue->>n_w1: RECEIVE emails
n_w1-->>n_queue: DELETE m_8812
Note over n_queue,n_w2: Медленная задача пережила аренду
n_queue->>n_w2: 10:02:00 w1 got m_9120 (receipt: 212 pages)
Note over n_queue,n_w1: Продлевай аренду во время работы
n_queue->>n_w1: EXTEND emails m_9120 visibility_timeout=60s
n_w1-->>n_queue: OK until 10:03:20
Note over n_w1,n_mail: Провайдер лёг, воркеры долбят его
n_w1->>n_mail: POST /v1/send HTTP/1.1
n_mail-->>n_w1: HTTP/1.1 503 Service Unavailable
Note over n_queue,n_w1: Экспоненциальный backoff с джиттером
n_queue->>n_w1: NACK emails m_8812 delay=86s
Note over n_queue,n_dlq: Ядовитое сообщение — в dead-letter очередь
n_queue->>n_dlq: SET emails redrive_policy
n_dlq-->>n_queue: m_7731 moved to emails-dlq after 5 receives
Note over n_campaign,n_queue: Backpressure: продюсер притормаживает
n_campaign->>n_queue: campaign: 2000000 newsletter emails to publishD2
direction: right
n_buyers: "Покупатели" {
shape: rectangle
}
n_api: "API магазина" {
shape: rectangle
}
n_mail: "Почтовый провайдер" {
shape: cloud
}
n_queue: "Очередь" {
shape: queue
}
n_w1: "Воркер 1" {
shape: rectangle
style.multiple: true
}
n_w2: "Воркер 2" {
shape: rectangle
style.multiple: true
}
n_dlq: "Dead-letter очередь" {
shape: queue
}
n_campaign: "Рассылка" {
shape: rectangle
style.multiple: true
}
n_buyers -> n_api: "вызов"
n_api -> n_queue: "асинхронно"
n_queue -> n_w1: "асинхронно"
n_w1 -> n_mail: "вызов"
n_queue -> n_w2: "асинхронно"
n_w2 -> n_mail: "вызов"
n_queue -> n_dlq: "асинхронно" {
target-arrowhead.shape: cross
}
n_campaign -> n_queue: "асинхронно"PlantUML: последовательность запросов
@startuml
participant "API магазина" as n_api
boundary "Почтовый провайдер" as n_mail
queue "Очередь" as n_queue
participant "Воркер 2" as n_w2
participant "Воркер 1" as n_w1
queue "Dead-letter очередь" as n_dlq
participant "Рассылка" as n_campaign
note over n_api, n_mail : Письмо уходит внутри запроса заказа
n_api -> n_mail : POST /v1/send HTTP/1.1
n_mail --> n_api : HTTP/1.1 202 Accepted
note over n_api, n_mail : Распродажа: 600 заказов в секунду
n_api -> n_mail : POST /v1/send HTTP/1.1
n_mail --> n_api : HTTP/1.1 429 Too Many Requests
note over n_api, n_queue : Очередь между заказом и письмом
n_api ->> n_queue : SEND emails
n_queue -->> n_api : OK queued, depth 42000
note over n_queue, n_w2 : Больше воркеров — до потолка провайдера
n_queue ->> n_w2 : autoscaler: queue emails
note over n_queue, n_w1 : Воркер умер с сообщением в руках
n_queue ->> n_w1 : RECEIVE emails
n_w1 -->> n_queue : DELETE m_8812
note over n_queue, n_w2 : Медленная задача пережила аренду
n_queue ->> n_w2 : [дубль] 10:02:00 w1 got m_9120 (receipt: 212 pages)
note over n_queue, n_w1 : Продлевай аренду во время работы
n_queue ->> n_w1 : EXTEND emails m_9120 visibility_timeout=60s
n_w1 -->> n_queue : OK until 10:03:20
note over n_w1, n_mail : Провайдер лёг, воркеры долбят его
n_w1 -> n_mail : [повтор] POST /v1/send HTTP/1.1
n_mail --> n_w1 : HTTP/1.1 503 Service Unavailable
note over n_queue, n_w1 : Экспоненциальный backoff с джиттером
n_queue ->> n_w1 : NACK emails m_8812 delay=86s
note over n_queue, n_dlq : Ядовитое сообщение — в dead-letter очередь
n_queue ->> n_dlq : SET emails redrive_policy
n_dlq -->> n_queue : m_7731 moved to emails-dlq after 5 receives
note over n_campaign, n_queue : Backpressure: продюсер притормаживает
n_campaign ->> n_queue : campaign: 2000000 newsletter emails to publish
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Покупатели" as n_buyers
component "API магазина" as n_api
cloud "Почтовый провайдер" as n_mail
queue "Очередь" as n_queue
collections "Воркер 1" as n_w1
collections "Воркер 2" as n_w2
queue "Dead-letter очередь" as n_dlq
collections "Рассылка" as n_campaign
n_buyers --> n_api : вызов
n_api --> n_queue : асинхронно
n_queue --> n_w1 : асинхронно
n_w1 --> n_mail : вызов
n_queue --> n_w2 : асинхронно
n_w2 --> n_mail : вызов
n_queue -[#c62828]-> n_dlq : асинхронно
n_campaign --> n_queue : асинхронно
@endumlИтог
Шесть правил для очереди.
1) Медленная и лимитированная работа уходит с пути запроса в очередь. 2) Масштабируйте воркеры по бэклогу и возрасту самого старого сообщения — до лимита нижестоящего сервиса. 3) Ack после работы; для долгих задач продлевайте аренду. 4) Повторяйте с экспоненциальным backoff и джиттером. 5) Ядовитые сообщения — в dead-letter очередь под наблюдением. 6) Ограничьте очередь и дайте продюсерам притормаживать.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Заказ p95 | 950 мс | 35 мс |
| Бэклог | 0 | 20 000 |
| Задержка письма | 1 с | 60 с |
| Потеряно писем | 0/ч | 0/ч |
Шаги
- Кейс Письмо уходит внутри запроса заказа
Когда заказ оплачен, API вызывает почтового провайдера и ждёт его ответа, прежде чем ответить покупателю.
- Проблема Распродажа: 600 заказов в секунду
В 10:00 стартует распродажа, и заказов становится в пятнадцать раз больше.
- Решение Очередь между заказом и письмом
Теперь API лишь кладёт в очередь маленькую задачу и сразу отвечает покупателю.
- Решение Больше воркеров — до потолка провайдера
Автоскейлер смотрит на бэклог и возраст самого старого сообщения и запускает второй воркер.
- Кейс Воркер умер с сообщением в руках
Воркер 2 берёт сообщение
m_8812и падает, не успев отправить. - Проблема Медленная задача пережила аренду
У оптового заказа чек на 212 страниц, PDF собирается 45 секунд.
- Решение Продлевай аренду во время работы
Пока задача идёт, воркер каждые 20 секунд продлевает аренду.
- Проблема Провайдер лёг, воркеры долбят его
Почтовый провайдер падает на двадцать минут.
- Решение Экспоненциальный backoff с джиттером
После сбоя воркер возвращает сообщение с задержкой, которая каждый раз удваивается: 10 с, 20 с, 40 с, 80 с, с потолком в 15 минут.
- Решение Ядовитое сообщение — в dead-letter очередь
Одно сообщение ссылается на удалённый шаблон письма.
- Решение Backpressure: продюсер притормаживает
Маркетинг запускает рассылку: 2 миллиона писем разом в ту же очередь.
- Итоги Итоги
Шесть правил для очереди.
Термины
- Очередь (queue)
- Буфер между продюсером и воркерами: медленная или ограниченная работа уходит с пути запроса в очередь, и воркеры выполняют её в своём темпе. Очередь гасит пик, а ack дают после работы.
- Dead-letter очередь
- Отдельная очередь, куда уходит ядовитое сообщение, которое не обработалось после нескольких попыток. Оно не блокирует основную очередь, а за ней следят.
- Visibility timeout (аренда сообщения)
- Выдав сообщение воркеру, очередь не удаляет его, а прячет от остальных на это время. Если воркер не подтвердит обработку вовремя, сообщение снова становится видимым и уходит другому.