mufassall

Шпаргалка · Взаимодействие

Очереди сообщений

14 мин · Средний · mufassall.dtwin.uz/ru/l/queues/

← Открыть урок

Проблема

Магазин отправляет письмо о заказе через провайдера, который принимает 100 писем в секунду, а распродажа приносит 600 заказов в секунду. Как очередь поглощает пик и что в ней обязательно настроить: аренду, ack, backoff, очередь недоставленных и backpressure.

Чему вы научитесь

  • Как очередь между продюсером и воркерами сглаживает пик
  • Visibility timeout и ack: что будет, если воркер упал или медленный
  • Повторы с экспоненциальной задержкой и джиттером, dead-letter очередь для ядовитых сообщений
  • Масштабирование потребителей по бэклогу и торможение продюсера через backpressure
Итоговая сцена
20%30%50%40%40%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_buyers(["Покупатели"])
  n_api["API магазина"]
  n_mail>"Почтовый провайдер"]
  n_queue[["Очередь"]]
  n_w1("Воркер 1")
  n_w2("Воркер 2")
  n_dlq[["Dead-letter очередь"]]
  n_campaign("Рассылка")
  n_buyers -->|"вызов"| n_api
  n_api -->|"асинхронно"| n_queue
  n_queue -->|"асинхронно"| n_w1
  n_w1 -->|"вызов"| n_mail
  n_queue -->|"асинхронно"| n_w2
  n_w2 -->|"вызов"| n_mail
  n_queue --x|"асинхронно"| n_dlq
  n_campaign -->|"асинхронно"| n_queue

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API магазина
  participant n_mail as Почтовый провайдер
  participant n_queue as Очередь
  participant n_w2 as Воркер 2
  participant n_w1 as Воркер 1
  participant n_dlq as Dead-letter очередь
  participant n_campaign as Рассылка
  Note over n_api,n_mail: Письмо уходит внутри запроса заказа
  n_api->>n_mail: POST /v1/send HTTP/1.1
  n_mail-->>n_api: HTTP/1.1 202 Accepted
  Note over n_api,n_mail: Распродажа: 600 заказов в секунду
  n_api->>n_mail: POST /v1/send HTTP/1.1
  n_mail-->>n_api: HTTP/1.1 429 Too Many Requests
  Note over n_api,n_queue: Очередь между заказом и письмом
  n_api->>n_queue: SEND emails
  n_queue-->>n_api: OK queued, depth 42000
  Note over n_queue,n_w2: Больше воркеров — до потолка провайдера
  n_queue->>n_w2: autoscaler: queue emails
  Note over n_queue,n_w1: Воркер умер с сообщением в руках
  n_queue->>n_w1: RECEIVE emails
  n_w1-->>n_queue: DELETE m_8812
  Note over n_queue,n_w2: Медленная задача пережила аренду
  n_queue->>n_w2: 10:02:00 w1 got m_9120 (receipt: 212 pages)
  Note over n_queue,n_w1: Продлевай аренду во время работы
  n_queue->>n_w1: EXTEND emails m_9120 visibility_timeout=60s
  n_w1-->>n_queue: OK until 10:03:20
  Note over n_w1,n_mail: Провайдер лёг, воркеры долбят его
  n_w1->>n_mail: POST /v1/send HTTP/1.1
  n_mail-->>n_w1: HTTP/1.1 503 Service Unavailable
  Note over n_queue,n_w1: Экспоненциальный backoff с джиттером
  n_queue->>n_w1: NACK emails m_8812 delay=86s
  Note over n_queue,n_dlq: Ядовитое сообщение — в dead-letter очередь
  n_queue->>n_dlq: SET emails redrive_policy
  n_dlq-->>n_queue: m_7731 moved to emails-dlq after 5 receives
  Note over n_campaign,n_queue: Backpressure: продюсер притормаживает
  n_campaign->>n_queue: campaign: 2000000 newsletter emails to publish

D2

direction: right

n_buyers: "Покупатели" {
  shape: rectangle
}
n_api: "API магазина" {
  shape: rectangle
}
n_mail: "Почтовый провайдер" {
  shape: cloud
}
n_queue: "Очередь" {
  shape: queue
}
n_w1: "Воркер 1" {
  shape: rectangle
  style.multiple: true
}
n_w2: "Воркер 2" {
  shape: rectangle
  style.multiple: true
}
n_dlq: "Dead-letter очередь" {
  shape: queue
}
n_campaign: "Рассылка" {
  shape: rectangle
  style.multiple: true
}

n_buyers -> n_api: "вызов"
n_api -> n_queue: "асинхронно"
n_queue -> n_w1: "асинхронно"
n_w1 -> n_mail: "вызов"
n_queue -> n_w2: "асинхронно"
n_w2 -> n_mail: "вызов"
n_queue -> n_dlq: "асинхронно" {
  target-arrowhead.shape: cross
}
n_campaign -> n_queue: "асинхронно"

PlantUML: последовательность запросов

@startuml
participant "API магазина" as n_api
boundary "Почтовый провайдер" as n_mail
queue "Очередь" as n_queue
participant "Воркер 2" as n_w2
participant "Воркер 1" as n_w1
queue "Dead-letter очередь" as n_dlq
participant "Рассылка" as n_campaign
note over n_api, n_mail : Письмо уходит внутри запроса заказа
n_api -> n_mail : POST /v1/send HTTP/1.1
n_mail --> n_api : HTTP/1.1 202 Accepted
note over n_api, n_mail : Распродажа: 600 заказов в секунду
n_api -> n_mail : POST /v1/send HTTP/1.1
n_mail --> n_api : HTTP/1.1 429 Too Many Requests
note over n_api, n_queue : Очередь между заказом и письмом
n_api ->> n_queue : SEND emails
n_queue -->> n_api : OK queued, depth 42000
note over n_queue, n_w2 : Больше воркеров — до потолка провайдера
n_queue ->> n_w2 : autoscaler: queue emails
note over n_queue, n_w1 : Воркер умер с сообщением в руках
n_queue ->> n_w1 : RECEIVE emails
n_w1 -->> n_queue : DELETE m_8812
note over n_queue, n_w2 : Медленная задача пережила аренду
n_queue ->> n_w2 : [дубль] 10:02:00 w1 got m_9120 (receipt: 212 pages)
note over n_queue, n_w1 : Продлевай аренду во время работы
n_queue ->> n_w1 : EXTEND emails m_9120 visibility_timeout=60s
n_w1 -->> n_queue : OK until 10:03:20
note over n_w1, n_mail : Провайдер лёг, воркеры долбят его
n_w1 -> n_mail : [повтор] POST /v1/send HTTP/1.1
n_mail --> n_w1 : HTTP/1.1 503 Service Unavailable
note over n_queue, n_w1 : Экспоненциальный backoff с джиттером
n_queue ->> n_w1 : NACK emails m_8812 delay=86s
note over n_queue, n_dlq : Ядовитое сообщение — в dead-letter очередь
n_queue ->> n_dlq : SET emails redrive_policy
n_dlq -->> n_queue : m_7731 moved to emails-dlq after 5 receives
note over n_campaign, n_queue : Backpressure: продюсер притормаживает
n_campaign ->> n_queue : campaign: 2000000 newsletter emails to publish
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Покупатели" as n_buyers
component "API магазина" as n_api
cloud "Почтовый провайдер" as n_mail
queue "Очередь" as n_queue
collections "Воркер 1" as n_w1
collections "Воркер 2" as n_w2
queue "Dead-letter очередь" as n_dlq
collections "Рассылка" as n_campaign
n_buyers --> n_api : вызов
n_api --> n_queue : асинхронно
n_queue --> n_w1 : асинхронно
n_w1 --> n_mail : вызов
n_queue --> n_w2 : асинхронно
n_w2 --> n_mail : вызов
n_queue -[#c62828]-> n_dlq : асинхронно
n_campaign --> n_queue : асинхронно
@enduml

Итог

Шесть правил для очереди.

1) Медленная и лимитированная работа уходит с пути запроса в очередь. 2) Масштабируйте воркеры по бэклогу и возрасту самого старого сообщения — до лимита нижестоящего сервиса. 3) Ack после работы; для долгих задач продлевайте аренду. 4) Повторяйте с экспоненциальным backoff и джиттером. 5) Ядовитые сообщения — в dead-letter очередь под наблюдением. 6) Ограничьте очередь и дайте продюсерам притормаживать.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Заказ p95950 мс35 мс
Бэклог020 000
Задержка письма1 с60 с
Потеряно писем0/ч0/ч

Шаги

  1. Кейс Письмо уходит внутри запроса заказа

    Когда заказ оплачен, API вызывает почтового провайдера и ждёт его ответа, прежде чем ответить покупателю.

  2. Проблема Распродажа: 600 заказов в секунду

    В 10:00 стартует распродажа, и заказов становится в пятнадцать раз больше.

  3. Решение Очередь между заказом и письмом

    Теперь API лишь кладёт в очередь маленькую задачу и сразу отвечает покупателю.

  4. Решение Больше воркеров — до потолка провайдера

    Автоскейлер смотрит на бэклог и возраст самого старого сообщения и запускает второй воркер.

  5. Кейс Воркер умер с сообщением в руках

    Воркер 2 берёт сообщение m_8812 и падает, не успев отправить.

  6. Проблема Медленная задача пережила аренду

    У оптового заказа чек на 212 страниц, PDF собирается 45 секунд.

  7. Решение Продлевай аренду во время работы

    Пока задача идёт, воркер каждые 20 секунд продлевает аренду.

  8. Проблема Провайдер лёг, воркеры долбят его

    Почтовый провайдер падает на двадцать минут.

  9. Решение Экспоненциальный backoff с джиттером

    После сбоя воркер возвращает сообщение с задержкой, которая каждый раз удваивается: 10 с, 20 с, 40 с, 80 с, с потолком в 15 минут.

  10. Решение Ядовитое сообщение — в dead-letter очередь

    Одно сообщение ссылается на удалённый шаблон письма.

  11. Решение Backpressure: продюсер притормаживает

    Маркетинг запускает рассылку: 2 миллиона писем разом в ту же очередь.

  12. Итоги Итоги

    Шесть правил для очереди.

Термины

Очередь (queue)
Буфер между продюсером и воркерами: медленная или ограниченная работа уходит с пути запроса в очередь, и воркеры выполняют её в своём темпе. Очередь гасит пик, а ack дают после работы.
Dead-letter очередь
Отдельная очередь, куда уходит ядовитое сообщение, которое не обработалось после нескольких попыток. Оно не блокирует основную очередь, а за ней следят.
Visibility timeout (аренда сообщения)
Выдав сообщение воркеру, очередь не удаляет его, а прячет от остальных на это время. Если воркер не подтвердит обработку вовремя, сообщение снова становится видимым и уходит другому.