mufassall

Шпаргалка · Целые системы

Проектируем планировщик задач

15 мин · Продвинутый · mufassall.dtwin.uz/ru/l/design-job-scheduler/

← Открыть урок

Проблема

«Отправь дайджест в 09:00», «напомни завтра», «синхронизируй каждые 5 минут»: миллионы отложенных и повторяющихся задач для множества тенантов. Идём от одного cron-сервера к таблице задач с захватом через `SKIP LOCKED`, к лизам с heartbeat, идемпотентным at-least-once запускам, ретраям с backoff и dead-letter таблице, а затем переживаем пик в 09:00 с помощью партиций по времени и справедливости между тенантами.

Чему вы научитесь

  • Почему один cron-сервер и пропускает задачи, и запускает их дважды после failover
  • Как воркеры безопасно забирают созревшие строки через FOR UPDATE SKIP LOCKED
  • Лизы и heartbeat: почему они дают at-least-once и почему тогда нужны ключи идемпотентности
  • Backoff с jitter, dead-letter таблица, партиции по времени и справедливость между тенантами
Итоговая сцена
45%50%45%45%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_app(["Приложение тенанта"])
  n_mail>"Email-провайдер"]
  n_api["Scheduler API"]
  n_db[("Таблица задач")]
  n_w1("Воркер 1")
  n_w2("Воркер 2")
  n_dlq[("Мёртвые задачи")]
  n_app2(["Крупный тенант"])
  n_app --> n_api
  n_api --> n_db
  n_w1 --> n_db
  n_w2 --> n_db
  n_w1 --> n_mail
  n_w2 --> n_mail
  n_w2 --x n_dlq
  n_app2 --> n_api

Mermaid: последовательность запросов

sequenceDiagram
  participant n_app as Приложение тенанта
  participant n_cron as Cron-сервер A
  participant n_cron2 as Cron-сервер B
  participant n_mail as Email-провайдер
  participant n_api as Scheduler API
  participant n_db as Таблица задач
  participant n_w1 as Воркер 1
  participant n_w2 as Воркер 2
  participant n_dlq as Мёртвые задачи
  Note over n_app,n_cron: Одна машина, один crontab
  n_app->>n_cron: $ crontab -l #35; on cron-a
  Note over n_cron2,n_mail: Сервер умирает, а потом возвращается дважды
  n_cron2->>n_mail: 08:12 cron-a unreachable, jobs 08:15..08:50 never ran
  Note over n_api,n_db: Расписание становится строками со временем запуска
  n_api->>n_db: INSERT INTO jobs -- the row, as JSON
  n_db-->>n_api: INSERT 0 1
  Note over n_w1,n_db: Захват строк через FOR UPDATE SKIP LOCKED
  n_w1->>n_db: WITH picked AS (
  n_db-->>n_w1: 50 rows, 3.1 ms
  Note over n_w1,n_db: Мёртвый воркер бросает свои задачи
  n_w1->>n_db: SELECT id, locked_by, now() - updated_at AS stuck
  n_db-->>n_w1: j_8840 #124; w-2 #124; 00:47:12
  Note over n_w1,n_db: Лиз, который истекает, если его не продлевать
  n_w1->>n_db: UPDATE jobs
  n_db-->>n_w1: lease_until = 09:00:41+05
  Note over n_w1,n_mail: Каждый запуск несёт ключ идемпотентности
  n_w1->>n_mail: POST /v1/messages HTTP/1.1
  n_mail-->>n_w1: HTTP/1.1 200 OK
  Note over n_w2,n_mail: Провайдер падает, воркеры его добивают
  n_w2->>n_mail: POST /v1/messages HTTP/1.1
  n_mail-->>n_w2: HTTP/1.1 503 Service Unavailable
  Note over n_w2,n_dlq: Экспоненциальный backoff, jitter и dead-letter таблица
  n_w2->>n_dlq: 09:41:07 WARN job j_9310 attempt 8/8: 550 mailbox does not exist
  Note over n_w2,n_db: Всем нужно ровно 09:00
  n_w2->>n_db: SELECT tenant, count(*) AS due, max(now() - run_at) AS late
  n_db-->>n_w2: t_9 1 480 220 00:14:51
  Note over n_w1,n_db: Часовые партиции и доля на каждого тенанта
  n_w1->>n_db: SELECT j.id FROM active_tenants t
  n_db-->>n_w1: 50 rows from 10 tenants, 2.4 ms

D2

direction: right

n_app: "Приложение тенанта" {
  shape: rectangle
}
n_mail: "Email-провайдер" {
  shape: cloud
}
n_api: "Scheduler API" {
  shape: rectangle
}
n_db: "Таблица задач" {
  shape: cylinder
}
n_w1: "Воркер 1" {
  shape: rectangle
  style.multiple: true
}
n_w2: "Воркер 2" {
  shape: rectangle
  style.multiple: true
}
n_dlq: "Мёртвые задачи" {
  shape: cylinder
}
n_app2: "Крупный тенант" {
  shape: rectangle
}

n_app -> n_api
n_api -> n_db
n_w1 -> n_db
n_w2 -> n_db
n_w1 -> n_mail
n_w2 -> n_mail
n_w2 -> n_dlq {
  target-arrowhead.shape: cross
}
n_app2 -> n_api

PlantUML: последовательность запросов

@startuml
participant "Приложение тенанта" as n_app
participant "Cron-сервер A" as n_cron
participant "Cron-сервер B" as n_cron2
boundary "Email-провайдер" as n_mail
participant "Scheduler API" as n_api
database "Таблица задач" as n_db
participant "Воркер 1" as n_w1
participant "Воркер 2" as n_w2
database "Мёртвые задачи" as n_dlq
note over n_app, n_cron : Одна машина, один crontab
n_app -> n_cron : $ crontab -l # on cron-a
note over n_cron2, n_mail : Сервер умирает, а потом возвращается дважды
n_cron2 -> n_mail : [дубль] 08:12 cron-a unreachable, jobs 08:15..08:50 never ran
note over n_api, n_db : Расписание становится строками со временем запуска
n_api -> n_db : INSERT INTO jobs -- the row, as JSON
n_db --> n_api : INSERT 0 1
note over n_w1, n_db : Захват строк через FOR UPDATE SKIP LOCKED
n_w1 -> n_db : WITH picked AS (
n_db --> n_w1 : 50 rows, 3.1 ms
note over n_w1, n_db : Мёртвый воркер бросает свои задачи
n_w1 -> n_db : SELECT id, locked_by, now() - updated_at AS stuck
n_db --> n_w1 : j_8840 | w-2 | 00:47:12
note over n_w1, n_db : Лиз, который истекает, если его не продлевать
n_w1 -> n_db : UPDATE jobs
n_db --> n_w1 : lease_until = 09:00:41+05
note over n_w1, n_mail : Каждый запуск несёт ключ идемпотентности
n_w1 -> n_mail : POST /v1/messages HTTP/1.1
n_mail --> n_w1 : HTTP/1.1 200 OK
note over n_w2, n_mail : Провайдер падает, воркеры его добивают
n_w2 -> n_mail : [повтор] POST /v1/messages HTTP/1.1
n_mail --> n_w2 : HTTP/1.1 503 Service Unavailable
note over n_w2, n_dlq : Экспоненциальный backoff, jitter и dead-letter таблица
n_w2 -> n_dlq : 09:41:07 WARN job j_9310 attempt 8/8: 550 mailbox does not exist
note over n_w2, n_db : Всем нужно ровно 09:00
n_w2 -> n_db : SELECT tenant, count(*) AS due, max(now() - run_at) AS late
n_db --> n_w2 : t_9 1 480 220 00:14:51
note over n_w1, n_db : Часовые партиции и доля на каждого тенанта
n_w1 -> n_db : SELECT j.id FROM active_tenants t
n_db --> n_w1 : 50 rows from 10 tenants, 2.4 ms
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение тенанта" as n_app
cloud "Email-провайдер" as n_mail
component "Scheduler API" as n_api
database "Таблица задач" as n_db
collections "Воркер 1" as n_w1
collections "Воркер 2" as n_w2
database "Мёртвые задачи" as n_dlq
agent "Крупный тенант" as n_app2
n_app --> n_api
n_api --> n_db
n_w1 --> n_db
n_w2 --> n_db
n_w1 --> n_mail
n_w2 --> n_mail
n_w2 -[#c62828]-> n_dlq
n_app2 --> n_api
@enduml

Итог

Планировщик — это база времён запуска плюс воркеры, которым нельзя доверять, что они останутся живы.

1) Один cron-сервер пропускает задачи, пока лежит, и запускает их дважды после failover. 2) Храните задачи строками с run_at в UTC; воркеры захватывают их через FOR UPDATE SKIP LOCKED. 3) Захват — это лиз, продлеваемый heartbeat по часам базы; истечение возвращает брошенные задачи. 4) Это делает запуски at least once, поэтому каждый побочный эффект несёт ключ идемпотентности. 5) Повторяйте перепланированием с экспоненциальным backoff и jitter; остальное — в dead-letter таблицу с алертом. 6) Партиционируйте по времени, удаляйте старые партиции и берите долю на тенанта, чтобы 09:00 было справедливым.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Задержка старта p991 с3 с
Не выполнено0/день0/день
Выполнено дважды0/день0/день

Шаги

  1. Кейс Одна машина, один crontab

    Тенанты планируют работу через приложение: ежедневный дайджест в 09:00, синхронизация курсов каждые пять минут, разовое напоминание на завтра.

  2. Проблема Сервер умирает, а потом возвращается дважды

    В 08:12 cron-a теряет сеть.

  3. Решение Расписание становится строками со временем запуска

    Теперь API вставляет каждую задачу строкой: что запускать, для какого тенанта, и run_at в UTC.

  4. Решение Захват строк через FOR UPDATE SKIP LOCKED

    Каждый воркер забирает пачку одним запросом.

  5. Проблема Мёртвый воркер бросает свои задачи

    Воркер 2 убит в 09:00:05 с 50 захваченными задачами.

  6. Решение Лиз, который истекает, если его не продлевать

    Теперь захват выдаёт лиз (lease): lease_until на 30 секунд вперёд.

  7. Решение Каждый запуск несёт ключ идемпотентности

    Воркер отправляет каждое письмо с ключом из id задачи и запланированного времени: j_8812:2026-11-19T04:00Z.

  8. Проблема Провайдер падает, воркеры его добивают

    В 09:00 email-провайдер десять минут отвечает 503.

  9. Решение Экспоненциальный backoff, jitter и dead-letter таблица

    Неудачная задача возвращается в queued с отодвинутым run_at: 30 s, 1 мин, 2 мин, удваивая до 32 мин, и каждая задержка случайно сдвигается до 20%.

  10. Проблема Всем нужно ровно 09:00

    Люди выбирают круглое время, а один крупный тенант t_9 запланировал 1.5 миллиона напоминаний на 09:00.

  11. Решение Часовые партиции и доля на каждого тенанта

    Таблица задач разбита на партиции по часу run_at.

  12. Итоги Итог

    Планировщик — это база времён запуска плюс воркеры, которым нельзя доверять, что они останутся живы.

Термины

SKIP LOCKED
Добавка к FOR UPDATE: пропускает строки, заблокированные другой транзакцией, вместо ожидания, и воркеры не мешают друг другу.
Лиз (lease)
Временное право владеть задачей; если владелец не продлевает его heartbeat-ом, оно истекает и задача переходит к другому.
Партиции по времени
Деление таблицы на куски по часу или дню; запросы трогают только текущий кусок, старые удаляются целиком.