Шпаргалка · Целые системы
Проектируем планировщик задач
Проблема
«Отправь дайджест в 09:00», «напомни завтра», «синхронизируй каждые 5 минут»: миллионы отложенных и повторяющихся задач для множества тенантов. Идём от одного cron-сервера к таблице задач с захватом через `SKIP LOCKED`, к лизам с heartbeat, идемпотентным at-least-once запускам, ретраям с backoff и dead-letter таблице, а затем переживаем пик в 09:00 с помощью партиций по времени и справедливости между тенантами.
Чему вы научитесь
- Почему один cron-сервер и пропускает задачи, и запускает их дважды после failover
- Как воркеры безопасно забирают созревшие строки через
FOR UPDATE SKIP LOCKED - Лизы и heartbeat: почему они дают at-least-once и почему тогда нужны ключи идемпотентности
- Backoff с jitter, dead-letter таблица, партиции по времени и справедливость между тенантами
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_app(["Приложение тенанта"])
n_mail>"Email-провайдер"]
n_api["Scheduler API"]
n_db[("Таблица задач")]
n_w1("Воркер 1")
n_w2("Воркер 2")
n_dlq[("Мёртвые задачи")]
n_app2(["Крупный тенант"])
n_app --> n_api
n_api --> n_db
n_w1 --> n_db
n_w2 --> n_db
n_w1 --> n_mail
n_w2 --> n_mail
n_w2 --x n_dlq
n_app2 --> n_apiMermaid: последовательность запросов
sequenceDiagram
participant n_app as Приложение тенанта
participant n_cron as Cron-сервер A
participant n_cron2 as Cron-сервер B
participant n_mail as Email-провайдер
participant n_api as Scheduler API
participant n_db as Таблица задач
participant n_w1 as Воркер 1
participant n_w2 as Воркер 2
participant n_dlq as Мёртвые задачи
Note over n_app,n_cron: Одна машина, один crontab
n_app->>n_cron: $ crontab -l #35; on cron-a
Note over n_cron2,n_mail: Сервер умирает, а потом возвращается дважды
n_cron2->>n_mail: 08:12 cron-a unreachable, jobs 08:15..08:50 never ran
Note over n_api,n_db: Расписание становится строками со временем запуска
n_api->>n_db: INSERT INTO jobs -- the row, as JSON
n_db-->>n_api: INSERT 0 1
Note over n_w1,n_db: Захват строк через FOR UPDATE SKIP LOCKED
n_w1->>n_db: WITH picked AS (
n_db-->>n_w1: 50 rows, 3.1 ms
Note over n_w1,n_db: Мёртвый воркер бросает свои задачи
n_w1->>n_db: SELECT id, locked_by, now() - updated_at AS stuck
n_db-->>n_w1: j_8840 #124; w-2 #124; 00:47:12
Note over n_w1,n_db: Лиз, который истекает, если его не продлевать
n_w1->>n_db: UPDATE jobs
n_db-->>n_w1: lease_until = 09:00:41+05
Note over n_w1,n_mail: Каждый запуск несёт ключ идемпотентности
n_w1->>n_mail: POST /v1/messages HTTP/1.1
n_mail-->>n_w1: HTTP/1.1 200 OK
Note over n_w2,n_mail: Провайдер падает, воркеры его добивают
n_w2->>n_mail: POST /v1/messages HTTP/1.1
n_mail-->>n_w2: HTTP/1.1 503 Service Unavailable
Note over n_w2,n_dlq: Экспоненциальный backoff, jitter и dead-letter таблица
n_w2->>n_dlq: 09:41:07 WARN job j_9310 attempt 8/8: 550 mailbox does not exist
Note over n_w2,n_db: Всем нужно ровно 09:00
n_w2->>n_db: SELECT tenant, count(*) AS due, max(now() - run_at) AS late
n_db-->>n_w2: t_9 1 480 220 00:14:51
Note over n_w1,n_db: Часовые партиции и доля на каждого тенанта
n_w1->>n_db: SELECT j.id FROM active_tenants t
n_db-->>n_w1: 50 rows from 10 tenants, 2.4 msD2
direction: right
n_app: "Приложение тенанта" {
shape: rectangle
}
n_mail: "Email-провайдер" {
shape: cloud
}
n_api: "Scheduler API" {
shape: rectangle
}
n_db: "Таблица задач" {
shape: cylinder
}
n_w1: "Воркер 1" {
shape: rectangle
style.multiple: true
}
n_w2: "Воркер 2" {
shape: rectangle
style.multiple: true
}
n_dlq: "Мёртвые задачи" {
shape: cylinder
}
n_app2: "Крупный тенант" {
shape: rectangle
}
n_app -> n_api
n_api -> n_db
n_w1 -> n_db
n_w2 -> n_db
n_w1 -> n_mail
n_w2 -> n_mail
n_w2 -> n_dlq {
target-arrowhead.shape: cross
}
n_app2 -> n_apiPlantUML: последовательность запросов
@startuml
participant "Приложение тенанта" as n_app
participant "Cron-сервер A" as n_cron
participant "Cron-сервер B" as n_cron2
boundary "Email-провайдер" as n_mail
participant "Scheduler API" as n_api
database "Таблица задач" as n_db
participant "Воркер 1" as n_w1
participant "Воркер 2" as n_w2
database "Мёртвые задачи" as n_dlq
note over n_app, n_cron : Одна машина, один crontab
n_app -> n_cron : $ crontab -l # on cron-a
note over n_cron2, n_mail : Сервер умирает, а потом возвращается дважды
n_cron2 -> n_mail : [дубль] 08:12 cron-a unreachable, jobs 08:15..08:50 never ran
note over n_api, n_db : Расписание становится строками со временем запуска
n_api -> n_db : INSERT INTO jobs -- the row, as JSON
n_db --> n_api : INSERT 0 1
note over n_w1, n_db : Захват строк через FOR UPDATE SKIP LOCKED
n_w1 -> n_db : WITH picked AS (
n_db --> n_w1 : 50 rows, 3.1 ms
note over n_w1, n_db : Мёртвый воркер бросает свои задачи
n_w1 -> n_db : SELECT id, locked_by, now() - updated_at AS stuck
n_db --> n_w1 : j_8840 | w-2 | 00:47:12
note over n_w1, n_db : Лиз, который истекает, если его не продлевать
n_w1 -> n_db : UPDATE jobs
n_db --> n_w1 : lease_until = 09:00:41+05
note over n_w1, n_mail : Каждый запуск несёт ключ идемпотентности
n_w1 -> n_mail : POST /v1/messages HTTP/1.1
n_mail --> n_w1 : HTTP/1.1 200 OK
note over n_w2, n_mail : Провайдер падает, воркеры его добивают
n_w2 -> n_mail : [повтор] POST /v1/messages HTTP/1.1
n_mail --> n_w2 : HTTP/1.1 503 Service Unavailable
note over n_w2, n_dlq : Экспоненциальный backoff, jitter и dead-letter таблица
n_w2 -> n_dlq : 09:41:07 WARN job j_9310 attempt 8/8: 550 mailbox does not exist
note over n_w2, n_db : Всем нужно ровно 09:00
n_w2 -> n_db : SELECT tenant, count(*) AS due, max(now() - run_at) AS late
n_db --> n_w2 : t_9 1 480 220 00:14:51
note over n_w1, n_db : Часовые партиции и доля на каждого тенанта
n_w1 -> n_db : SELECT j.id FROM active_tenants t
n_db --> n_w1 : 50 rows from 10 tenants, 2.4 ms
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение тенанта" as n_app
cloud "Email-провайдер" as n_mail
component "Scheduler API" as n_api
database "Таблица задач" as n_db
collections "Воркер 1" as n_w1
collections "Воркер 2" as n_w2
database "Мёртвые задачи" as n_dlq
agent "Крупный тенант" as n_app2
n_app --> n_api
n_api --> n_db
n_w1 --> n_db
n_w2 --> n_db
n_w1 --> n_mail
n_w2 --> n_mail
n_w2 -[#c62828]-> n_dlq
n_app2 --> n_api
@endumlИтог
Планировщик — это база времён запуска плюс воркеры, которым нельзя доверять, что они останутся живы.
1) Один cron-сервер пропускает задачи, пока лежит, и запускает их дважды после failover. 2) Храните задачи строками с run_at в UTC; воркеры захватывают их через FOR UPDATE SKIP LOCKED. 3) Захват — это лиз, продлеваемый heartbeat по часам базы; истечение возвращает брошенные задачи. 4) Это делает запуски at least once, поэтому каждый побочный эффект несёт ключ идемпотентности. 5) Повторяйте перепланированием с экспоненциальным backoff и jitter; остальное — в dead-letter таблицу с алертом. 6) Партиционируйте по времени, удаляйте старые партиции и берите долю на тенанта, чтобы 09:00 было справедливым.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Задержка старта p99 | 1 с | 3 с |
| Не выполнено | 0/день | 0/день |
| Выполнено дважды | 0/день | 0/день |
Шаги
- Кейс Одна машина, один crontab
Тенанты планируют работу через приложение: ежедневный дайджест в 09:00, синхронизация курсов каждые пять минут, разовое напоминание на завтра.
- Проблема Сервер умирает, а потом возвращается дважды
В 08:12 cron-a теряет сеть.
- Решение Расписание становится строками со временем запуска
Теперь API вставляет каждую задачу строкой: что запускать, для какого тенанта, и
run_atв UTC. - Решение Захват строк через
FOR UPDATE SKIP LOCKEDКаждый воркер забирает пачку одним запросом.
- Проблема Мёртвый воркер бросает свои задачи
Воркер 2 убит в 09:00:05 с 50 захваченными задачами.
- Решение Лиз, который истекает, если его не продлевать
Теперь захват выдаёт лиз (lease):
lease_untilна 30 секунд вперёд. - Решение Каждый запуск несёт ключ идемпотентности
Воркер отправляет каждое письмо с ключом из id задачи и запланированного времени:
j_8812:2026-11-19T04:00Z. - Проблема Провайдер падает, воркеры его добивают
В 09:00 email-провайдер десять минут отвечает
503. - Решение Экспоненциальный backoff, jitter и dead-letter таблица
Неудачная задача возвращается в
queuedс отодвинутымrun_at: 30 s, 1 мин, 2 мин, удваивая до 32 мин, и каждая задержка случайно сдвигается до 20%. - Проблема Всем нужно ровно 09:00
Люди выбирают круглое время, а один крупный тенант
t_9запланировал 1.5 миллиона напоминаний на 09:00. - Решение Часовые партиции и доля на каждого тенанта
Таблица задач разбита на партиции по часу
run_at. - Итоги Итог
Планировщик — это база времён запуска плюс воркеры, которым нельзя доверять, что они останутся живы.
Термины
- SKIP LOCKED
- Добавка к FOR UPDATE: пропускает строки, заблокированные другой транзакцией, вместо ожидания, и воркеры не мешают друг другу.
- Лиз (lease)
- Временное право владеть задачей; если владелец не продлевает его heartbeat-ом, оно истекает и задача переходит к другому.
- Партиции по времени
- Деление таблицы на куски по часу или дню; запросы трогают только текущий кусок, старые удаляются целиком.