mufassall

Целые системы / 7 / 7

Проектируем планировщик задач

«Отправь дайджест в 09:00», «напомни завтра», «синхронизируй каждые 5 минут»: миллионы отложенных и повторяющихся задач для множества тенантов. Идём от одного cron-сервера к таблице задач с захватом через `SKIP LOCKED`, к лизам с heartbeat, идемпотентным at-least-once запускам, ретраям с backoff и dead-letter таблице, а затем переживаем пик в 09:00 с помощью партиций по времени и справедливости между тенантами.

  • 15 мин
  • Продвинутый
  • 12 шагов
Задержка старта p99
1 с
Не выполнено
0 /день
Выполнено дважды
0 /день
В Лабораторию

40%
  • запрос
  • ответ
  • повторная доставка
  • дубликат
  • потеряно

Цифры — модельный сценарий, не замеры

Настоящий запрос

Приложение тенанта → Cron-сервер A

Запрос

$ crontab -l        # on cron-a
0 9 * * *     /opt/jobs/send-digest --tenant t_171
*/5 * * * *   /opt/jobs/sync-rates2
# one-off lines appended by the API:
0 9 19 11 *   /opt/jobs/remind --user u_42 --once3
  1. 0 9 * * * — Минута 0, час 9, каждый день. В часовом поясе сервера, каким бы он ни был.
  2. */5 — Каждые пять минут. Если запуск идёт шесть, две копии наложатся.
  3. --once — Разовая задача, замаскированная под ежегодную строку. Кто-то должен удалить её после запуска.

Соберите самиШпаргалкаСравнение уроков

Курс: Уроков: 74
  1. 01 Основы

    1. Жизнь одного запроса
    2. Задержка и пропускная способность
    3. Оценка на салфетке
  2. 02 Масштабирование

    1. Вертикальное и горизонтальное масштабирование
    2. Балансировка нагрузки
    3. Серверы без состояния
    4. Кеширование
    5. Инвалидация кеша
    6. CDN и кеш на краю сети
  3. 03 Данные и хранение

    1. SQL и NoSQL
    2. Индексы в базе данных
    3. Геопоиск: кто рядом
    4. Полнотекстовый поиск
    5. Векторный поиск
    6. Движки хранения: B-tree и LSM
    7. Фильтр Блума
    8. Репликация базы данных
    9. Шардирование
    10. Консистентное хеширование
    11. Уникальные идентификаторы
    12. CAP: когда рвётся связь
    13. Консенсус и выбор лидера
    14. Транзакции
    15. Загрузка файлов
  4. 04 Взаимодействие

    1. Стили API
    2. Очереди сообщений
    3. Pub/sub и журнал событий
    4. Обновления в реальном времени
    5. Надёжные колбэки
    6. Надёжная отправка вебхуков
  5. 05 Надёжность

    1. Резервирование и failover
    2. Rate limiting
    3. Таймауты и ретраи
    4. Наблюдаемость
    5. SLO и бюджет ошибок
    6. Backpressure
  6. 06 Архитектура

    1. Микросервисы
    2. Обнаружение сервисов
    3. Саги и outbox
    4. Захват изменений данных (CDC)
    5. Транзакционный outbox
    6. Распределённые блокировки
    7. Batch и stream
    8. Мультитенантность
    9. Event sourcing
  7. 07 Безопасность

    1. Аутентификация
    2. Авторизация
    3. Шифрование и секреты
    4. Управление секретами
  8. 08 Поставка

    1. Тестирование
    2. CI/CD: от коммита до продакшена
    3. Миграции без простоя
    4. Фича-флаги
  9. 09 Целые системы

    1. От требований к дизайну
    2. Проектируем сокращатель ссылок
    3. Проектируем ленту новостей
    4. Проектируем чат
    5. Проектируем видеохостинг
    6. Проектируем поисковые подсказки (autocomplete)
    7. Проектируем планировщик задач
  10. 10 Бизнес-процессы

    1. Платёжный шлюз
    2. Деньги и округление
    3. Двойная запись в учёте денег
    4. Сверка платежей
    5. Биллинг подписок
    6. Электронная цифровая подпись
    7. Жизненный цикл документа
    8. Журнал аудита
    9. Доставка уведомлений
    10. Массовый импорт
    11. Возвраты и чарджбэки
    12. Сквозная нумерация документов
  11. 11 Разборы реальных систем

    1. Разбор: как Discord хранит сообщения
    2. Разбор: совместное редактирование в Figma