mufassall

Шпаргалка · Поставка

Миграции без простоя

15 мин · Продвинутый · mufassall.dtwin.uz/ru/l/zero-downtime-migrations/

← Открыть урок

Проблема

Магазин хочет хранить телефоны клиентов в одном нормализованном формате, в новой колонке таблицы на 40 миллионов строк, не останавливая checkout. Простой rename ломает поды, где ещё работает старый код, а ALTER на 5 мс останавливает все запросы, потому что ждёт блокировку за длинным отчётом. Безопасный путь — expand и contract: добавить nullable-колонку, писать в обе, заполнить старые строки пачками, проверить и переключить чтение, перестать писать в старую и удалить её последней, сохраняя путь назад на каждой фазе.

Чему вы научитесь

  • Почему rolling deploy значит две версии приложения на одной схеме и почему rename ломает старую
  • Блокировки на большой таблице: очередь блокировок за длинным запросом, lock_timeout, конкурентные индексы
  • Expand и contract: nullable-колонка, двойная запись, backfill пачками, проверка, переключение чтения, drop в конце
  • Как добавить NOT NULL без долгой блокировки и какую фазу ещё можно откатить
Итоговая сцена
60%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_users(["Покупатели"])
  n_db[("БД клиентов")]
  n_ci("Миграции")
  n_new["Приложение (новое)"]
  n_ci --> n_db
  n_users --> n_new
  n_new --> n_db

Mermaid: последовательность запросов

sequenceDiagram
  participant n_ci as Миграции
  participant n_db as БД клиентов
  participant n_old as Приложение (старое)
  participant n_new as Приложение (новое)
  participant n_filler as Backfill job
  Note over n_ci,n_db: Одна миграция, потом деплой
  n_ci->>n_db: -- migration 0042, runs right before the rollout
  n_db-->>n_ci: ALTER TABLE 12 ms
  Note over n_old,n_db: Старые поды просят колонку, которой нет
  n_old->>n_db: 14:00:03 migration 0042 done
  Note over n_ci,n_db: ALTER на 5 мс останавливает всю таблицу
  n_ci->>n_db: activity on customers 14:20:41
  Note over n_ci,n_db: Expand: nullable-колонка, таймаут блокировки, конкурентный индекс
  n_ci->>n_db: -- 0043 expand
  n_db-->>n_ci: ALTER TABLE 4 ms
  Note over n_new,n_db: Новая версия пишет в обе колонки
  n_new->>n_db: -- v2: writes both columns, still reads the old one
  n_db-->>n_new: UPDATE 1
  Note over n_filler,n_db: Backfill маленькими пачками
  n_filler->>n_db: -- backfill, batch 3 112 of 8 000
  n_db-->>n_filler: UPDATE 4987 140 ms
  Note over n_new,n_db: Проверить, потом переключить чтение
  n_new->>n_db: -- before switching reads
  n_db-->>n_new: count = 0
  Note over n_ci,n_db: Contract: старая колонка необязательна, новая обязательна
  n_ci->>n_db: -- 0044 contract, before v4 stops writing phone
  n_db-->>n_ci: VALIDATE 3 min 40 s
  Note over n_ci,n_db: Старая колонка удаляется последней
  n_ci->>n_db: -- 0045 contract, 7 days after the last reader of phone
  n_db-->>n_ci: ALTER TABLE 3 ms

D2

direction: right

n_users: "Покупатели" {
  shape: rectangle
}
n_db: "БД клиентов" {
  shape: cylinder
}
n_ci: "Миграции" {
  shape: rectangle
  style.multiple: true
}
n_new: "Приложение (новое)" {
  shape: rectangle
}

n_ci -> n_db
n_users -> n_new
n_new -> n_db

PlantUML: последовательность запросов

@startuml
participant "Миграции" as n_ci
database "БД клиентов" as n_db
participant "Приложение (старое)" as n_old
participant "Приложение (новое)" as n_new
participant "Backfill job" as n_filler
note over n_ci, n_db : Одна миграция, потом деплой
n_ci -> n_db : -- migration 0042, runs right before the rollout
n_db --> n_ci : ALTER TABLE 12 ms
note over n_old, n_db : Старые поды просят колонку, которой нет
n_old -> n_db : 14:00:03 migration 0042 done
note over n_ci, n_db : ALTER на 5 мс останавливает всю таблицу
n_ci -> n_db : activity on customers 14:20:41
note over n_ci, n_db : Expand: nullable-колонка, таймаут блокировки, конкурентный индекс
n_ci -> n_db : -- 0043 expand
n_db --> n_ci : ALTER TABLE 4 ms
note over n_new, n_db : Новая версия пишет в обе колонки
n_new -> n_db : -- v2: writes both columns, still reads the old one
n_db --> n_new : UPDATE 1
note over n_filler, n_db : Backfill маленькими пачками
n_filler -> n_db : -- backfill, batch 3 112 of 8 000
n_db --> n_filler : UPDATE 4987 140 ms
note over n_new, n_db : Проверить, потом переключить чтение
n_new -> n_db : -- before switching reads
n_db --> n_new : count = 0
note over n_ci, n_db : Contract: старая колонка необязательна, новая обязательна
n_ci -> n_db : -- 0044 contract, before v4 stops writing phone
n_db --> n_ci : VALIDATE 3 min 40 s
note over n_ci, n_db : Старая колонка удаляется последней
n_ci -> n_db : -- 0045 contract, 7 days after the last reader of phone
n_db --> n_ci : ALTER TABLE 3 ms
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Покупатели" as n_users
database "БД клиентов" as n_db
collections "Миграции" as n_ci
component "Приложение (новое)" as n_new
n_ci --> n_db
n_users --> n_new
n_new --> n_db
@enduml

Итог

Шесть правил миграций без простоя.

1) Во время rollout старая и новая версии работают на одной схеме: каждое изменение должно подходить обеим, поэтому никакого rename на месте. 2) Любой DDL на горячей таблице идёт с lock_timeout и повтором; индексы строятся конкурентно. 3) Expand: добавьте nullable-колонку без default, потом пишите в обе. 4) Backfill маленькими перезапускаемыми пачками, только после того как все поды пишут в обе колонки, и следите за отставанием реплик. 5) Проверьте, постепенно переключите чтение, потом остановите запись в старую; NOT NULL добавляйте как NOT VALID плюс VALIDATE. 6) Drop в самом конце, после окна отката: до него каждую фазу можно отменить деплоем предыдущей версии.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Ошибки checkout0,1%0,1%
Самый долгий заблокированный запрос0 с2 с
Заполнено строк0%100%
Время отката15 min3 min

Шаги

  1. Кейс Одна миграция, потом деплой

    Телефоны вводят вручную: 90 123-45-67, +998 (90) 1234567.

  2. Проблема Старые поды просят колонку, которой нет

    Миграция заканчивается в 14:00:03.

  3. Проблема ALTER на 5 мс останавливает всю таблицу

    Вторая попытка, без rename: ADD COLUMN phone_e164.

  4. Решение Expand: nullable-колонка, таймаут блокировки, конкурентный индекс

    Теперь миграция ставит lock_timeout = 2s: если блокировка не освободилась за 2 секунды, ALTER сдаётся, а не перекрывает очередь, и пайплайн пробует снова через 30 секунд.

  5. Решение Новая версия пишет в обе колонки

    Выкатывается версия v2.

  6. Решение Backfill маленькими пачками

    Когда все 12 подов работают на v2, job заполняет phone_e164 для старых строк: по 5 000 строк за пачку по диапазону id, 140 мс на пачку, потом пауза 50 мс.

  7. Решение Проверить, потом переключить чтение

    Прежде чем что-либо станет читать новую колонку, запрос проверяет, что каждая строка совпадает со старой: 0 расхождений.

  8. Решение Contract: старая колонка необязательна, новая обязательна

    Следующая версия, v4, перестаёт писать phone.

  9. Решение Старая колонка удаляется последней

    v4 работает 7 дней, в логах запросов нет ни одного читателя phone, и откатываться на v3 никто не собирается.

  10. Итоги Итог

    Шесть правил миграций без простоя.

Термины

Expand и contract
Пошаговое изменение схемы: сначала добавляется новое, что старый код игнорирует, данные пишутся в оба места и переносятся, а старое удаляется, только когда им уже никто не пользуется.
Backfill (дозаполнение)
Заполнение новой колонки или таблицы для уже существующих строк. На большой таблице его делают маленькими перезапускаемыми пачками, с паузами и с оглядкой на отставание реплик.
Очередь блокировок
Очередь запросов, ждущих блокировку таблицы. Эксклюзивная блокировка, ждущая за длинным запросом, останавливает и все запросы после себя, поэтому DDL запускают с lock_timeout.
Ограничение NOT VALID
Ограничение, которое сразу действует только на новые записи; старые строки потом проверяет VALIDATE, не блокируя чтение и запись. Безопасный способ добавить NOT NULL или внешний ключ на большую таблицу.