Шпаргалка · Поставка
Миграции без простоя
Проблема
Магазин хочет хранить телефоны клиентов в одном нормализованном формате, в новой колонке таблицы на 40 миллионов строк, не останавливая checkout. Простой rename ломает поды, где ещё работает старый код, а ALTER на 5 мс останавливает все запросы, потому что ждёт блокировку за длинным отчётом. Безопасный путь — expand и contract: добавить nullable-колонку, писать в обе, заполнить старые строки пачками, проверить и переключить чтение, перестать писать в старую и удалить её последней, сохраняя путь назад на каждой фазе.
Чему вы научитесь
- Почему rolling deploy значит две версии приложения на одной схеме и почему rename ломает старую
- Блокировки на большой таблице: очередь блокировок за длинным запросом, lock_timeout, конкурентные индексы
- Expand и contract: nullable-колонка, двойная запись, backfill пачками, проверка, переключение чтения, drop в конце
- Как добавить NOT NULL без долгой блокировки и какую фазу ещё можно откатить
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_users(["Покупатели"])
n_db[("БД клиентов")]
n_ci("Миграции")
n_new["Приложение (новое)"]
n_ci --> n_db
n_users --> n_new
n_new --> n_dbMermaid: последовательность запросов
sequenceDiagram
participant n_ci as Миграции
participant n_db as БД клиентов
participant n_old as Приложение (старое)
participant n_new as Приложение (новое)
participant n_filler as Backfill job
Note over n_ci,n_db: Одна миграция, потом деплой
n_ci->>n_db: -- migration 0042, runs right before the rollout
n_db-->>n_ci: ALTER TABLE 12 ms
Note over n_old,n_db: Старые поды просят колонку, которой нет
n_old->>n_db: 14:00:03 migration 0042 done
Note over n_ci,n_db: ALTER на 5 мс останавливает всю таблицу
n_ci->>n_db: activity on customers 14:20:41
Note over n_ci,n_db: Expand: nullable-колонка, таймаут блокировки, конкурентный индекс
n_ci->>n_db: -- 0043 expand
n_db-->>n_ci: ALTER TABLE 4 ms
Note over n_new,n_db: Новая версия пишет в обе колонки
n_new->>n_db: -- v2: writes both columns, still reads the old one
n_db-->>n_new: UPDATE 1
Note over n_filler,n_db: Backfill маленькими пачками
n_filler->>n_db: -- backfill, batch 3 112 of 8 000
n_db-->>n_filler: UPDATE 4987 140 ms
Note over n_new,n_db: Проверить, потом переключить чтение
n_new->>n_db: -- before switching reads
n_db-->>n_new: count = 0
Note over n_ci,n_db: Contract: старая колонка необязательна, новая обязательна
n_ci->>n_db: -- 0044 contract, before v4 stops writing phone
n_db-->>n_ci: VALIDATE 3 min 40 s
Note over n_ci,n_db: Старая колонка удаляется последней
n_ci->>n_db: -- 0045 contract, 7 days after the last reader of phone
n_db-->>n_ci: ALTER TABLE 3 msD2
direction: right
n_users: "Покупатели" {
shape: rectangle
}
n_db: "БД клиентов" {
shape: cylinder
}
n_ci: "Миграции" {
shape: rectangle
style.multiple: true
}
n_new: "Приложение (новое)" {
shape: rectangle
}
n_ci -> n_db
n_users -> n_new
n_new -> n_dbPlantUML: последовательность запросов
@startuml
participant "Миграции" as n_ci
database "БД клиентов" as n_db
participant "Приложение (старое)" as n_old
participant "Приложение (новое)" as n_new
participant "Backfill job" as n_filler
note over n_ci, n_db : Одна миграция, потом деплой
n_ci -> n_db : -- migration 0042, runs right before the rollout
n_db --> n_ci : ALTER TABLE 12 ms
note over n_old, n_db : Старые поды просят колонку, которой нет
n_old -> n_db : 14:00:03 migration 0042 done
note over n_ci, n_db : ALTER на 5 мс останавливает всю таблицу
n_ci -> n_db : activity on customers 14:20:41
note over n_ci, n_db : Expand: nullable-колонка, таймаут блокировки, конкурентный индекс
n_ci -> n_db : -- 0043 expand
n_db --> n_ci : ALTER TABLE 4 ms
note over n_new, n_db : Новая версия пишет в обе колонки
n_new -> n_db : -- v2: writes both columns, still reads the old one
n_db --> n_new : UPDATE 1
note over n_filler, n_db : Backfill маленькими пачками
n_filler -> n_db : -- backfill, batch 3 112 of 8 000
n_db --> n_filler : UPDATE 4987 140 ms
note over n_new, n_db : Проверить, потом переключить чтение
n_new -> n_db : -- before switching reads
n_db --> n_new : count = 0
note over n_ci, n_db : Contract: старая колонка необязательна, новая обязательна
n_ci -> n_db : -- 0044 contract, before v4 stops writing phone
n_db --> n_ci : VALIDATE 3 min 40 s
note over n_ci, n_db : Старая колонка удаляется последней
n_ci -> n_db : -- 0045 contract, 7 days after the last reader of phone
n_db --> n_ci : ALTER TABLE 3 ms
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Покупатели" as n_users
database "БД клиентов" as n_db
collections "Миграции" as n_ci
component "Приложение (новое)" as n_new
n_ci --> n_db
n_users --> n_new
n_new --> n_db
@endumlИтог
Шесть правил миграций без простоя.
1) Во время rollout старая и новая версии работают на одной схеме: каждое изменение должно подходить обеим, поэтому никакого rename на месте. 2) Любой DDL на горячей таблице идёт с lock_timeout и повтором; индексы строятся конкурентно. 3) Expand: добавьте nullable-колонку без default, потом пишите в обе. 4) Backfill маленькими перезапускаемыми пачками, только после того как все поды пишут в обе колонки, и следите за отставанием реплик. 5) Проверьте, постепенно переключите чтение, потом остановите запись в старую; NOT NULL добавляйте как NOT VALID плюс VALIDATE. 6) Drop в самом конце, после окна отката: до него каждую фазу можно отменить деплоем предыдущей версии.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Ошибки checkout | 0,1% | 0,1% |
| Самый долгий заблокированный запрос | 0 с | 2 с |
| Заполнено строк | 0% | 100% |
| Время отката | 15 min | 3 min |
Шаги
- Кейс Одна миграция, потом деплой
Телефоны вводят вручную:
90 123-45-67,+998 (90) 1234567. - Проблема Старые поды просят колонку, которой нет
Миграция заканчивается в 14:00:03.
- Проблема ALTER на 5 мс останавливает всю таблицу
Вторая попытка, без rename:
ADD COLUMN phone_e164. - Решение Expand: nullable-колонка, таймаут блокировки, конкурентный индекс
Теперь миграция ставит
lock_timeout = 2s: если блокировка не освободилась за 2 секунды, ALTER сдаётся, а не перекрывает очередь, и пайплайн пробует снова через 30 секунд. - Решение Новая версия пишет в обе колонки
Выкатывается версия v2.
- Решение Backfill маленькими пачками
Когда все 12 подов работают на v2, job заполняет
phone_e164для старых строк: по 5 000 строк за пачку по диапазону id, 140 мс на пачку, потом пауза 50 мс. - Решение Проверить, потом переключить чтение
Прежде чем что-либо станет читать новую колонку, запрос проверяет, что каждая строка совпадает со старой: 0 расхождений.
- Решение Contract: старая колонка необязательна, новая обязательна
Следующая версия, v4, перестаёт писать
phone. - Решение Старая колонка удаляется последней
v4 работает 7 дней, в логах запросов нет ни одного читателя
phone, и откатываться на v3 никто не собирается. - Итоги Итог
Шесть правил миграций без простоя.
Термины
- Expand и contract
- Пошаговое изменение схемы: сначала добавляется новое, что старый код игнорирует, данные пишутся в оба места и переносятся, а старое удаляется, только когда им уже никто не пользуется.
- Backfill (дозаполнение)
- Заполнение новой колонки или таблицы для уже существующих строк. На большой таблице его делают маленькими перезапускаемыми пачками, с паузами и с оглядкой на отставание реплик.
- Очередь блокировок
- Очередь запросов, ждущих блокировку таблицы. Эксклюзивная блокировка, ждущая за длинным запросом, останавливает и все запросы после себя, поэтому DDL запускают с lock_timeout.
- Ограничение NOT VALID
- Ограничение, которое сразу действует только на новые записи; старые строки потом проверяет VALIDATE, не блокируя чтение и запись. Безопасный способ добавить NOT NULL или внешний ключ на большую таблицу.