Шпаргалка · Поставка
CI/CD: от коммита до продакшена
Проблема
Команда деплоит раз в неделю, вручную, и каждый третий деплой что-нибудь ломает. Шаг за шагом путь от коммита до продакшена становится автоматическим, мелким и обратимым, и в итоге команда деплоит десяток раз в день.
Чему вы научитесь
- CI собирает и тестирует каждый коммит один раз и выпускает один неизменяемый артефакт
- Rolling, blue-green и canary: чего стоит каждый и как быстро откатывается
- Автоматический откат по уровню ошибок и feature flags, которые отделяют деплой от релиза
- Четыре метрики поставки: деплои в день, lead time, доля неудачных деплоев, время восстановления
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_dev(("Разработчик"))
n_users(["Пользователи"])
n_lb{"Балансировщик"}
n_ci("CI/CD")
n_registry[("Реестр артефактов")]
n_green["Зелёные серверы"]
n_blue["Синие серверы"]
n_flags["Feature flags"]
n_users --> n_lb
n_dev --> n_ci
n_ci --> n_registry
n_ci --> n_green
n_lb --> n_green
n_lb --> n_blue
n_ci --> n_lb
n_green --> n_flagsMermaid: последовательность запросов
sequenceDiagram
actor n_dev as Разработчик
participant n_blue as Синие серверы
participant n_ci as CI/CD
participant n_lb as Балансировщик
participant n_green as Зелёные серверы
participant n_flags as Feature flags
Note over n_dev,n_blue: Деплой в пятницу, вручную, на шесть серверов
n_dev->>n_blue: $ ssh deploy@192.0.2.12
Note over n_dev,n_ci: CI: каждый коммит собирается и тестируется один раз
n_dev->>n_ci: commit 3f9a1c2 by u_42: checkout, new card form
Note over n_lb,n_green: Rolling-деплой: по одному серверу
n_lb->>n_green: GET /healthz HTTP/1.1
n_green-->>n_lb: HTTP/1.1 200 OK
Note over n_lb,n_green: Health check проходит, checkout падает
n_lb->>n_green: POST /checkout HTTP/1.1
n_green-->>n_lb: HTTP/1.1 500 Internal Server Error
Note over n_ci,n_lb: Blue-green: старая версия остаётся тёплой
n_ci->>n_lb: PUT /admin/routes/api HTTP/1.1
n_lb-->>n_ci: HTTP/1.1 200 OK
Note over n_ci,n_lb: Canary: сначала 5% пользователей
n_ci->>n_lb: GET /admin/stats?window=3m HTTP/1.1
n_lb-->>n_ci: HTTP/1.1 200 OK
Note over n_ci,n_lb: Откат по правилу, а не по человеку
n_ci->>n_lb: PUT /admin/routes/api/green HTTP/1.1
n_lb-->>n_ci: HTTP/1.1 200 OK
Note over n_green,n_flags: Feature flags: деплой — это ещё не релиз
n_green->>n_flags: GET /flags/new-checkout?user=u_42 HTTP/1.1
n_flags-->>n_green: HTTP/1.1 200 OK
Note over n_dev,n_ci: Четыре числа, за которыми следить
n_dev->>n_ci: delivery report, week 46D2
direction: right
n_dev: "Разработчик" {
shape: person
}
n_users: "Пользователи" {
shape: rectangle
}
n_lb: "Балансировщик" {
shape: diamond
}
n_ci: "CI/CD" {
shape: rectangle
style.multiple: true
}
n_registry: "Реестр артефактов" {
shape: stored_data
}
n_green: "Зелёные серверы" {
shape: rectangle
}
n_blue: "Синие серверы" {
shape: rectangle
}
n_flags: "Feature flags" {
shape: rectangle
}
n_users -> n_lb
n_dev -> n_ci
n_ci -> n_registry
n_ci -> n_green
n_lb -> n_green
n_lb -> n_blue
n_ci -> n_lb
n_green -> n_flagsPlantUML: последовательность запросов
@startuml
actor "Разработчик" as n_dev
participant "Синие серверы" as n_blue
participant "CI/CD" as n_ci
participant "Балансировщик" as n_lb
participant "Зелёные серверы" as n_green
participant "Feature flags" as n_flags
note over n_dev, n_blue : Деплой в пятницу, вручную, на шесть серверов
n_dev -> n_blue : $ ssh deploy@192.0.2.12
note over n_dev, n_ci : CI: каждый коммит собирается и тестируется один раз
n_dev -> n_ci : commit 3f9a1c2 by u_42: checkout, new card form
note over n_lb, n_green : Rolling-деплой: по одному серверу
n_lb -> n_green : GET /healthz HTTP/1.1
n_green --> n_lb : HTTP/1.1 200 OK
note over n_lb, n_green : Health check проходит, checkout падает
n_lb -> n_green : POST /checkout HTTP/1.1
n_green --> n_lb : HTTP/1.1 500 Internal Server Error
note over n_ci, n_lb : Blue-green: старая версия остаётся тёплой
n_ci -> n_lb : PUT /admin/routes/api HTTP/1.1
n_lb --> n_ci : HTTP/1.1 200 OK
note over n_ci, n_lb : Canary: сначала 5% пользователей
n_ci -> n_lb : GET /admin/stats?window=3m HTTP/1.1
n_lb --> n_ci : HTTP/1.1 200 OK
note over n_ci, n_lb : Откат по правилу, а не по человеку
n_ci -> n_lb : PUT /admin/routes/api/green HTTP/1.1
n_lb --> n_ci : HTTP/1.1 200 OK
note over n_green, n_flags : Feature flags: деплой — это ещё не релиз
n_green -> n_flags : GET /flags/new-checkout?user=u_42 HTTP/1.1
n_flags --> n_green : HTTP/1.1 200 OK
note over n_dev, n_ci : Четыре числа, за которыми следить
n_dev -> n_ci : delivery report, week 46
@endumlPlantUML: компоненты
@startuml
left to right direction
actor "Разработчик" as n_dev
agent "Пользователи" as n_users
node "Балансировщик" as n_lb
collections "CI/CD" as n_ci
storage "Реестр артефактов" as n_registry
component "Зелёные серверы" as n_green
component "Синие серверы" as n_blue
component "Feature flags" as n_flags
n_users --> n_lb
n_dev --> n_ci
n_ci --> n_registry
n_ci --> n_green
n_lb --> n_green
n_lb --> n_blue
n_ci --> n_lb
n_green --> n_flags
@endumlИтог
Делайте каждый деплой мелким, автоматическим и легко отменяемым.
1) CI собирает и тестирует каждый коммит один раз и публикует один неизменяемый артефакт. 2) Rolling не требует лишних серверов, но откатывается медленно. 3) Blue-green откатывается за секунду ценой двойной мощности. 4) Canary ограничивает плохой релиз несколькими процентами, а правило откатывает его само. 5) Feature flags включают и выключают код без деплоя. 6) Следите за деплоями в день, lead time, долей неудачных деплоев и временем восстановления.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Деплои | 0,1/день | 12/день |
| Неудачные деплои | 30% | 4% |
| Время восстановления | 5 400 с | 90 с |
| Доля ошибок | 40% | 0,3% |
Шаги
- Проблема Деплой в пятницу, вручную, на шесть серверов
Раз в неделю разработчик по SSH копирует zip на каждый из шести серверов и перезапускает приложение.
- Решение CI: каждый коммит собирается и тестируется один раз
Теперь каждый push запускает пайплайн: сборка, тесты, упаковка результата в образ с тегом коммита и публикация в реестр.
- Решение Rolling-деплой: по одному серверу
CI заменяет серверы по одному.
- Проблема Health check проходит, checkout падает
Раскатка закончилась: на всех шести серверах новая версия.
- Решение Blue-green: старая версия остаётся тёплой
Теперь есть два полных набора серверов.
- Решение Canary: сначала 5% пользователей
Следующий релиз ставится на green, но балансировщик отправляет туда только 5% запросов.
- Решение Откат по правилу, а не по человеку
Правило записано в пайплайне: если уровень ошибок канарейки три минуты подряд больше чем вдвое выше стабильного, обнулить её вес и пометить релиз плохим.
- Решение Feature flags: деплой — это ещё не релиз
Новый checkout теперь выезжает выключенным за флагом.
- Кейс Четыре числа, за которыми следить
Теперь команда следит за четырьмя числами.
- Итоги Итоги
Делайте каждый деплой мелким, автоматическим и легко отменяемым.
Термины
- CI/CD
- CI собирает и тестирует каждый коммит один раз и выпускает один неизменяемый артефакт; деплоится только зелёная сборка. Деплой становится маленьким, автоматическим и легко откатываемым.
- Blue-green деплой
- Два полных набора серверов: новая версия ставится на свободный, и балансировщик переключает трафик одним шагом. Откат занимает меньше секунды, цена — вдвое больше серверов.
- Canary-деплой
- Новая версия сначала получает малую долю трафика, например 5%, и её уровень ошибок сравнивают со старой. Плохой релиз задевает немногих, и правило откатывает его само.
- Feature flag
- Код уходит в прод выключенным и через флаг включается сначала для сотрудников, затем для части пользователей. При проблеме флаг гасят за секунду: деплой — это ещё не релиз.