mufassall

Шпаргалка · Поставка

CI/CD: от коммита до продакшена

14 мин · Средний · mufassall.dtwin.uz/ru/l/cicd/

← Открыть урок

Проблема

Команда деплоит раз в неделю, вручную, и каждый третий деплой что-нибудь ломает. Шаг за шагом путь от коммита до продакшена становится автоматическим, мелким и обратимым, и в итоге команда деплоит десяток раз в день.

Чему вы научитесь

  • CI собирает и тестирует каждый коммит один раз и выпускает один неизменяемый артефакт
  • Rolling, blue-green и canary: чего стоит каждый и как быстро откатывается
  • Автоматический откат по уровню ошибок и feature flags, которые отделяют деплой от релиза
  • Четыре метрики поставки: деплои в день, lead time, доля неудачных деплоев, время восстановления
Итоговая сцена
45%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_dev(("Разработчик"))
  n_users(["Пользователи"])
  n_lb{"Балансировщик"}
  n_ci("CI/CD")
  n_registry[("Реестр артефактов")]
  n_green["Зелёные серверы"]
  n_blue["Синие серверы"]
  n_flags["Feature flags"]
  n_users --> n_lb
  n_dev --> n_ci
  n_ci --> n_registry
  n_ci --> n_green
  n_lb --> n_green
  n_lb --> n_blue
  n_ci --> n_lb
  n_green --> n_flags

Mermaid: последовательность запросов

sequenceDiagram
  actor n_dev as Разработчик
  participant n_blue as Синие серверы
  participant n_ci as CI/CD
  participant n_lb as Балансировщик
  participant n_green as Зелёные серверы
  participant n_flags as Feature flags
  Note over n_dev,n_blue: Деплой в пятницу, вручную, на шесть серверов
  n_dev->>n_blue: $ ssh deploy@192.0.2.12
  Note over n_dev,n_ci: CI: каждый коммит собирается и тестируется один раз
  n_dev->>n_ci: commit 3f9a1c2 by u_42: checkout, new card form
  Note over n_lb,n_green: Rolling-деплой: по одному серверу
  n_lb->>n_green: GET /healthz HTTP/1.1
  n_green-->>n_lb: HTTP/1.1 200 OK
  Note over n_lb,n_green: Health check проходит, checkout падает
  n_lb->>n_green: POST /checkout HTTP/1.1
  n_green-->>n_lb: HTTP/1.1 500 Internal Server Error
  Note over n_ci,n_lb: Blue-green: старая версия остаётся тёплой
  n_ci->>n_lb: PUT /admin/routes/api HTTP/1.1
  n_lb-->>n_ci: HTTP/1.1 200 OK
  Note over n_ci,n_lb: Canary: сначала 5% пользователей
  n_ci->>n_lb: GET /admin/stats?window=3m HTTP/1.1
  n_lb-->>n_ci: HTTP/1.1 200 OK
  Note over n_ci,n_lb: Откат по правилу, а не по человеку
  n_ci->>n_lb: PUT /admin/routes/api/green HTTP/1.1
  n_lb-->>n_ci: HTTP/1.1 200 OK
  Note over n_green,n_flags: Feature flags: деплой — это ещё не релиз
  n_green->>n_flags: GET /flags/new-checkout?user=u_42 HTTP/1.1
  n_flags-->>n_green: HTTP/1.1 200 OK
  Note over n_dev,n_ci: Четыре числа, за которыми следить
  n_dev->>n_ci: delivery report, week 46

D2

direction: right

n_dev: "Разработчик" {
  shape: person
}
n_users: "Пользователи" {
  shape: rectangle
}
n_lb: "Балансировщик" {
  shape: diamond
}
n_ci: "CI/CD" {
  shape: rectangle
  style.multiple: true
}
n_registry: "Реестр артефактов" {
  shape: stored_data
}
n_green: "Зелёные серверы" {
  shape: rectangle
}
n_blue: "Синие серверы" {
  shape: rectangle
}
n_flags: "Feature flags" {
  shape: rectangle
}

n_users -> n_lb
n_dev -> n_ci
n_ci -> n_registry
n_ci -> n_green
n_lb -> n_green
n_lb -> n_blue
n_ci -> n_lb
n_green -> n_flags

PlantUML: последовательность запросов

@startuml
actor "Разработчик" as n_dev
participant "Синие серверы" as n_blue
participant "CI/CD" as n_ci
participant "Балансировщик" as n_lb
participant "Зелёные серверы" as n_green
participant "Feature flags" as n_flags
note over n_dev, n_blue : Деплой в пятницу, вручную, на шесть серверов
n_dev -> n_blue : $ ssh deploy@192.0.2.12
note over n_dev, n_ci : CI: каждый коммит собирается и тестируется один раз
n_dev -> n_ci : commit 3f9a1c2 by u_42: checkout, new card form
note over n_lb, n_green : Rolling-деплой: по одному серверу
n_lb -> n_green : GET /healthz HTTP/1.1
n_green --> n_lb : HTTP/1.1 200 OK
note over n_lb, n_green : Health check проходит, checkout падает
n_lb -> n_green : POST /checkout HTTP/1.1
n_green --> n_lb : HTTP/1.1 500 Internal Server Error
note over n_ci, n_lb : Blue-green: старая версия остаётся тёплой
n_ci -> n_lb : PUT /admin/routes/api HTTP/1.1
n_lb --> n_ci : HTTP/1.1 200 OK
note over n_ci, n_lb : Canary: сначала 5% пользователей
n_ci -> n_lb : GET /admin/stats?window=3m HTTP/1.1
n_lb --> n_ci : HTTP/1.1 200 OK
note over n_ci, n_lb : Откат по правилу, а не по человеку
n_ci -> n_lb : PUT /admin/routes/api/green HTTP/1.1
n_lb --> n_ci : HTTP/1.1 200 OK
note over n_green, n_flags : Feature flags: деплой — это ещё не релиз
n_green -> n_flags : GET /flags/new-checkout?user=u_42 HTTP/1.1
n_flags --> n_green : HTTP/1.1 200 OK
note over n_dev, n_ci : Четыре числа, за которыми следить
n_dev -> n_ci : delivery report, week 46
@enduml

PlantUML: компоненты

@startuml
left to right direction
actor "Разработчик" as n_dev
agent "Пользователи" as n_users
node "Балансировщик" as n_lb
collections "CI/CD" as n_ci
storage "Реестр артефактов" as n_registry
component "Зелёные серверы" as n_green
component "Синие серверы" as n_blue
component "Feature flags" as n_flags
n_users --> n_lb
n_dev --> n_ci
n_ci --> n_registry
n_ci --> n_green
n_lb --> n_green
n_lb --> n_blue
n_ci --> n_lb
n_green --> n_flags
@enduml

Итог

Делайте каждый деплой мелким, автоматическим и легко отменяемым.

1) CI собирает и тестирует каждый коммит один раз и публикует один неизменяемый артефакт. 2) Rolling не требует лишних серверов, но откатывается медленно. 3) Blue-green откатывается за секунду ценой двойной мощности. 4) Canary ограничивает плохой релиз несколькими процентами, а правило откатывает его само. 5) Feature flags включают и выключают код без деплоя. 6) Следите за деплоями в день, lead time, долей неудачных деплоев и временем восстановления.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Деплои0,1/день12/день
Неудачные деплои30%4%
Время восстановления5 400 с90 с
Доля ошибок40%0,3%

Шаги

  1. Проблема Деплой в пятницу, вручную, на шесть серверов

    Раз в неделю разработчик по SSH копирует zip на каждый из шести серверов и перезапускает приложение.

  2. Решение CI: каждый коммит собирается и тестируется один раз

    Теперь каждый push запускает пайплайн: сборка, тесты, упаковка результата в образ с тегом коммита и публикация в реестр.

  3. Решение Rolling-деплой: по одному серверу

    CI заменяет серверы по одному.

  4. Проблема Health check проходит, checkout падает

    Раскатка закончилась: на всех шести серверах новая версия.

  5. Решение Blue-green: старая версия остаётся тёплой

    Теперь есть два полных набора серверов.

  6. Решение Canary: сначала 5% пользователей

    Следующий релиз ставится на green, но балансировщик отправляет туда только 5% запросов.

  7. Решение Откат по правилу, а не по человеку

    Правило записано в пайплайне: если уровень ошибок канарейки три минуты подряд больше чем вдвое выше стабильного, обнулить её вес и пометить релиз плохим.

  8. Решение Feature flags: деплой — это ещё не релиз

    Новый checkout теперь выезжает выключенным за флагом.

  9. Кейс Четыре числа, за которыми следить

    Теперь команда следит за четырьмя числами.

  10. Итоги Итоги

    Делайте каждый деплой мелким, автоматическим и легко отменяемым.

Термины

CI/CD
CI собирает и тестирует каждый коммит один раз и выпускает один неизменяемый артефакт; деплоится только зелёная сборка. Деплой становится маленьким, автоматическим и легко откатываемым.
Blue-green деплой
Два полных набора серверов: новая версия ставится на свободный, и балансировщик переключает трафик одним шагом. Откат занимает меньше секунды, цена — вдвое больше серверов.
Canary-деплой
Новая версия сначала получает малую долю трафика, например 5%, и её уровень ошибок сравнивают со старой. Плохой релиз задевает немногих, и правило откатывает его само.
Feature flag
Код уходит в прод выключенным и через флаг включается сначала для сотрудников, затем для части пользователей. При проблеме флаг гасят за секунду: деплой — это ещё не релиз.