mufassall

Шпаргалка · Надёжность

SLO и бюджет ошибок

14 мин · Средний · mufassall.dtwin.uz/ru/l/slo-error-budget/

← Открыть урок

Проблема

API бронирования в приложении такси обслуживает около 100 запросов в секунду. Health check показывает 100%, а пассажиры видят ошибки. Как измерять надёжность так, как её чувствуют пользователи, договориться о цели, превратить разницу в бюджет ошибок и будить людей только тогда, когда бюджет действительно горит.

Чему вы научитесь

  • SLI, SLO и SLA: что измеряется, какая цель и что обещано
  • Расчёт бюджета ошибок: 99,9% за 30 дней — это около 43 минут или 259 200 неудачных запросов
  • Скорость сгорания (burn rate) и алерты по двум окнам: быстро будят и молчат на всплесках
  • Заморозка релизов, когда бюджет потрачен, и SLO по задержке через перцентили
Итоговая сцена
40%55%10%45%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_riders(["Пассажиры"])
  n_lb{"Балансировщик"}
  n_api["API бронирования"]
  n_db[("БД поездок")]
  n_monitor["Мониторинг"]
  n_pipeline("Пайплайн релизов")
  n_pager(("Дежурный"))
  n_riders --> n_lb
  n_lb --> n_api
  n_api --> n_db
  n_lb --> n_monitor
  n_pipeline --> n_api
  n_monitor --> n_pager
  n_pipeline --> n_monitor

Mermaid: последовательность запросов

sequenceDiagram
  participant n_monitor as Мониторинг
  participant n_api as API бронирования
  participant n_lb as Балансировщик
  participant n_riders as Пассажиры
  participant n_pipeline as Пайплайн релизов
  actor n_pager as Дежурный
  Note over n_monitor,n_api: Health check зелёный, пассажиры видят ошибки
  n_monitor->>n_api: GET /healthz HTTP/1.1
  n_api-->>n_monitor: HTTP/1.1 200 OK
  Note over n_lb,n_monitor: SLI: считать хорошие запросы там, где вас встречает пользователь
  n_lb->>n_monitor: lb access log, POST /rides, 10:00-10:01
  Note over n_lb,n_monitor: SLO: цель и бюджет, который она оставляет
  n_lb->>n_monitor: slo ride-booking
  Note over n_riders,n_lb: SLA: обещание, к которому привязаны деньги
  n_riders->>n_lb: SLA, corporate rides contract
  Note over n_pipeline,n_api: Релиз сжигает бюджет в пятьдесят раз быстрее
  n_pipeline->>n_api: deploy ride-api v412 to 100%
  n_api-->>n_pipeline: error rate 5.0%, the SLO allows 0.1%
  Note over n_monitor,n_pager: Два наивных алерта: слишком шумный и слишком поздний
  n_monitor->>n_pager: rule A: error_rate_5m #62; 0.1% -#62; page
  Note over n_monitor,n_pager: Алерты по скорости сгорания с двумя окнами
  n_monitor->>n_pager: ALERT BudgetBurnFast (page)
  n_pager-->>n_monitor: v412 replay: paged at +17 min, rolled back at +25 min, 3% of budget spent
  Note over n_pipeline,n_monitor: Бюджет потрачен: релизы стоят
  n_pipeline->>n_monitor: GET /slo/ride-booking/budget HTTP/1.1
  n_monitor-->>n_pipeline: HTTP/1.1 200 OK
  Note over n_lb,n_monitor: SLO по задержке — это перцентиль, а не среднее
  n_lb->>n_monitor: histogram ride_request_duration, last 30 days

D2

direction: right

n_riders: "Пассажиры" {
  shape: rectangle
}
n_lb: "Балансировщик" {
  shape: diamond
}
n_api: "API бронирования" {
  shape: rectangle
}
n_db: "БД поездок" {
  shape: cylinder
}
n_monitor: "Мониторинг" {
  shape: rectangle
}
n_pipeline: "Пайплайн релизов" {
  shape: rectangle
  style.multiple: true
}
n_pager: "Дежурный" {
  shape: person
}

n_riders -> n_lb
n_lb -> n_api
n_api -> n_db
n_lb -> n_monitor
n_pipeline -> n_api
n_monitor -> n_pager
n_pipeline -> n_monitor

PlantUML: последовательность запросов

@startuml
participant "Мониторинг" as n_monitor
participant "API бронирования" as n_api
participant "Балансировщик" as n_lb
participant "Пассажиры" as n_riders
participant "Пайплайн релизов" as n_pipeline
actor "Дежурный" as n_pager
note over n_monitor, n_api : Health check зелёный, пассажиры видят ошибки
n_monitor -> n_api : GET /healthz HTTP/1.1
n_api --> n_monitor : HTTP/1.1 200 OK
note over n_lb, n_monitor : SLI: считать хорошие запросы там, где вас встречает пользователь
n_lb -> n_monitor : lb access log, POST /rides, 10:00-10:01
note over n_lb, n_monitor : SLO: цель и бюджет, который она оставляет
n_lb -> n_monitor : slo ride-booking
note over n_riders, n_lb : SLA: обещание, к которому привязаны деньги
n_riders -> n_lb : SLA, corporate rides contract
note over n_pipeline, n_api : Релиз сжигает бюджет в пятьдесят раз быстрее
n_pipeline -> n_api : deploy ride-api v412 to 100%
n_api --> n_pipeline : error rate 5.0%, the SLO allows 0.1%
note over n_monitor, n_pager : Два наивных алерта: слишком шумный и слишком поздний
n_monitor -> n_pager : rule A: error_rate_5m > 0.1% -> page
note over n_monitor, n_pager : Алерты по скорости сгорания с двумя окнами
n_monitor -> n_pager : ALERT BudgetBurnFast (page)
n_pager --> n_monitor : v412 replay: paged at +17 min, rolled back at +25 min, 3% of budget spent
note over n_pipeline, n_monitor : Бюджет потрачен: релизы стоят
n_pipeline -> n_monitor : GET /slo/ride-booking/budget HTTP/1.1
n_monitor --> n_pipeline : HTTP/1.1 200 OK
note over n_lb, n_monitor : SLO по задержке — это перцентиль, а не среднее
n_lb -> n_monitor : histogram ride_request_duration, last 30 days
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Пассажиры" as n_riders
node "Балансировщик" as n_lb
component "API бронирования" as n_api
database "БД поездок" as n_db
component "Мониторинг" as n_monitor
collections "Пайплайн релизов" as n_pipeline
actor "Дежурный" as n_pager
n_riders --> n_lb
n_lb --> n_api
n_api --> n_db
n_lb --> n_monitor
n_pipeline --> n_api
n_monitor --> n_pager
n_pipeline --> n_monitor
@enduml

Итог

Шесть правил для SLO.

1) Измеряйте SLI там, где вас встречает пользователь: хорошие запросы к валидным, на балансировщике. 2) Выберите SLO ниже 100%; остаток — бюджет ошибок (99,9% за 30 дней — около 43 минут). 3) Держите SLA мягче SLO. 4) Алертите по скорости сгорания с длинным и коротким окном: пейдж на быстрое сгорание, тикет на медленное. 5) Заранее договоритесь, что потраченный бюджет замораживает релизы фич. 6) SLO по задержке пишите через перцентили, никогда через среднее.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Хорошие запросы98,5%100,0%
Остаток бюджета80%−12%
Скорость сгорания0,5 x0,5 x
p99 бронирования450 мс900 мс

Шаги

  1. Проблема Health check зелёный, пассажиры видят ошибки

    Мониторинг каждые 10 секунд вызывает /healthz у API бронирования.

  2. Решение SLI: считать хорошие запросы там, где вас встречает пользователь

    Команда берёт число из лога балансировщика: каждый настоящий запрос на бронирование и был ли он хорошим.

  3. Решение SLO: цель и бюджет, который она оставляет

    Команда договаривается об SLO: 99,9% запросов на бронирование хорошие за скользящие 30 дней.

  4. Кейс SLA: обещание, к которому привязаны деньги

    Корпоративные клиенты получают SLA, договор: 99,5% в месяц, иначе компания такси возвращает часть счёта.

  5. Проблема Релиз сжигает бюджет в пятьдесят раз быстрее

    Релиз v412 добавляет кэш тарифов.

  6. Проблема Два наивных алерта: слишком шумный и слишком поздний

    Правило A будит, когда доля ошибок выше 0,1% пять минут.

  7. Решение Алерты по скорости сгорания с двумя окнами

    Теперь пейдж срабатывает, когда скорость сгорания выше 14,4 и за последний час, и за последние 5 минут.

  8. Решение Бюджет потрачен: релизы стоят

    Позже в этом месяце миграция базы и сбой провайдера перерасходуют бюджет: на 12% сверх.

  9. Кейс SLO по задержке — это перцентиль, а не среднее

    Успех — это не только «без ошибки».

  10. Итоги Итог

    Шесть правил для SLO.

Термины

SLI (индикатор уровня сервиса)
Измерение того, что чувствует пользователь: доля хороших запросов или доля уложившихся в заданное время. Например, «процент ответов без ошибки и быстрее 300 мс».
SLO (цель уровня сервиса)
Внутренняя цель для SLI и окно: «за 28 дней 99,9% запросов хорошие». 100% не ставят: каждая следующая девятка резко дороже, а пользователь разницы не заметит.
SLA (соглашение об уровне сервиса)
Обещание в договоре с клиентом: при нарушении возвращают деньги или дают скидку. Его ставят мягче внутреннего SLO, чтобы команда узнала о проблеме раньше, чем нарушится договор.
Бюджет ошибок (error budget)
Доля плохих запросов, которую разрешает SLO: при 99,9% это 0,1%, то есть около 43 минут полного простоя за 30 дней. Пока бюджет есть, выпускают релизы; кончился — релизы замораживают и чинят надёжность.
Скорость сжигания (burn rate)
Во сколько раз быстрее нормы тратится бюджет ошибок: 1 — ровно кончится к концу окна, 14,4 — за час уходит 2% бюджета на 30 дней. Алерт проверяет два окна сразу, длинное и короткое.