Шпаргалка · Надёжность
SLO и бюджет ошибок
Проблема
API бронирования в приложении такси обслуживает около 100 запросов в секунду. Health check показывает 100%, а пассажиры видят ошибки. Как измерять надёжность так, как её чувствуют пользователи, договориться о цели, превратить разницу в бюджет ошибок и будить людей только тогда, когда бюджет действительно горит.
Чему вы научитесь
- SLI, SLO и SLA: что измеряется, какая цель и что обещано
- Расчёт бюджета ошибок: 99,9% за 30 дней — это около 43 минут или 259 200 неудачных запросов
- Скорость сгорания (burn rate) и алерты по двум окнам: быстро будят и молчат на всплесках
- Заморозка релизов, когда бюджет потрачен, и SLO по задержке через перцентили
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_riders(["Пассажиры"])
n_lb{"Балансировщик"}
n_api["API бронирования"]
n_db[("БД поездок")]
n_monitor["Мониторинг"]
n_pipeline("Пайплайн релизов")
n_pager(("Дежурный"))
n_riders --> n_lb
n_lb --> n_api
n_api --> n_db
n_lb --> n_monitor
n_pipeline --> n_api
n_monitor --> n_pager
n_pipeline --> n_monitorMermaid: последовательность запросов
sequenceDiagram
participant n_monitor as Мониторинг
participant n_api as API бронирования
participant n_lb as Балансировщик
participant n_riders as Пассажиры
participant n_pipeline as Пайплайн релизов
actor n_pager as Дежурный
Note over n_monitor,n_api: Health check зелёный, пассажиры видят ошибки
n_monitor->>n_api: GET /healthz HTTP/1.1
n_api-->>n_monitor: HTTP/1.1 200 OK
Note over n_lb,n_monitor: SLI: считать хорошие запросы там, где вас встречает пользователь
n_lb->>n_monitor: lb access log, POST /rides, 10:00-10:01
Note over n_lb,n_monitor: SLO: цель и бюджет, который она оставляет
n_lb->>n_monitor: slo ride-booking
Note over n_riders,n_lb: SLA: обещание, к которому привязаны деньги
n_riders->>n_lb: SLA, corporate rides contract
Note over n_pipeline,n_api: Релиз сжигает бюджет в пятьдесят раз быстрее
n_pipeline->>n_api: deploy ride-api v412 to 100%
n_api-->>n_pipeline: error rate 5.0%, the SLO allows 0.1%
Note over n_monitor,n_pager: Два наивных алерта: слишком шумный и слишком поздний
n_monitor->>n_pager: rule A: error_rate_5m #62; 0.1% -#62; page
Note over n_monitor,n_pager: Алерты по скорости сгорания с двумя окнами
n_monitor->>n_pager: ALERT BudgetBurnFast (page)
n_pager-->>n_monitor: v412 replay: paged at +17 min, rolled back at +25 min, 3% of budget spent
Note over n_pipeline,n_monitor: Бюджет потрачен: релизы стоят
n_pipeline->>n_monitor: GET /slo/ride-booking/budget HTTP/1.1
n_monitor-->>n_pipeline: HTTP/1.1 200 OK
Note over n_lb,n_monitor: SLO по задержке — это перцентиль, а не среднее
n_lb->>n_monitor: histogram ride_request_duration, last 30 daysD2
direction: right
n_riders: "Пассажиры" {
shape: rectangle
}
n_lb: "Балансировщик" {
shape: diamond
}
n_api: "API бронирования" {
shape: rectangle
}
n_db: "БД поездок" {
shape: cylinder
}
n_monitor: "Мониторинг" {
shape: rectangle
}
n_pipeline: "Пайплайн релизов" {
shape: rectangle
style.multiple: true
}
n_pager: "Дежурный" {
shape: person
}
n_riders -> n_lb
n_lb -> n_api
n_api -> n_db
n_lb -> n_monitor
n_pipeline -> n_api
n_monitor -> n_pager
n_pipeline -> n_monitorPlantUML: последовательность запросов
@startuml
participant "Мониторинг" as n_monitor
participant "API бронирования" as n_api
participant "Балансировщик" as n_lb
participant "Пассажиры" as n_riders
participant "Пайплайн релизов" as n_pipeline
actor "Дежурный" as n_pager
note over n_monitor, n_api : Health check зелёный, пассажиры видят ошибки
n_monitor -> n_api : GET /healthz HTTP/1.1
n_api --> n_monitor : HTTP/1.1 200 OK
note over n_lb, n_monitor : SLI: считать хорошие запросы там, где вас встречает пользователь
n_lb -> n_monitor : lb access log, POST /rides, 10:00-10:01
note over n_lb, n_monitor : SLO: цель и бюджет, который она оставляет
n_lb -> n_monitor : slo ride-booking
note over n_riders, n_lb : SLA: обещание, к которому привязаны деньги
n_riders -> n_lb : SLA, corporate rides contract
note over n_pipeline, n_api : Релиз сжигает бюджет в пятьдесят раз быстрее
n_pipeline -> n_api : deploy ride-api v412 to 100%
n_api --> n_pipeline : error rate 5.0%, the SLO allows 0.1%
note over n_monitor, n_pager : Два наивных алерта: слишком шумный и слишком поздний
n_monitor -> n_pager : rule A: error_rate_5m > 0.1% -> page
note over n_monitor, n_pager : Алерты по скорости сгорания с двумя окнами
n_monitor -> n_pager : ALERT BudgetBurnFast (page)
n_pager --> n_monitor : v412 replay: paged at +17 min, rolled back at +25 min, 3% of budget spent
note over n_pipeline, n_monitor : Бюджет потрачен: релизы стоят
n_pipeline -> n_monitor : GET /slo/ride-booking/budget HTTP/1.1
n_monitor --> n_pipeline : HTTP/1.1 200 OK
note over n_lb, n_monitor : SLO по задержке — это перцентиль, а не среднее
n_lb -> n_monitor : histogram ride_request_duration, last 30 days
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Пассажиры" as n_riders
node "Балансировщик" as n_lb
component "API бронирования" as n_api
database "БД поездок" as n_db
component "Мониторинг" as n_monitor
collections "Пайплайн релизов" as n_pipeline
actor "Дежурный" as n_pager
n_riders --> n_lb
n_lb --> n_api
n_api --> n_db
n_lb --> n_monitor
n_pipeline --> n_api
n_monitor --> n_pager
n_pipeline --> n_monitor
@endumlИтог
Шесть правил для SLO.
1) Измеряйте SLI там, где вас встречает пользователь: хорошие запросы к валидным, на балансировщике. 2) Выберите SLO ниже 100%; остаток — бюджет ошибок (99,9% за 30 дней — около 43 минут). 3) Держите SLA мягче SLO. 4) Алертите по скорости сгорания с длинным и коротким окном: пейдж на быстрое сгорание, тикет на медленное. 5) Заранее договоритесь, что потраченный бюджет замораживает релизы фич. 6) SLO по задержке пишите через перцентили, никогда через среднее.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Хорошие запросы | 98,5% | 100,0% |
| Остаток бюджета | 80% | −12% |
| Скорость сгорания | 0,5 x | 0,5 x |
| p99 бронирования | 450 мс | 900 мс |
Шаги
- Проблема Health check зелёный, пассажиры видят ошибки
Мониторинг каждые 10 секунд вызывает
/healthzу API бронирования. - Решение SLI: считать хорошие запросы там, где вас встречает пользователь
Команда берёт число из лога балансировщика: каждый настоящий запрос на бронирование и был ли он хорошим.
- Решение SLO: цель и бюджет, который она оставляет
Команда договаривается об SLO: 99,9% запросов на бронирование хорошие за скользящие 30 дней.
- Кейс SLA: обещание, к которому привязаны деньги
Корпоративные клиенты получают SLA, договор: 99,5% в месяц, иначе компания такси возвращает часть счёта.
- Проблема Релиз сжигает бюджет в пятьдесят раз быстрее
Релиз v412 добавляет кэш тарифов.
- Проблема Два наивных алерта: слишком шумный и слишком поздний
Правило A будит, когда доля ошибок выше 0,1% пять минут.
- Решение Алерты по скорости сгорания с двумя окнами
Теперь пейдж срабатывает, когда скорость сгорания выше 14,4 и за последний час, и за последние 5 минут.
- Решение Бюджет потрачен: релизы стоят
Позже в этом месяце миграция базы и сбой провайдера перерасходуют бюджет: на 12% сверх.
- Кейс SLO по задержке — это перцентиль, а не среднее
Успех — это не только «без ошибки».
- Итоги Итог
Шесть правил для SLO.
Термины
- SLI (индикатор уровня сервиса)
- Измерение того, что чувствует пользователь: доля хороших запросов или доля уложившихся в заданное время. Например, «процент ответов без ошибки и быстрее 300 мс».
- SLO (цель уровня сервиса)
- Внутренняя цель для SLI и окно: «за 28 дней 99,9% запросов хорошие». 100% не ставят: каждая следующая девятка резко дороже, а пользователь разницы не заметит.
- SLA (соглашение об уровне сервиса)
- Обещание в договоре с клиентом: при нарушении возвращают деньги или дают скидку. Его ставят мягче внутреннего SLO, чтобы команда узнала о проблеме раньше, чем нарушится договор.
- Бюджет ошибок (error budget)
- Доля плохих запросов, которую разрешает SLO: при 99,9% это 0,1%, то есть около 43 минут полного простоя за 30 дней. Пока бюджет есть, выпускают релизы; кончился — релизы замораживают и чинят надёжность.
- Скорость сжигания (burn rate)
- Во сколько раз быстрее нормы тратится бюджет ошибок: 1 — ровно кончится к концу окна, 14,4 — за час уходит 2% бюджета на 30 дней. Алерт проверяет два окна сразу, длинное и короткое.