Шпаргалка · Надёжность
Наблюдаемость
Проблема
Оформление заказа занимает 2,4 секунды, а каждый сервис говорит, что у него всё хорошо. Как логи, сквозной request id, метрики RED и USE, алерт на p95 и распределённый трейс находят медленное место.
Чему вы научитесь
- На какие вопросы отвечают логи, метрики и трейсы — и на какие нет
- Почему один request id или trace id должен пройти через все сервисы
- RED для сервисов, USE для ресурсов и алерт на p95
- Как найти медленный span в трейсе и как сэмплирование снижает стоимость
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_client(["Приложение клиента"])
n_api["API"]
n_orders["Сервис заказов"]
n_stock["Сервис остатков"]
n_db[("База заказов")]
n_logs[("Хранилище логов")]
n_tsdb[("База метрик")]
n_oncall(("Дежурный инженер"))
n_tracer[("Хранилище трейсов")]
n_client --> n_api
n_api --> n_orders
n_orders --> n_stock
n_orders --> n_db
n_api --> n_logs
n_orders --> n_logs
n_api --> n_tsdb
n_orders --> n_tsdb
n_db --> n_tsdb
n_tsdb -.-> n_oncall
n_api --> n_tracer
n_orders --> n_tracerMermaid: последовательность запросов
sequenceDiagram
participant n_client as Приложение клиента
participant n_api as API
participant n_orders as Сервис заказов
participant n_logs as Хранилище логов
participant n_tsdb as База метрик
participant n_db as База заказов
actor n_oncall as Дежурный инженер
participant n_tracer as Хранилище трейсов
participant n_stock as Сервис остатков
Note over n_client,n_api: Медленно, но ничего не сломано
n_client->>n_api: POST /v1/orders HTTP/1.1
n_api-->>n_client: HTTP/1.1 201 Created
Note over n_orders,n_logs: Структурные логи в одном месте
n_orders->>n_logs: orders stdout → log shipper
Note over n_api,n_orders: Один id на весь запрос
n_api->>n_orders: POST /internal/orders HTTP/1.1
n_orders-->>n_api: log line in orders
Note over n_orders,n_tsdb: Метрики RED: rate, errors, duration
n_orders->>n_tsdb: GET /metrics HTTP/1.1
n_tsdb-->>n_orders: HTTP/1.1 200 OK
Note over n_db,n_tsdb: Метрики USE: виновата ли база?
n_db->>n_tsdb: GET /metrics HTTP/1.1
n_tsdb-->>n_db: HTTP/1.1 200 OK
Note over n_tsdb,n_oncall: Алерт на p95, а не на среднее
n_tsdb->>n_oncall: ALERT OrdersSlowP95 firing
Note over n_api,n_orders: Трейсы: время на каждом шаге
n_api->>n_orders: POST /internal/orders HTTP/1.1
Note over n_orders,n_tracer: Ищем медленный span
n_orders->>n_tracer: trace 4bf92f35 POST /v1/orders 2310ms
Note over n_orders,n_stock: Один вызов на всю корзину
n_orders->>n_stock: GET /v1/stock?skus=sku_19,sku_20,...,sku_30 HTTP/1.1
n_stock-->>n_orders: HTTP/1.1 200 OK
Note over n_api,n_tracer: Трейсы дорогие: сэмплируем
n_api->>n_tracer: sampler: keep 10% of traces, all errors, all over 1sD2
direction: right
n_client: "Приложение клиента" {
shape: rectangle
}
n_api: "API" {
shape: rectangle
}
n_orders: "Сервис заказов" {
shape: rectangle
}
n_stock: "Сервис остатков" {
shape: rectangle
}
n_db: "База заказов" {
shape: cylinder
}
n_logs: "Хранилище логов" {
shape: stored_data
}
n_tsdb: "База метрик" {
shape: cylinder
}
n_oncall: "Дежурный инженер" {
shape: person
}
n_tracer: "Хранилище трейсов" {
shape: stored_data
}
n_client -> n_api
n_api -> n_orders
n_orders -> n_stock
n_orders -> n_db
n_api -> n_logs
n_orders -> n_logs
n_api -> n_tsdb
n_orders -> n_tsdb
n_db -> n_tsdb
n_tsdb -> n_oncall {
style.stroke-dash: 3
}
n_api -> n_tracer
n_orders -> n_tracerPlantUML: последовательность запросов
@startuml
participant "Приложение клиента" as n_client
participant "API" as n_api
participant "Сервис заказов" as n_orders
database "Хранилище логов" as n_logs
database "База метрик" as n_tsdb
database "База заказов" as n_db
actor "Дежурный инженер" as n_oncall
database "Хранилище трейсов" as n_tracer
participant "Сервис остатков" as n_stock
note over n_client, n_api : Медленно, но ничего не сломано
n_client -> n_api : POST /v1/orders HTTP/1.1
n_api --> n_client : HTTP/1.1 201 Created
note over n_orders, n_logs : Структурные логи в одном месте
n_orders -> n_logs : orders stdout → log shipper
note over n_api, n_orders : Один id на весь запрос
n_api -> n_orders : POST /internal/orders HTTP/1.1
n_orders --> n_api : log line in orders
note over n_orders, n_tsdb : Метрики RED: rate, errors, duration
n_orders -> n_tsdb : GET /metrics HTTP/1.1
n_tsdb --> n_orders : HTTP/1.1 200 OK
note over n_db, n_tsdb : Метрики USE: виновата ли база?
n_db -> n_tsdb : GET /metrics HTTP/1.1
n_tsdb --> n_db : HTTP/1.1 200 OK
note over n_tsdb, n_oncall : Алерт на p95, а не на среднее
n_tsdb -> n_oncall : ALERT OrdersSlowP95 firing
note over n_api, n_orders : Трейсы: время на каждом шаге
n_api -> n_orders : POST /internal/orders HTTP/1.1
note over n_orders, n_tracer : Ищем медленный span
n_orders -> n_tracer : trace 4bf92f35 POST /v1/orders 2310ms
note over n_orders, n_stock : Один вызов на всю корзину
n_orders -> n_stock : GET /v1/stock?skus=sku_19,sku_20,...,sku_30 HTTP/1.1
n_stock --> n_orders : HTTP/1.1 200 OK
note over n_api, n_tracer : Трейсы дорогие: сэмплируем
n_api -> n_tracer : sampler: keep 10% of traces, all errors, all over 1s
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение клиента" as n_client
component "API" as n_api
component "Сервис заказов" as n_orders
component "Сервис остатков" as n_stock
database "База заказов" as n_db
storage "Хранилище логов" as n_logs
database "База метрик" as n_tsdb
actor "Дежурный инженер" as n_oncall
storage "Хранилище трейсов" as n_tracer
n_client --> n_api
n_api --> n_orders
n_orders --> n_stock
n_orders --> n_db
n_api --> n_logs
n_orders --> n_logs
n_api --> n_tsdb
n_orders --> n_tsdb
n_db --> n_tsdb
n_tsdb ..> n_oncall
n_api --> n_tracer
n_orders --> n_tracer
@endumlИтог
Логи говорят, что случилось, метрики — сколько и как часто, трейсы — куда ушло время.
1) Пишите структурный JSON в одно место. 2) Создавайте один request id или trace id на входе и передавайте его везде. 3) RED для сервисов, USE для ресурсов. 4) Алерт на p95 и ошибки за несколько минут, а не на среднее. 5) Ищите медленный span в трейсах и сэмплируйте их, чтобы держать стоимость.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Оформление p95 | 2 400 мс | 420 мс |
| Поиск причины | 5 400 с | 120 с |
| Телеметрия в день | 0,4 ГБ | 2,5 ГБ |
Шаги
- Проблема Медленно, но ничего не сломано
Клиенты жалуются, что заказ «висит».
- Решение Структурные логи в одном месте
Каждый сервис теперь пишет в stdout один JSON-объект на событие.
- Решение Один id на весь запрос
API создаёт request id, когда приходит запрос, и передаёт его дальше в заголовке.
- Решение Метрики RED: rate, errors, duration
Логи описывают отдельные события.
- Кейс Метрики USE: виновата ли база?
Для ресурсов — базы, диска, пула — смотрят USE: Utilisation, Saturation, Errors.
- Решение Алерт на p95, а не на среднее
До сих пор первыми замечали клиенты.
- Решение Трейсы: время на каждом шаге
Request id превращается в трейс.
- Кейс Ищем медленный span
Открываем один медленный трейс.
- Решение Один вызов на всю корзину
Теперь orders спрашивает остатки один раз для всех товаров корзины.
- Кейс Трейсы дорогие: сэмплируем
Трейс каждого запроса — это 12 ГБ в день, в основном быстрые и скучные запросы.
- Итоги Итоги
Логи говорят, что случилось, метрики — сколько и как часто, трейсы — куда ушло время.
Термины
- Observability (логи, метрики, трейсы)
- Логи говорят, что произошло, метрики — сколько и как часто, трейсы — куда ушло время. Для сервисов метрики RED, для ресурсов USE, а алерт ставят на p95, а не на среднее.
- Трейс и span
- Каждый сервис пишет span для запроса: что делал, когда начал и сколько длилось. Span'ы по общему trace id собираются в одно дерево, и медленный шаг становится виден.