mufassall

Шпаргалка · Надёжность

Наблюдаемость

13 мин · Средний · mufassall.dtwin.uz/ru/l/observability/

← Открыть урок

Проблема

Оформление заказа занимает 2,4 секунды, а каждый сервис говорит, что у него всё хорошо. Как логи, сквозной request id, метрики RED и USE, алерт на p95 и распределённый трейс находят медленное место.

Чему вы научитесь

  • На какие вопросы отвечают логи, метрики и трейсы — и на какие нет
  • Почему один request id или trace id должен пройти через все сервисы
  • RED для сервисов, USE для ресурсов и алерт на p95
  • Как найти медленный span в трейсе и как сэмплирование снижает стоимость
Итоговая сцена
35%30%41%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_client(["Приложение клиента"])
  n_api["API"]
  n_orders["Сервис заказов"]
  n_stock["Сервис остатков"]
  n_db[("База заказов")]
  n_logs[("Хранилище логов")]
  n_tsdb[("База метрик")]
  n_oncall(("Дежурный инженер"))
  n_tracer[("Хранилище трейсов")]
  n_client --> n_api
  n_api --> n_orders
  n_orders --> n_stock
  n_orders --> n_db
  n_api --> n_logs
  n_orders --> n_logs
  n_api --> n_tsdb
  n_orders --> n_tsdb
  n_db --> n_tsdb
  n_tsdb -.-> n_oncall
  n_api --> n_tracer
  n_orders --> n_tracer

Mermaid: последовательность запросов

sequenceDiagram
  participant n_client as Приложение клиента
  participant n_api as API
  participant n_orders as Сервис заказов
  participant n_logs as Хранилище логов
  participant n_tsdb as База метрик
  participant n_db as База заказов
  actor n_oncall as Дежурный инженер
  participant n_tracer as Хранилище трейсов
  participant n_stock as Сервис остатков
  Note over n_client,n_api: Медленно, но ничего не сломано
  n_client->>n_api: POST /v1/orders HTTP/1.1
  n_api-->>n_client: HTTP/1.1 201 Created
  Note over n_orders,n_logs: Структурные логи в одном месте
  n_orders->>n_logs: orders stdout → log shipper
  Note over n_api,n_orders: Один id на весь запрос
  n_api->>n_orders: POST /internal/orders HTTP/1.1
  n_orders-->>n_api: log line in orders
  Note over n_orders,n_tsdb: Метрики RED: rate, errors, duration
  n_orders->>n_tsdb: GET /metrics HTTP/1.1
  n_tsdb-->>n_orders: HTTP/1.1 200 OK
  Note over n_db,n_tsdb: Метрики USE: виновата ли база?
  n_db->>n_tsdb: GET /metrics HTTP/1.1
  n_tsdb-->>n_db: HTTP/1.1 200 OK
  Note over n_tsdb,n_oncall: Алерт на p95, а не на среднее
  n_tsdb->>n_oncall: ALERT OrdersSlowP95 firing
  Note over n_api,n_orders: Трейсы: время на каждом шаге
  n_api->>n_orders: POST /internal/orders HTTP/1.1
  Note over n_orders,n_tracer: Ищем медленный span
  n_orders->>n_tracer: trace 4bf92f35 POST /v1/orders 2310ms
  Note over n_orders,n_stock: Один вызов на всю корзину
  n_orders->>n_stock: GET /v1/stock?skus=sku_19,sku_20,...,sku_30 HTTP/1.1
  n_stock-->>n_orders: HTTP/1.1 200 OK
  Note over n_api,n_tracer: Трейсы дорогие: сэмплируем
  n_api->>n_tracer: sampler: keep 10% of traces, all errors, all over 1s

D2

direction: right

n_client: "Приложение клиента" {
  shape: rectangle
}
n_api: "API" {
  shape: rectangle
}
n_orders: "Сервис заказов" {
  shape: rectangle
}
n_stock: "Сервис остатков" {
  shape: rectangle
}
n_db: "База заказов" {
  shape: cylinder
}
n_logs: "Хранилище логов" {
  shape: stored_data
}
n_tsdb: "База метрик" {
  shape: cylinder
}
n_oncall: "Дежурный инженер" {
  shape: person
}
n_tracer: "Хранилище трейсов" {
  shape: stored_data
}

n_client -> n_api
n_api -> n_orders
n_orders -> n_stock
n_orders -> n_db
n_api -> n_logs
n_orders -> n_logs
n_api -> n_tsdb
n_orders -> n_tsdb
n_db -> n_tsdb
n_tsdb -> n_oncall {
  style.stroke-dash: 3
}
n_api -> n_tracer
n_orders -> n_tracer

PlantUML: последовательность запросов

@startuml
participant "Приложение клиента" as n_client
participant "API" as n_api
participant "Сервис заказов" as n_orders
database "Хранилище логов" as n_logs
database "База метрик" as n_tsdb
database "База заказов" as n_db
actor "Дежурный инженер" as n_oncall
database "Хранилище трейсов" as n_tracer
participant "Сервис остатков" as n_stock
note over n_client, n_api : Медленно, но ничего не сломано
n_client -> n_api : POST /v1/orders HTTP/1.1
n_api --> n_client : HTTP/1.1 201 Created
note over n_orders, n_logs : Структурные логи в одном месте
n_orders -> n_logs : orders stdout → log shipper
note over n_api, n_orders : Один id на весь запрос
n_api -> n_orders : POST /internal/orders HTTP/1.1
n_orders --> n_api : log line in orders
note over n_orders, n_tsdb : Метрики RED: rate, errors, duration
n_orders -> n_tsdb : GET /metrics HTTP/1.1
n_tsdb --> n_orders : HTTP/1.1 200 OK
note over n_db, n_tsdb : Метрики USE: виновата ли база?
n_db -> n_tsdb : GET /metrics HTTP/1.1
n_tsdb --> n_db : HTTP/1.1 200 OK
note over n_tsdb, n_oncall : Алерт на p95, а не на среднее
n_tsdb -> n_oncall : ALERT OrdersSlowP95 firing
note over n_api, n_orders : Трейсы: время на каждом шаге
n_api -> n_orders : POST /internal/orders HTTP/1.1
note over n_orders, n_tracer : Ищем медленный span
n_orders -> n_tracer : trace 4bf92f35 POST /v1/orders 2310ms
note over n_orders, n_stock : Один вызов на всю корзину
n_orders -> n_stock : GET /v1/stock?skus=sku_19,sku_20,...,sku_30 HTTP/1.1
n_stock --> n_orders : HTTP/1.1 200 OK
note over n_api, n_tracer : Трейсы дорогие: сэмплируем
n_api -> n_tracer : sampler: keep 10% of traces, all errors, all over 1s
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение клиента" as n_client
component "API" as n_api
component "Сервис заказов" as n_orders
component "Сервис остатков" as n_stock
database "База заказов" as n_db
storage "Хранилище логов" as n_logs
database "База метрик" as n_tsdb
actor "Дежурный инженер" as n_oncall
storage "Хранилище трейсов" as n_tracer
n_client --> n_api
n_api --> n_orders
n_orders --> n_stock
n_orders --> n_db
n_api --> n_logs
n_orders --> n_logs
n_api --> n_tsdb
n_orders --> n_tsdb
n_db --> n_tsdb
n_tsdb ..> n_oncall
n_api --> n_tracer
n_orders --> n_tracer
@enduml

Итог

Логи говорят, что случилось, метрики — сколько и как часто, трейсы — куда ушло время.

1) Пишите структурный JSON в одно место. 2) Создавайте один request id или trace id на входе и передавайте его везде. 3) RED для сервисов, USE для ресурсов. 4) Алерт на p95 и ошибки за несколько минут, а не на среднее. 5) Ищите медленный span в трейсах и сэмплируйте их, чтобы держать стоимость.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Оформление p952 400 мс420 мс
Поиск причины5 400 с120 с
Телеметрия в день0,4 ГБ2,5 ГБ

Шаги

  1. Проблема Медленно, но ничего не сломано

    Клиенты жалуются, что заказ «висит».

  2. Решение Структурные логи в одном месте

    Каждый сервис теперь пишет в stdout один JSON-объект на событие.

  3. Решение Один id на весь запрос

    API создаёт request id, когда приходит запрос, и передаёт его дальше в заголовке.

  4. Решение Метрики RED: rate, errors, duration

    Логи описывают отдельные события.

  5. Кейс Метрики USE: виновата ли база?

    Для ресурсов — базы, диска, пула — смотрят USE: Utilisation, Saturation, Errors.

  6. Решение Алерт на p95, а не на среднее

    До сих пор первыми замечали клиенты.

  7. Решение Трейсы: время на каждом шаге

    Request id превращается в трейс.

  8. Кейс Ищем медленный span

    Открываем один медленный трейс.

  9. Решение Один вызов на всю корзину

    Теперь orders спрашивает остатки один раз для всех товаров корзины.

  10. Кейс Трейсы дорогие: сэмплируем

    Трейс каждого запроса — это 12 ГБ в день, в основном быстрые и скучные запросы.

  11. Итоги Итоги

    Логи говорят, что случилось, метрики — сколько и как часто, трейсы — куда ушло время.

Термины

Observability (логи, метрики, трейсы)
Логи говорят, что произошло, метрики — сколько и как часто, трейсы — куда ушло время. Для сервисов метрики RED, для ресурсов USE, а алерт ставят на p95, а не на среднее.
Трейс и span
Каждый сервис пишет span для запроса: что делал, когда начал и сколько длилось. Span'ы по общему trace id собираются в одно дерево, и медленный шаг становится виден.