mufassall

Шпаргалка · Масштабирование

Балансировка нагрузки

13 мин · Средний · mufassall.dtwin.uz/ru/l/load-balancing/

← Открыть урок

Проблема

Один балансировщик, три сервера приложения. Как балансировщик решает, куда отправить запрос, почему неверный выбор оставляет один сервер гореть, пока остальные простаивают, как он замечает мёртвый сервер и чего на самом деле стоят sticky-сессии.

Чему вы научитесь

  • L4 и L7: балансировка соединений и балансировка запросов
  • Round robin, least connections и веса — и где каждый из них ломается
  • Health check: как мёртвый сервер выходит из пула
  • Почему sticky-сессии перекашивают нагрузку и чем их заменить
Итоговая сцена
55%55%55%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_clients(["Клиенты"])
  n_lb{"Балансировщик"}
  n_a["Сервер A"]
  n_b["Сервер B"]
  n_c["Сервер C"]
  n_db[("База")]
  n_sessions{{"Хранилище сессий"}}
  n_clients --> n_lb
  n_lb --> n_a
  n_lb --> n_b
  n_lb --> n_c
  n_a --> n_db
  n_b --> n_db
  n_c --> n_db
  n_a --> n_sessions
  n_b --> n_sessions
  n_c --> n_sessions

Mermaid: последовательность запросов

sequenceDiagram
  participant n_lb as Балансировщик
  participant n_b as Сервер B
  participant n_a as Сервер A
  participant n_clients as Клиенты
  participant n_c as Сервер C
  participant n_sessions as Хранилище сессий
  Note over n_lb,n_b: L4-балансировщик распределяет соединения
  n_lb->>n_b: TCP 198.51.100.7:52114 -#62; 192.0.2.12:8443
  Note over n_lb,n_a: Одно загруженное соединение — один горящий сервер
  n_lb->>n_a: balancer connection table
  Note over n_lb,n_a: L7-балансировщик распределяет запросы
  n_lb->>n_a: GET /api/orders?page=2 HTTP/1.1
  Note over n_clients,n_lb: Round robin: по очереди
  n_clients->>n_lb: balancer access log
  Note over n_lb,n_c: Число одинаковое, работа очень разная
  n_lb->>n_c: GET /api/reports/export?year=2026 HTTP/1.1
  n_c-->>n_lb: HTTP/1.1 200 OK
  Note over n_lb,n_b: Least connections: спросить, кто свободен
  n_lb->>n_b: pick upstream for req_5e11
  Note over n_lb,n_b: B умер, а балансировщик продолжает слать
  n_lb-xn_b: GET /api/orders HTTP/1.1
  Note over n_lb,n_b: Health check выводит мёртвый сервер
  n_lb->>n_b: GET /healthz HTTP/1.1
  n_b-->>n_lb: timeout after 1000 ms
  Note over n_clients,n_lb: Sticky-сессии привязывают пользователя к серверу
  n_clients->>n_lb: POST /api/cart/items HTTP/1.1
  n_lb-->>n_clients: HTTP/1.1 200 OK
  Note over n_b,n_sessions: Общее хранилище сессий, без привязки
  n_b->>n_sessions: HGETALL session:9c1e7a
  n_sessions-->>n_b: 3 fields

D2

direction: right

n_clients: "Клиенты" {
  shape: rectangle
}
n_lb: "Балансировщик" {
  shape: diamond
}
n_a: "Сервер A" {
  shape: rectangle
}
n_b: "Сервер B" {
  shape: rectangle
}
n_c: "Сервер C" {
  shape: rectangle
}
n_db: "База" {
  shape: cylinder
}
n_sessions: "Хранилище сессий" {
  shape: hexagon
}

n_clients -> n_lb
n_lb -> n_a
n_lb -> n_b
n_lb -> n_c
n_a -> n_db
n_b -> n_db
n_c -> n_db
n_a -> n_sessions
n_b -> n_sessions
n_c -> n_sessions

PlantUML: последовательность запросов

@startuml
participant "Балансировщик" as n_lb
participant "Сервер B" as n_b
participant "Сервер A" as n_a
participant "Клиенты" as n_clients
participant "Сервер C" as n_c
collections "Хранилище сессий" as n_sessions
note over n_lb, n_b : L4-балансировщик распределяет соединения
n_lb -> n_b : TCP 198.51.100.7:52114 -> 192.0.2.12:8443
note over n_lb, n_a : Одно загруженное соединение — один горящий сервер
n_lb -> n_a : balancer connection table
note over n_lb, n_a : L7-балансировщик распределяет запросы
n_lb -> n_a : GET /api/orders?page=2 HTTP/1.1
note over n_clients, n_lb : Round robin: по очереди
n_clients -> n_lb : balancer access log
note over n_lb, n_c : Число одинаковое, работа очень разная
n_lb -> n_c : GET /api/reports/export?year=2026 HTTP/1.1
n_c --> n_lb : HTTP/1.1 200 OK
note over n_lb, n_b : Least connections: спросить, кто свободен
n_lb -> n_b : pick upstream for req_5e11
note over n_lb, n_b : B умер, а балансировщик продолжает слать
n_lb ->x n_b : [потеряно] GET /api/orders HTTP/1.1
note over n_lb, n_b : Health check выводит мёртвый сервер
n_lb -> n_b : GET /healthz HTTP/1.1
n_b --> n_lb : timeout after 1000 ms
note over n_clients, n_lb : Sticky-сессии привязывают пользователя к серверу
n_clients -> n_lb : POST /api/cart/items HTTP/1.1
n_lb --> n_clients : HTTP/1.1 200 OK
note over n_b, n_sessions : Общее хранилище сессий, без привязки
n_b -> n_sessions : HGETALL session:9c1e7a
n_sessions --> n_b : 3 fields
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Клиенты" as n_clients
node "Балансировщик" as n_lb
component "Сервер A" as n_a
component "Сервер B" as n_b
component "Сервер C" as n_c
database "База" as n_db
stack "Хранилище сессий" as n_sessions
n_clients --> n_lb
n_lb --> n_a
n_lb --> n_b
n_lb --> n_c
n_a --> n_db
n_b --> n_db
n_c --> n_db
n_a --> n_sessions
n_b --> n_sessions
n_c --> n_sessions
@enduml

Итог

Балансировщик хорош ровно настолько, насколько хороши его решения.

1) L4 распределяет соединения, L7 — запросы: долгоживущим соединениям нужен L7. 2) Round robin — для одинаковой работы, least connections — для неравномерной, веса — для неравных серверов. 3) Health check выводит мёртвые серверы за секунды. 4) Sticky-сессии меняют баланс и отказоустойчивость на удобство; общее состояние — лучшее решение.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Запросы900/с1 300/с
Задержка p99140 мс160 мс
Ошибки0%0,3%
Самый загруженный сервер35%55%

Шаги

  1. Кейс L4-балансировщик распределяет соединения

    Балансировщик работает на транспортном уровне (L4).

  2. Проблема Одно загруженное соединение — один горящий сервер

    Интеграция партнёра открывает одно keep-alive-соединение и шлёт по нему 400 запросов в секунду.

  3. Решение L7-балансировщик распределяет запросы

    Теперь балансировщик сам терминирует TLS и говорит на HTTP (L7).

  4. Кейс Round robin: по очереди

    Самый простой алгоритм: A, B, C, A, B, C… Каждый сервер получает одинаковое число запросов.

  5. Проблема Число одинаковое, работа очень разная

    Новая выгрузка отчёта занимает 4 секунды на запрос, обычный запрос — 13 мс.

  6. Решение Least connections: спросить, кто свободен

    Теперь балансировщик следит, сколько запросов каждый сервер обрабатывает прямо сейчас, и отдаёт следующий тому, у кого их меньше всего.

  7. Кейс Веса для неравных серверов

    C заменили машиной вдвое мощнее.

  8. Проблема B умер, а балансировщик продолжает слать

    У сервера B кончается память, и он падает.

  9. Решение Health check выводит мёртвый сервер

    Каждые 2 секунды балансировщик вызывает /healthz на каждом сервере.

  10. Проблема Sticky-сессии привязывают пользователя к серверу

    Корзина живёт в памяти каждого сервера, поэтому команда включает sticky-сессии: балансировщик ставит cookie и всегда отправляет пользователя на тот же сервер.

  11. Решение Общее хранилище сессий, без привязки

    Корзины и сессии переезжают в общее хранилище, которое читают все серверы.

  12. Итоги Итоги

    Балансировщик хорош ровно настолько, насколько хороши его решения.

Термины

Балансировщик нагрузки
Компонент, который распределяет входящий трафик между серверами. L4 раздаёт соединения, L7 — отдельные запросы; выбирает по round robin, least connections или весам.
Health check (проверка здоровья)
Балансировщик регулярно опрашивает сервер и за несколько секунд выводит из пула тот, что не отвечает. Когда сервер оживает, его возвращают.