Шпаргалка · Масштабирование
Балансировка нагрузки
Проблема
Один балансировщик, три сервера приложения. Как балансировщик решает, куда отправить запрос, почему неверный выбор оставляет один сервер гореть, пока остальные простаивают, как он замечает мёртвый сервер и чего на самом деле стоят sticky-сессии.
Чему вы научитесь
- L4 и L7: балансировка соединений и балансировка запросов
- Round robin, least connections и веса — и где каждый из них ломается
- Health check: как мёртвый сервер выходит из пула
- Почему sticky-сессии перекашивают нагрузку и чем их заменить
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_clients(["Клиенты"])
n_lb{"Балансировщик"}
n_a["Сервер A"]
n_b["Сервер B"]
n_c["Сервер C"]
n_db[("База")]
n_sessions{{"Хранилище сессий"}}
n_clients --> n_lb
n_lb --> n_a
n_lb --> n_b
n_lb --> n_c
n_a --> n_db
n_b --> n_db
n_c --> n_db
n_a --> n_sessions
n_b --> n_sessions
n_c --> n_sessionsMermaid: последовательность запросов
sequenceDiagram
participant n_lb as Балансировщик
participant n_b as Сервер B
participant n_a as Сервер A
participant n_clients as Клиенты
participant n_c as Сервер C
participant n_sessions as Хранилище сессий
Note over n_lb,n_b: L4-балансировщик распределяет соединения
n_lb->>n_b: TCP 198.51.100.7:52114 -#62; 192.0.2.12:8443
Note over n_lb,n_a: Одно загруженное соединение — один горящий сервер
n_lb->>n_a: balancer connection table
Note over n_lb,n_a: L7-балансировщик распределяет запросы
n_lb->>n_a: GET /api/orders?page=2 HTTP/1.1
Note over n_clients,n_lb: Round robin: по очереди
n_clients->>n_lb: balancer access log
Note over n_lb,n_c: Число одинаковое, работа очень разная
n_lb->>n_c: GET /api/reports/export?year=2026 HTTP/1.1
n_c-->>n_lb: HTTP/1.1 200 OK
Note over n_lb,n_b: Least connections: спросить, кто свободен
n_lb->>n_b: pick upstream for req_5e11
Note over n_lb,n_b: B умер, а балансировщик продолжает слать
n_lb-xn_b: GET /api/orders HTTP/1.1
Note over n_lb,n_b: Health check выводит мёртвый сервер
n_lb->>n_b: GET /healthz HTTP/1.1
n_b-->>n_lb: timeout after 1000 ms
Note over n_clients,n_lb: Sticky-сессии привязывают пользователя к серверу
n_clients->>n_lb: POST /api/cart/items HTTP/1.1
n_lb-->>n_clients: HTTP/1.1 200 OK
Note over n_b,n_sessions: Общее хранилище сессий, без привязки
n_b->>n_sessions: HGETALL session:9c1e7a
n_sessions-->>n_b: 3 fieldsD2
direction: right
n_clients: "Клиенты" {
shape: rectangle
}
n_lb: "Балансировщик" {
shape: diamond
}
n_a: "Сервер A" {
shape: rectangle
}
n_b: "Сервер B" {
shape: rectangle
}
n_c: "Сервер C" {
shape: rectangle
}
n_db: "База" {
shape: cylinder
}
n_sessions: "Хранилище сессий" {
shape: hexagon
}
n_clients -> n_lb
n_lb -> n_a
n_lb -> n_b
n_lb -> n_c
n_a -> n_db
n_b -> n_db
n_c -> n_db
n_a -> n_sessions
n_b -> n_sessions
n_c -> n_sessionsPlantUML: последовательность запросов
@startuml
participant "Балансировщик" as n_lb
participant "Сервер B" as n_b
participant "Сервер A" as n_a
participant "Клиенты" as n_clients
participant "Сервер C" as n_c
collections "Хранилище сессий" as n_sessions
note over n_lb, n_b : L4-балансировщик распределяет соединения
n_lb -> n_b : TCP 198.51.100.7:52114 -> 192.0.2.12:8443
note over n_lb, n_a : Одно загруженное соединение — один горящий сервер
n_lb -> n_a : balancer connection table
note over n_lb, n_a : L7-балансировщик распределяет запросы
n_lb -> n_a : GET /api/orders?page=2 HTTP/1.1
note over n_clients, n_lb : Round robin: по очереди
n_clients -> n_lb : balancer access log
note over n_lb, n_c : Число одинаковое, работа очень разная
n_lb -> n_c : GET /api/reports/export?year=2026 HTTP/1.1
n_c --> n_lb : HTTP/1.1 200 OK
note over n_lb, n_b : Least connections: спросить, кто свободен
n_lb -> n_b : pick upstream for req_5e11
note over n_lb, n_b : B умер, а балансировщик продолжает слать
n_lb ->x n_b : [потеряно] GET /api/orders HTTP/1.1
note over n_lb, n_b : Health check выводит мёртвый сервер
n_lb -> n_b : GET /healthz HTTP/1.1
n_b --> n_lb : timeout after 1000 ms
note over n_clients, n_lb : Sticky-сессии привязывают пользователя к серверу
n_clients -> n_lb : POST /api/cart/items HTTP/1.1
n_lb --> n_clients : HTTP/1.1 200 OK
note over n_b, n_sessions : Общее хранилище сессий, без привязки
n_b -> n_sessions : HGETALL session:9c1e7a
n_sessions --> n_b : 3 fields
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Клиенты" as n_clients
node "Балансировщик" as n_lb
component "Сервер A" as n_a
component "Сервер B" as n_b
component "Сервер C" as n_c
database "База" as n_db
stack "Хранилище сессий" as n_sessions
n_clients --> n_lb
n_lb --> n_a
n_lb --> n_b
n_lb --> n_c
n_a --> n_db
n_b --> n_db
n_c --> n_db
n_a --> n_sessions
n_b --> n_sessions
n_c --> n_sessions
@endumlИтог
Балансировщик хорош ровно настолько, насколько хороши его решения.
1) L4 распределяет соединения, L7 — запросы: долгоживущим соединениям нужен L7. 2) Round robin — для одинаковой работы, least connections — для неравномерной, веса — для неравных серверов. 3) Health check выводит мёртвые серверы за секунды. 4) Sticky-сессии меняют баланс и отказоустойчивость на удобство; общее состояние — лучшее решение.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Запросы | 900/с | 1 300/с |
| Задержка p99 | 140 мс | 160 мс |
| Ошибки | 0% | 0,3% |
| Самый загруженный сервер | 35% | 55% |
Шаги
- Кейс L4-балансировщик распределяет соединения
Балансировщик работает на транспортном уровне (L4).
- Проблема Одно загруженное соединение — один горящий сервер
Интеграция партнёра открывает одно keep-alive-соединение и шлёт по нему 400 запросов в секунду.
- Решение L7-балансировщик распределяет запросы
Теперь балансировщик сам терминирует TLS и говорит на HTTP (L7).
- Кейс Round robin: по очереди
Самый простой алгоритм: A, B, C, A, B, C… Каждый сервер получает одинаковое число запросов.
- Проблема Число одинаковое, работа очень разная
Новая выгрузка отчёта занимает 4 секунды на запрос, обычный запрос — 13 мс.
- Решение Least connections: спросить, кто свободен
Теперь балансировщик следит, сколько запросов каждый сервер обрабатывает прямо сейчас, и отдаёт следующий тому, у кого их меньше всего.
- Кейс Веса для неравных серверов
C заменили машиной вдвое мощнее.
- Проблема B умер, а балансировщик продолжает слать
У сервера B кончается память, и он падает.
- Решение Health check выводит мёртвый сервер
Каждые 2 секунды балансировщик вызывает
/healthzна каждом сервере. - Проблема Sticky-сессии привязывают пользователя к серверу
Корзина живёт в памяти каждого сервера, поэтому команда включает sticky-сессии: балансировщик ставит cookie и всегда отправляет пользователя на тот же сервер.
- Решение Общее хранилище сессий, без привязки
Корзины и сессии переезжают в общее хранилище, которое читают все серверы.
- Итоги Итоги
Балансировщик хорош ровно настолько, насколько хороши его решения.
Термины
- Балансировщик нагрузки
- Компонент, который распределяет входящий трафик между серверами. L4 раздаёт соединения, L7 — отдельные запросы; выбирает по round robin, least connections или весам.
- Health check (проверка здоровья)
- Балансировщик регулярно опрашивает сервер и за несколько секунд выводит из пула тот, что не отвечает. Когда сервер оживает, его возвращают.