Шпаргалка · Масштабирование
Вертикальное и горизонтальное масштабирование
Проблема
API ленты перерастает свой сервер. Сначала он переезжает на машину побольше — пока больше не остаётся и эта единственная машина не падает. Потом он расходится по нескольким небольшим серверам и узнаёт, зачем для этого нужны балансировщик и приложение, которое ничего не помнит.
Чему вы научитесь
- Вертикальное масштабирование: почему оно простое и где упирается в потолок
- Почему один сервер, каким бы большим он ни был, — единая точка отказа
- Что нужно горизонтальному масштабированию: балансировщик и stateless-серверы
- Зачем держать запас в один сервер (N+1)
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_users(["Пользователи"])
n_app["Сервер приложения 1"]
n_db[("База")]
n_lb{"Балансировщик"}
n_app2["Сервер приложения 2"]
n_app3["Сервер приложения 3"]
n_sessions{{"Хранилище сессий"}}
n_app --> n_db
n_users --> n_lb
n_lb -.-> n_users
n_lb --> n_app
n_lb --x|"потеряно"| n_app2
n_lb --> n_app3
n_app2 --> n_db
n_app3 --> n_db
n_app --> n_sessions
n_app2 --> n_sessions
n_app3 --> n_sessions
classDef down fill:#fde2e2,stroke:#c62828,color:#4a0d0d,stroke-dasharray:4 3
class n_app2 downMermaid: последовательность запросов
sequenceDiagram
participant n_users as Пользователи
participant n_app as Сервер приложения 1
participant n_lb as Балансировщик
participant n_app2 as Сервер приложения 2
participant n_sessions as Хранилище сессий
Note over n_users,n_app: Всё делает один сервер
n_users->>n_app: GET /feed HTTP/1.1
n_app-->>n_users: HTTP/1.1 200 OK
Note over n_users,n_app: Трафик удвоился, сервер забит
n_users->>n_app: GET /feed HTTP/1.1
n_app-->>n_users: HTTP/1.1 503 Service Unavailable
Note over n_users,n_app: Один сервер — один отказ
n_users-xn_app: curl https://api.example.com/feed
Note over n_lb,n_app2: Горизонтальное масштабирование: больше серверов
n_lb->>n_app2: GET /feed HTTP/1.1
n_app2-->>n_lb: HTTP/1.1 200 OK
Note over n_lb,n_app2: Пользователей постоянно разлогинивает
n_lb->>n_app2: GET /cart HTTP/1.1
n_app2-->>n_lb: HTTP/1.1 302 Found
Note over n_app2,n_sessions: Сделать серверы приложения stateless
n_app2->>n_sessions: GET session:9c1e7a
n_sessions-->>n_app2: (bulk string)
Note over n_lb,n_app2: Один сервер умер, пользователи почти не заметили
n_lb-xn_app2: GET /healthz HTTP/1.1D2
direction: right
n_users: "Пользователи" {
shape: rectangle
}
n_app: "Сервер приложения 1" {
shape: rectangle
}
n_db: "База" {
shape: cylinder
}
n_lb: "Балансировщик" {
shape: diamond
}
n_app2: "Сервер приложения 2" {
shape: rectangle
style.fill: "#fde2e2"
style.stroke: "#c62828"
style.stroke-dash: 3
}
n_app3: "Сервер приложения 3" {
shape: rectangle
}
n_sessions: "Хранилище сессий" {
shape: hexagon
}
n_app -> n_db
n_users -> n_lb
n_lb -> n_users {
style.stroke-dash: 3
}
n_lb -> n_app
n_lb -> n_app2: "потеряно" {
target-arrowhead.shape: cross
}
n_lb -> n_app3
n_app2 -> n_db
n_app3 -> n_db
n_app -> n_sessions
n_app2 -> n_sessions
n_app3 -> n_sessionsPlantUML: последовательность запросов
@startuml
participant "Пользователи" as n_users
participant "Сервер приложения 1" as n_app
participant "Балансировщик" as n_lb
participant "Сервер приложения 2" as n_app2
collections "Хранилище сессий" as n_sessions
note over n_users, n_app : Всё делает один сервер
n_users -> n_app : GET /feed HTTP/1.1
n_app --> n_users : HTTP/1.1 200 OK
note over n_users, n_app : Трафик удвоился, сервер забит
n_users -> n_app : GET /feed HTTP/1.1
n_app --> n_users : HTTP/1.1 503 Service Unavailable
note over n_users, n_app : Один сервер — один отказ
n_users ->x n_app : [потеряно] curl https://api.example.com/feed
note over n_lb, n_app2 : Горизонтальное масштабирование: больше серверов
n_lb -> n_app2 : GET /feed HTTP/1.1
n_app2 --> n_lb : HTTP/1.1 200 OK
note over n_lb, n_app2 : Пользователей постоянно разлогинивает
n_lb -> n_app2 : GET /cart HTTP/1.1
n_app2 --> n_lb : HTTP/1.1 302 Found
note over n_app2, n_sessions : Сделать серверы приложения stateless
n_app2 -> n_sessions : GET session:9c1e7a
n_sessions --> n_app2 : (bulk string)
note over n_lb, n_app2 : Один сервер умер, пользователи почти не заметили
n_lb ->x n_app2 : [потеряно] GET /healthz HTTP/1.1
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Пользователи" as n_users
component "Сервер приложения 1" as n_app
database "База" as n_db
node "Балансировщик" as n_lb
component "Сервер приложения 2" as n_app2 #fde2e2;line:c62828;line.dashed
component "Сервер приложения 3" as n_app3
stack "Хранилище сессий" as n_sessions
n_app --> n_db
n_users --> n_lb
n_lb ..> n_users
n_lb --> n_app
n_lb -[#c62828,dashed]-> n_app2 : потеряно
n_lb --> n_app3
n_app2 --> n_db
n_app3 --> n_db
n_app --> n_sessions
n_app2 --> n_sessions
n_app3 --> n_sessions
@endumlИтог
Сначала масштабируйтесь вверх: это просто. Масштабируйтесь вширь, когда машина становится слишком дорогой, слишком большой или слишком рискованной, чтобы быть единственной.
1) Один сервер, каким бы большим он ни был, — единая точка отказа. 2) Перед несколькими серверами нужен балансировщик. 3) Серверы приложения должны быть stateless: сессии и файлы — в общие хранилища. 4) Держите N+1. 5) База всё ещё одна машина: следующей масштабировать придётся её.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Обслужено | 300/с | 2 400/с |
| Задержка p95 | 80 мс | 240 мс |
| Ошибки | 0% | 0,5% |
| Стоимость в месяц | 160 $ | 1 040 $ |
Шаги
- Кейс Всё делает один сервер
Небольшой API ленты работает на одном сервере с 4 vCPU.
- Проблема Трафик удвоился, сервер забит
После рекламной кампании пользователи хотят 700 запросов в секунду.
- Решение Вертикальное масштабирование: сервер побольше
Самое простое решение — переехать на 16 vCPU.
- Проблема Больше сервера нет
Через год — 2 400 запросов в секунду.
- Проблема Один сервер — один отказ
Отказавший диск роняет сервер.
- Решение Горизонтальное масштабирование: больше серверов
Вместо одного гиганта на 64 vCPU — три сервера по 8 vCPU.
- Проблема Пользователей постоянно разлогинивает
Сессии хранились в памяти сервера, на котором пользователь вошёл.
- Решение Сделать серверы приложения stateless
Сессии переезжают в общее быстрое хранилище.
- Кейс Один сервер умер, пользователи почти не заметили
app-2падает. - Итоги Итоги
Сначала масштабируйтесь вверх: это просто.
Термины
- Вертикальное масштабирование
- Замена сервера на более мощный. Это просто, но однажды больше сервера не найти, и он всё равно остаётся единой точкой отказа.
- Горизонтальное масштабирование
- Добавление серверов вместо одного большого. Для этого нужен балансировщик впереди и stateless-серверы приложения.