mufassall

Шпаргалка · Масштабирование

Вертикальное и горизонтальное масштабирование

11 мин · Начальный · mufassall.dtwin.uz/ru/l/vertical-horizontal/

← Открыть урок

Проблема

API ленты перерастает свой сервер. Сначала он переезжает на машину побольше — пока больше не остаётся и эта единственная машина не падает. Потом он расходится по нескольким небольшим серверам и узнаёт, зачем для этого нужны балансировщик и приложение, которое ничего не помнит.

Чему вы научитесь

  • Вертикальное масштабирование: почему оно простое и где упирается в потолок
  • Почему один сервер, каким бы большим он ни был, — единая точка отказа
  • Что нужно горизонтальному масштабированию: балансировщик и stateless-серверы
  • Зачем держать запас в один сервер (N+1)
Итоговая сцена
92%92%70%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_users(["Пользователи"])
  n_app["Сервер приложения 1"]
  n_db[("База")]
  n_lb{"Балансировщик"}
  n_app2["Сервер приложения 2"]
  n_app3["Сервер приложения 3"]
  n_sessions{{"Хранилище сессий"}}
  n_app --> n_db
  n_users --> n_lb
  n_lb -.-> n_users
  n_lb --> n_app
  n_lb --x|"потеряно"| n_app2
  n_lb --> n_app3
  n_app2 --> n_db
  n_app3 --> n_db
  n_app --> n_sessions
  n_app2 --> n_sessions
  n_app3 --> n_sessions
  classDef down fill:#fde2e2,stroke:#c62828,color:#4a0d0d,stroke-dasharray:4 3
  class n_app2 down

Mermaid: последовательность запросов

sequenceDiagram
  participant n_users as Пользователи
  participant n_app as Сервер приложения 1
  participant n_lb as Балансировщик
  participant n_app2 as Сервер приложения 2
  participant n_sessions as Хранилище сессий
  Note over n_users,n_app: Всё делает один сервер
  n_users->>n_app: GET /feed HTTP/1.1
  n_app-->>n_users: HTTP/1.1 200 OK
  Note over n_users,n_app: Трафик удвоился, сервер забит
  n_users->>n_app: GET /feed HTTP/1.1
  n_app-->>n_users: HTTP/1.1 503 Service Unavailable
  Note over n_users,n_app: Один сервер — один отказ
  n_users-xn_app: curl https://api.example.com/feed
  Note over n_lb,n_app2: Горизонтальное масштабирование: больше серверов
  n_lb->>n_app2: GET /feed HTTP/1.1
  n_app2-->>n_lb: HTTP/1.1 200 OK
  Note over n_lb,n_app2: Пользователей постоянно разлогинивает
  n_lb->>n_app2: GET /cart HTTP/1.1
  n_app2-->>n_lb: HTTP/1.1 302 Found
  Note over n_app2,n_sessions: Сделать серверы приложения stateless
  n_app2->>n_sessions: GET session:9c1e7a
  n_sessions-->>n_app2: (bulk string)
  Note over n_lb,n_app2: Один сервер умер, пользователи почти не заметили
  n_lb-xn_app2: GET /healthz HTTP/1.1

D2

direction: right

n_users: "Пользователи" {
  shape: rectangle
}
n_app: "Сервер приложения 1" {
  shape: rectangle
}
n_db: "База" {
  shape: cylinder
}
n_lb: "Балансировщик" {
  shape: diamond
}
n_app2: "Сервер приложения 2" {
  shape: rectangle
  style.fill: "#fde2e2"
  style.stroke: "#c62828"
  style.stroke-dash: 3
}
n_app3: "Сервер приложения 3" {
  shape: rectangle
}
n_sessions: "Хранилище сессий" {
  shape: hexagon
}

n_app -> n_db
n_users -> n_lb
n_lb -> n_users {
  style.stroke-dash: 3
}
n_lb -> n_app
n_lb -> n_app2: "потеряно" {
  target-arrowhead.shape: cross
}
n_lb -> n_app3
n_app2 -> n_db
n_app3 -> n_db
n_app -> n_sessions
n_app2 -> n_sessions
n_app3 -> n_sessions

PlantUML: последовательность запросов

@startuml
participant "Пользователи" as n_users
participant "Сервер приложения 1" as n_app
participant "Балансировщик" as n_lb
participant "Сервер приложения 2" as n_app2
collections "Хранилище сессий" as n_sessions
note over n_users, n_app : Всё делает один сервер
n_users -> n_app : GET /feed HTTP/1.1
n_app --> n_users : HTTP/1.1 200 OK
note over n_users, n_app : Трафик удвоился, сервер забит
n_users -> n_app : GET /feed HTTP/1.1
n_app --> n_users : HTTP/1.1 503 Service Unavailable
note over n_users, n_app : Один сервер — один отказ
n_users ->x n_app : [потеряно] curl https://api.example.com/feed
note over n_lb, n_app2 : Горизонтальное масштабирование: больше серверов
n_lb -> n_app2 : GET /feed HTTP/1.1
n_app2 --> n_lb : HTTP/1.1 200 OK
note over n_lb, n_app2 : Пользователей постоянно разлогинивает
n_lb -> n_app2 : GET /cart HTTP/1.1
n_app2 --> n_lb : HTTP/1.1 302 Found
note over n_app2, n_sessions : Сделать серверы приложения stateless
n_app2 -> n_sessions : GET session:9c1e7a
n_sessions --> n_app2 : (bulk string)
note over n_lb, n_app2 : Один сервер умер, пользователи почти не заметили
n_lb ->x n_app2 : [потеряно] GET /healthz HTTP/1.1
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Пользователи" as n_users
component "Сервер приложения 1" as n_app
database "База" as n_db
node "Балансировщик" as n_lb
component "Сервер приложения 2" as n_app2 #fde2e2;line:c62828;line.dashed
component "Сервер приложения 3" as n_app3
stack "Хранилище сессий" as n_sessions
n_app --> n_db
n_users --> n_lb
n_lb ..> n_users
n_lb --> n_app
n_lb -[#c62828,dashed]-> n_app2 : потеряно
n_lb --> n_app3
n_app2 --> n_db
n_app3 --> n_db
n_app --> n_sessions
n_app2 --> n_sessions
n_app3 --> n_sessions
@enduml

Итог

Сначала масштабируйтесь вверх: это просто. Масштабируйтесь вширь, когда машина становится слишком дорогой, слишком большой или слишком рискованной, чтобы быть единственной.

1) Один сервер, каким бы большим он ни был, — единая точка отказа. 2) Перед несколькими серверами нужен балансировщик. 3) Серверы приложения должны быть stateless: сессии и файлы — в общие хранилища. 4) Держите N+1. 5) База всё ещё одна машина: следующей масштабировать придётся её.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Обслужено300/с2 400/с
Задержка p9580 мс240 мс
Ошибки0%0,5%
Стоимость в месяц160 $1 040 $

Шаги

  1. Кейс Всё делает один сервер

    Небольшой API ленты работает на одном сервере с 4 vCPU.

  2. Проблема Трафик удвоился, сервер забит

    После рекламной кампании пользователи хотят 700 запросов в секунду.

  3. Решение Вертикальное масштабирование: сервер побольше

    Самое простое решение — переехать на 16 vCPU.

  4. Проблема Больше сервера нет

    Через год — 2 400 запросов в секунду.

  5. Проблема Один сервер — один отказ

    Отказавший диск роняет сервер.

  6. Решение Горизонтальное масштабирование: больше серверов

    Вместо одного гиганта на 64 vCPU — три сервера по 8 vCPU.

  7. Проблема Пользователей постоянно разлогинивает

    Сессии хранились в памяти сервера, на котором пользователь вошёл.

  8. Решение Сделать серверы приложения stateless

    Сессии переезжают в общее быстрое хранилище.

  9. Кейс Один сервер умер, пользователи почти не заметили

    app-2 падает.

  10. Итоги Итоги

    Сначала масштабируйтесь вверх: это просто.

Термины

Вертикальное масштабирование
Замена сервера на более мощный. Это просто, но однажды больше сервера не найти, и он всё равно остаётся единой точкой отказа.
Горизонтальное масштабирование
Добавление серверов вместо одного большого. Для этого нужен балансировщик впереди и stateless-серверы приложения.