Шпаргалка · Данные и хранение
Шардирование
Проблема
Таблица сообщений чат-сервиса дорастает до 6 ТБ, и один сервер её больше не тянет. Делим её на шарды, выбираем ключ шардирования, ловим горячий шард и горячий ключ и добавляем четвёртый шард, не перевозя всё подряд.
Чему вы научитесь
- Шардирование по диапазону и по хешу, и почему диапазоны по времени дают горячий шард
- Как выбрать ключ шардирования: решает самый частый запрос
- Сколько стоит запрос по всем шардам и как разрезать горячий ключ
- Почему
hash % nделает решардинг болезненным и как это лечат фиксированные слоты
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_app(["Чат-приложение"])
n_api["API чата"]
n_shard_0[("Шард 0")]
n_shard_1[("Шард 1")]
n_shard_2[("Шард 2")]
n_shard_3[("Шард 3")]
n_mover("Перенос данных")
n_app --> n_api
n_api --> n_shard_0
n_api --> n_shard_1
n_api --> n_shard_2
n_api --> n_shard_3
n_shard_2 --> n_mover
n_mover --> n_shard_3Mermaid: последовательность запросов
sequenceDiagram
participant n_api as API чата
participant n_db as База сообщений
participant n_shard_2 as Шард 2
participant n_shard_1 as Шард 1
participant n_shard_0 as Шард 0
participant n_mover as Перенос данных
participant n_shard_3 as Шард 3
Note over n_api,n_db: Один сервер, 6 ТБ сообщений
n_api->>n_db: INSERT INTO messages (chat_id, sender_id, body)
n_db-->>n_api: INSERT 0 1
Note over n_api,n_shard_2: Делим по диапазону дат
n_api->>n_shard_2: route INSERT messages
n_shard_2-->>n_api: key: created_at = 2026-11-18
Note over n_api,n_shard_2: Каждое новое сообщение бьёт в один шард
n_api->>n_shard_2: INSERT INTO messages (chat_id, sender_id, body)
n_shard_2-->>n_api: ERROR: canceling statement due to statement timeout
Note over n_api,n_shard_2: Шардируем по хешу chat_id
n_api->>n_shard_2: route INSERT messages
n_shard_2-->>n_api: key: chat_id = c_8812
Note over n_api,n_shard_2: Запрос без ключа шардирования опрашивает все шарды
n_api->>n_shard_2: query messages WHERE sender_id = 'u_42'
n_shard_2-->>n_api: -#62; shard-0: 20 rows, 41 ms
Note over n_api,n_shard_1: Один огромный канал греет один шард
n_api->>n_shard_1: top keys, last 5 min (shard-1)
n_shard_1-->>n_api: chat_id=c_1 41% of writes
Note over n_api,n_shard_0: Режем горячий чат на бакеты
n_api->>n_shard_0: route INSERT messages chat_id=c_1
n_shard_0-->>n_api: hot chat: 8 buckets
Note over n_mover,n_shard_3: Четвёртый шард, и % 4 двигает 75% строк
n_mover->>n_shard_3: reshard: hash % 3 -#62; hash % 4
n_shard_3-->>n_mover: rows to check: 6.9B
Note over n_mover,n_shard_3: Фиксированные слоты: двигаем только долю нового шарда
n_mover->>n_shard_3: move slot 517: shard-2 -#62; shard-3
n_shard_3-->>n_mover: copy: 6.8M rowsD2
direction: right
n_app: "Чат-приложение" {
shape: rectangle
}
n_api: "API чата" {
shape: rectangle
}
n_shard_0: "Шард 0" {
shape: cylinder
}
n_shard_1: "Шард 1" {
shape: cylinder
}
n_shard_2: "Шард 2" {
shape: cylinder
}
n_shard_3: "Шард 3" {
shape: cylinder
}
n_mover: "Перенос данных" {
shape: rectangle
style.multiple: true
}
n_app -> n_api
n_api -> n_shard_0
n_api -> n_shard_1
n_api -> n_shard_2
n_api -> n_shard_3
n_shard_2 -> n_mover
n_mover -> n_shard_3PlantUML: последовательность запросов
@startuml
participant "API чата" as n_api
database "База сообщений" as n_db
database "Шард 2" as n_shard_2
database "Шард 1" as n_shard_1
database "Шард 0" as n_shard_0
participant "Перенос данных" as n_mover
database "Шард 3" as n_shard_3
note over n_api, n_db : Один сервер, 6 ТБ сообщений
n_api -> n_db : INSERT INTO messages (chat_id, sender_id, body)
n_db --> n_api : INSERT 0 1
note over n_api, n_shard_2 : Делим по диапазону дат
n_api -> n_shard_2 : route INSERT messages
n_shard_2 --> n_api : key: created_at = 2026-11-18
note over n_api, n_shard_2 : Каждое новое сообщение бьёт в один шард
n_api -> n_shard_2 : INSERT INTO messages (chat_id, sender_id, body)
n_shard_2 --> n_api : ERROR: canceling statement due to statement timeout
note over n_api, n_shard_2 : Шардируем по хешу chat_id
n_api -> n_shard_2 : route INSERT messages
n_shard_2 --> n_api : key: chat_id = c_8812
note over n_api, n_shard_2 : Запрос без ключа шардирования опрашивает все шарды
n_api -> n_shard_2 : [дубль] query messages WHERE sender_id = 'u_42'
n_shard_2 --> n_api : -> shard-0: 20 rows, 41 ms
note over n_api, n_shard_1 : Один огромный канал греет один шард
n_api -> n_shard_1 : top keys, last 5 min (shard-1)
n_shard_1 --> n_api : chat_id=c_1 41% of writes
note over n_api, n_shard_0 : Режем горячий чат на бакеты
n_api -> n_shard_0 : route INSERT messages chat_id=c_1
n_shard_0 --> n_api : hot chat: 8 buckets
note over n_mover, n_shard_3 : Четвёртый шард, и % 4 двигает 75% строк
n_mover -> n_shard_3 : reshard: hash % 3 -> hash % 4
n_shard_3 --> n_mover : rows to check: 6.9B
note over n_mover, n_shard_3 : Фиксированные слоты: двигаем только долю нового шарда
n_mover -> n_shard_3 : move slot 517: shard-2 -> shard-3
n_shard_3 --> n_mover : copy: 6.8M rows
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Чат-приложение" as n_app
component "API чата" as n_api
database "Шард 0" as n_shard_0
database "Шард 1" as n_shard_1
database "Шард 2" as n_shard_2
database "Шард 3" as n_shard_3
collections "Перенос данных" as n_mover
n_app --> n_api
n_api --> n_shard_0
n_api --> n_shard_1
n_api --> n_shard_2
n_api --> n_shard_3
n_shard_2 --> n_mover
n_mover --> n_shard_3
@endumlИтог
Шардирование разносит одну таблицу по серверам, когда она перестаёт помещаться на одном. Всё решает ключ шардирования.
1) Берите ключ, по которому фильтрует самый частый запрос. 2) Избегайте ключей, растущих со временем: хешируйте их. 3) Запросы без ключа расходятся на все шарды — держите их редкими. 4) Следите за горячими ключами и режьте их. 5) Маршрутизируйте через фиксированные слоты, чтобы новый шард забирал только свою долю.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Запрос p95 | 1 400 мс | 28 мс |
| Нагрузка горячего шарда | 98% | 42% |
| Шардов на запрос | 1 | 1 |
| Крупнейший шард | 6 ТБ | 2,0 ТБ |
Шаги
- Проблема Один сервер, 6 ТБ сообщений
Каждое сообщение чата пишется в одну таблицу
messages. - Решение Делим по диапазону дат
Разбиваем таблицу на три шарда — каждый отдельная база: 2024 на шарде 0, 2025 на шарде 1, 2026 на шарде 2.
- Проблема Каждое новое сообщение бьёт в один шард
Все новые сообщения — сегодняшние, поэтому каждая запись падает на шард 2.
- Решение Шардируем по хешу chat_id
Новый ключ шардирования —
chat_id, а шард —hash(chat_id) % 3. - Кейс Запрос без ключа шардирования опрашивает все шарды
Новая функция: «все мои отправленные сообщения».
- Проблема Один огромный канал греет один шард
Публичный канал
c_1с 2 миллионами участников становится вирусным. - Решение Режем горячий чат на бакеты
Для чатов, помеченных горячими, ключ становится
(chat_id, bucket), где bucket —msg_id % 8. - Проблема Четвёртый шард, и
% 4двигает 75% строкШарды выросли до 2,6 ТБ, добавляем шард 3.
- Решение Фиксированные слоты: двигаем только долю нового шарда
Маршрутизируем в два шага:
hash % 1024выбирает слот, а маленькая карта назначает каждый слот шарду. - Итоги Итоги
Шардирование разносит одну таблицу по серверам, когда она перестаёт помещаться на одном.
Термины
- Шардирование
- Разделение таблицы, которая не помещается на один сервер, по строкам между несколькими серверами (шардами). Где лежит каждая строка, решает ключ шардирования.
- Ключ шардирования
- Значение, которое решает, на каком шарде лежит строка. Берут колонку, по которой фильтрует самый частый запрос, а растущий со временем ключ хешируют, иначе греется один шард.
- Горячий ключ
- Один ключ, на который приходится несоразмерно много нагрузки, например огромный канал или товар на распродаже. Он перегревает один шард или узел кеша, поэтому его режут на бакеты.