mufassall

Шпаргалка · Данные и хранение

Шардирование

13 мин · Средний · mufassall.dtwin.uz/ru/l/sharding/

← Открыть урок

Проблема

Таблица сообщений чат-сервиса дорастает до 6 ТБ, и один сервер её больше не тянет. Делим её на шарды, выбираем ключ шардирования, ловим горячий шард и горячий ключ и добавляем четвёртый шард, не перевозя всё подряд.

Чему вы научитесь

  • Шардирование по диапазону и по хешу, и почему диапазоны по времени дают горячий шард
  • Как выбрать ключ шардирования: решает самый частый запрос
  • Сколько стоит запрос по всем шардам и как разрезать горячий ключ
  • Почему hash % n делает решардинг болезненным и как это лечат фиксированные слоты
Итоговая сцена
45%40%41%42%38%30%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_app(["Чат-приложение"])
  n_api["API чата"]
  n_shard_0[("Шард 0")]
  n_shard_1[("Шард 1")]
  n_shard_2[("Шард 2")]
  n_shard_3[("Шард 3")]
  n_mover("Перенос данных")
  n_app --> n_api
  n_api --> n_shard_0
  n_api --> n_shard_1
  n_api --> n_shard_2
  n_api --> n_shard_3
  n_shard_2 --> n_mover
  n_mover --> n_shard_3

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API чата
  participant n_db as База сообщений
  participant n_shard_2 as Шард 2
  participant n_shard_1 as Шард 1
  participant n_shard_0 as Шард 0
  participant n_mover as Перенос данных
  participant n_shard_3 as Шард 3
  Note over n_api,n_db: Один сервер, 6 ТБ сообщений
  n_api->>n_db: INSERT INTO messages (chat_id, sender_id, body)
  n_db-->>n_api: INSERT 0 1
  Note over n_api,n_shard_2: Делим по диапазону дат
  n_api->>n_shard_2: route INSERT messages
  n_shard_2-->>n_api: key: created_at = 2026-11-18
  Note over n_api,n_shard_2: Каждое новое сообщение бьёт в один шард
  n_api->>n_shard_2: INSERT INTO messages (chat_id, sender_id, body)
  n_shard_2-->>n_api: ERROR: canceling statement due to statement timeout
  Note over n_api,n_shard_2: Шардируем по хешу chat_id
  n_api->>n_shard_2: route INSERT messages
  n_shard_2-->>n_api: key: chat_id = c_8812
  Note over n_api,n_shard_2: Запрос без ключа шардирования опрашивает все шарды
  n_api->>n_shard_2: query messages WHERE sender_id = 'u_42'
  n_shard_2-->>n_api: -#62; shard-0: 20 rows, 41 ms
  Note over n_api,n_shard_1: Один огромный канал греет один шард
  n_api->>n_shard_1: top keys, last 5 min (shard-1)
  n_shard_1-->>n_api: chat_id=c_1 41% of writes
  Note over n_api,n_shard_0: Режем горячий чат на бакеты
  n_api->>n_shard_0: route INSERT messages chat_id=c_1
  n_shard_0-->>n_api: hot chat: 8 buckets
  Note over n_mover,n_shard_3: Четвёртый шард, и % 4 двигает 75% строк
  n_mover->>n_shard_3: reshard: hash % 3 -#62; hash % 4
  n_shard_3-->>n_mover: rows to check: 6.9B
  Note over n_mover,n_shard_3: Фиксированные слоты: двигаем только долю нового шарда
  n_mover->>n_shard_3: move slot 517: shard-2 -#62; shard-3
  n_shard_3-->>n_mover: copy: 6.8M rows

D2

direction: right

n_app: "Чат-приложение" {
  shape: rectangle
}
n_api: "API чата" {
  shape: rectangle
}
n_shard_0: "Шард 0" {
  shape: cylinder
}
n_shard_1: "Шард 1" {
  shape: cylinder
}
n_shard_2: "Шард 2" {
  shape: cylinder
}
n_shard_3: "Шард 3" {
  shape: cylinder
}
n_mover: "Перенос данных" {
  shape: rectangle
  style.multiple: true
}

n_app -> n_api
n_api -> n_shard_0
n_api -> n_shard_1
n_api -> n_shard_2
n_api -> n_shard_3
n_shard_2 -> n_mover
n_mover -> n_shard_3

PlantUML: последовательность запросов

@startuml
participant "API чата" as n_api
database "База сообщений" as n_db
database "Шард 2" as n_shard_2
database "Шард 1" as n_shard_1
database "Шард 0" as n_shard_0
participant "Перенос данных" as n_mover
database "Шард 3" as n_shard_3
note over n_api, n_db : Один сервер, 6 ТБ сообщений
n_api -> n_db : INSERT INTO messages (chat_id, sender_id, body)
n_db --> n_api : INSERT 0 1
note over n_api, n_shard_2 : Делим по диапазону дат
n_api -> n_shard_2 : route INSERT messages
n_shard_2 --> n_api : key: created_at = 2026-11-18
note over n_api, n_shard_2 : Каждое новое сообщение бьёт в один шард
n_api -> n_shard_2 : INSERT INTO messages (chat_id, sender_id, body)
n_shard_2 --> n_api : ERROR: canceling statement due to statement timeout
note over n_api, n_shard_2 : Шардируем по хешу chat_id
n_api -> n_shard_2 : route INSERT messages
n_shard_2 --> n_api : key: chat_id = c_8812
note over n_api, n_shard_2 : Запрос без ключа шардирования опрашивает все шарды
n_api -> n_shard_2 : [дубль] query messages WHERE sender_id = 'u_42'
n_shard_2 --> n_api : -> shard-0: 20 rows, 41 ms
note over n_api, n_shard_1 : Один огромный канал греет один шард
n_api -> n_shard_1 : top keys, last 5 min (shard-1)
n_shard_1 --> n_api : chat_id=c_1 41% of writes
note over n_api, n_shard_0 : Режем горячий чат на бакеты
n_api -> n_shard_0 : route INSERT messages chat_id=c_1
n_shard_0 --> n_api : hot chat: 8 buckets
note over n_mover, n_shard_3 : Четвёртый шард, и % 4 двигает 75% строк
n_mover -> n_shard_3 : reshard: hash % 3 -> hash % 4
n_shard_3 --> n_mover : rows to check: 6.9B
note over n_mover, n_shard_3 : Фиксированные слоты: двигаем только долю нового шарда
n_mover -> n_shard_3 : move slot 517: shard-2 -> shard-3
n_shard_3 --> n_mover : copy: 6.8M rows
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Чат-приложение" as n_app
component "API чата" as n_api
database "Шард 0" as n_shard_0
database "Шард 1" as n_shard_1
database "Шард 2" as n_shard_2
database "Шард 3" as n_shard_3
collections "Перенос данных" as n_mover
n_app --> n_api
n_api --> n_shard_0
n_api --> n_shard_1
n_api --> n_shard_2
n_api --> n_shard_3
n_shard_2 --> n_mover
n_mover --> n_shard_3
@enduml

Итог

Шардирование разносит одну таблицу по серверам, когда она перестаёт помещаться на одном. Всё решает ключ шардирования.

1) Берите ключ, по которому фильтрует самый частый запрос. 2) Избегайте ключей, растущих со временем: хешируйте их. 3) Запросы без ключа расходятся на все шарды — держите их редкими. 4) Следите за горячими ключами и режьте их. 5) Маршрутизируйте через фиксированные слоты, чтобы новый шард забирал только свою долю.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Запрос p951 400 мс28 мс
Нагрузка горячего шарда98%42%
Шардов на запрос11
Крупнейший шард6 ТБ2,0 ТБ

Шаги

  1. Проблема Один сервер, 6 ТБ сообщений

    Каждое сообщение чата пишется в одну таблицу messages.

  2. Решение Делим по диапазону дат

    Разбиваем таблицу на три шарда — каждый отдельная база: 2024 на шарде 0, 2025 на шарде 1, 2026 на шарде 2.

  3. Проблема Каждое новое сообщение бьёт в один шард

    Все новые сообщения — сегодняшние, поэтому каждая запись падает на шард 2.

  4. Решение Шардируем по хешу chat_id

    Новый ключ шардирования — chat_id, а шард — hash(chat_id) % 3.

  5. Кейс Запрос без ключа шардирования опрашивает все шарды

    Новая функция: «все мои отправленные сообщения».

  6. Проблема Один огромный канал греет один шард

    Публичный канал c_1 с 2 миллионами участников становится вирусным.

  7. Решение Режем горячий чат на бакеты

    Для чатов, помеченных горячими, ключ становится (chat_id, bucket), где bucket — msg_id % 8.

  8. Проблема Четвёртый шард, и % 4 двигает 75% строк

    Шарды выросли до 2,6 ТБ, добавляем шард 3.

  9. Решение Фиксированные слоты: двигаем только долю нового шарда

    Маршрутизируем в два шага: hash % 1024 выбирает слот, а маленькая карта назначает каждый слот шарду.

  10. Итоги Итоги

    Шардирование разносит одну таблицу по серверам, когда она перестаёт помещаться на одном.

Термины

Шардирование
Разделение таблицы, которая не помещается на один сервер, по строкам между несколькими серверами (шардами). Где лежит каждая строка, решает ключ шардирования.
Ключ шардирования
Значение, которое решает, на каком шарде лежит строка. Берут колонку, по которой фильтрует самый частый запрос, а растущий со временем ключ хешируют, иначе греется один шард.
Горячий ключ
Один ключ, на который приходится несоразмерно много нагрузки, например огромный канал или товар на распродаже. Он перегревает один шард или узел кеша, поэтому его режут на бакеты.