Шпаргалка · Разборы реальных систем
Разбор: как Discord хранит сообщения
Проблема
От одной коллекции MongoDB к Cassandra, а затем к ScyllaDB: как Discord сохранил триллионы сообщений доступными для чтения. Ключ партиции, tombstone, горячие партиции, data-сервисы со склейкой запросов и миграция на 3,2 млн сообщений в секунду. Источники: https://discord.com/blog/how-discord-stores-billions-of-messages и https://discord.com/blog/how-discord-stores-trillions-of-messages
Чему вы научитесь
- Почему ключ партиции (канал, временной бакет) держит партиции маленькими
- Как удаления превращаются в tombstone и чего они стоят при чтении
- Горячая партиция: один занятой канал тормозит целый узел
- Data-сервисы: склейка запросов и маршрутизация по консистентному хешу канала
- Как большую живую миграцию сделали быстрой, проверили и довели до конца
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_users(["Пользователи"])
n_api["API-монолит"]
n_ds["Data-сервис A"]
n_ds2["Data-сервис B"]
n_scylla[("ScyllaDB")]
n_users --> n_api
n_api --> n_ds
n_api --> n_ds2
n_ds --> n_scylla
n_ds2 --> n_scyllaMermaid: последовательность запросов
sequenceDiagram
participant n_api as API-монолит
participant n_mongo as MongoDB
participant n_n2 as Узел Cassandra 2
participant n_n1 as Узел Cassandra 1
participant n_ds as Data-сервис A
participant n_ds2 as Data-сервис B
participant n_mig as Мигратор на Rust
participant n_scylla as ScyllaDB
Note over n_api,n_mongo: 2015: одна коллекция, один индекс
n_api->>n_mongo: db.messages.find({ channel_id: 1234 }).sort({ created_at: -1 }).limit(50)
Note over n_api,n_n2: Cassandra: канал, разбитый на временные бакеты
n_api->>n_n2: CREATE TABLE messages (
Note over n_api,n_n2: Удалённые сообщения всё равно стоят чтений
n_api->>n_n2: SELECT * FROM messages WHERE channel_id = 1234 AND bucket = 41 LIMIT 50#59;
n_n2-->>n_api: 1 row (about 20 s)
Note over n_api,n_n1: От 12 узлов к 177
n_api->>n_n1: cluster cassandra-messages, early 2022
Note over n_api,n_n2: Один занятой канал тормозит целый узел
n_api->>n_n2: CONSISTENCY QUORUM#59;
n_n2-->>n_api: slow: one (channel_id, bucket) partition, one set of replicas
Note over n_api,n_n1: Компакция отстаёт, паузы GC растут
n_api->>n_n1: n1: pending compactions keep growing
Note over n_api,n_ds: Data-сервис между API и базой
n_api->>n_ds: gRPC: get messages (simplified)
Note over n_ds,n_n2: Склейка запросов: один запрос на много читателей
n_ds->>n_n2: many users ask for the same row at the same time
Note over n_api,n_ds2: Маршрутизация по каналу через консистентный хеш
n_api->>n_ds2: routing key: channel_id
Note over n_mig,n_scylla: Перенос триллионов сообщений в ScyllaDB
n_mig->>n_scylla: migrator (Rust): token range done, checkpoint saved to SQLite
Note over n_ds,n_scylla: Меньше узлов, ровная задержка
n_ds->>n_scylla: after the switch to ScyllaDB (May 2022)D2
direction: right
n_users: "Пользователи" {
shape: rectangle
}
n_api: "API-монолит" {
shape: rectangle
}
n_ds: "Data-сервис A" {
shape: rectangle
}
n_ds2: "Data-сервис B" {
shape: rectangle
}
n_scylla: "ScyllaDB" {
shape: cylinder
}
n_users -> n_api
n_api -> n_ds
n_api -> n_ds2
n_ds -> n_scylla
n_ds2 -> n_scyllaPlantUML: последовательность запросов
@startuml
participant "API-монолит" as n_api
database "MongoDB" as n_mongo
database "Узел Cassandra 2" as n_n2
database "Узел Cassandra 1" as n_n1
participant "Data-сервис A" as n_ds
participant "Data-сервис B" as n_ds2
participant "Мигратор на Rust" as n_mig
database "ScyllaDB" as n_scylla
note over n_api, n_mongo : 2015: одна коллекция, один индекс
n_api -> n_mongo : db.messages.find({ channel_id: 1234 }).sort({ created_at: -1 }).limit(50)
note over n_api, n_n2 : Cassandra: канал, разбитый на временные бакеты
n_api -> n_n2 : CREATE TABLE messages (
note over n_api, n_n2 : Удалённые сообщения всё равно стоят чтений
n_api -> n_n2 : SELECT * FROM messages WHERE channel_id = 1234 AND bucket = 41 LIMIT 50;
n_n2 --> n_api : 1 row (about 20 s)
note over n_api, n_n1 : От 12 узлов к 177
n_api -> n_n1 : cluster cassandra-messages, early 2022
note over n_api, n_n2 : Один занятой канал тормозит целый узел
n_api -> n_n2 : CONSISTENCY QUORUM;
n_n2 --> n_api : slow: one (channel_id, bucket) partition, one set of replicas
note over n_api, n_n1 : Компакция отстаёт, паузы GC растут
n_api -> n_n1 : n1: pending compactions keep growing
note over n_api, n_ds : Data-сервис между API и базой
n_api -> n_ds : gRPC: get messages (simplified)
note over n_ds, n_n2 : Склейка запросов: один запрос на много читателей
n_ds -> n_n2 : many users ask for the same row at the same time
note over n_api, n_ds2 : Маршрутизация по каналу через консистентный хеш
n_api -> n_ds2 : routing key: channel_id
note over n_mig, n_scylla : Перенос триллионов сообщений в ScyllaDB
n_mig -> n_scylla : migrator (Rust): token range done, checkpoint saved to SQLite
note over n_ds, n_scylla : Меньше узлов, ровная задержка
n_ds -> n_scylla : after the switch to ScyllaDB (May 2022)
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Пользователи" as n_users
component "API-монолит" as n_api
component "Data-сервис A" as n_ds
component "Data-сервис B" as n_ds2
database "ScyllaDB" as n_scylla
n_users --> n_api
n_api --> n_ds
n_api --> n_ds2
n_ds --> n_scylla
n_ds2 --> n_scylla
@endumlИтог
Что взять из истории Discord.
1) Выбирайте ключ партиции по тому, как читаете, и ограничивайте его: канал плюс временной бакет. 2) Удаление — это запись; tombstone и компакция входят в стоимость чтения. 3) Неравномерные ключи дают горячие партиции; защищайте базу слоем перед ней. 4) Склеивайте одинаковые чтения и маршрутизируйте по тому же ключу, чтобы они встречались. 5) Для большой миграции сделайте копировщик быстрым и возобновляемым и сравните чтения из обоих хранилищ перед переключением.
Источники: https://discord.com/blog/how-discord-stores-billions-of-messages и https://discord.com/blog/how-discord-stores-trillions-of-messages
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| p99 чтения | 5 мс | 15 мс |
| p99 записи | 70 мс | 5 мс |
| Узлов БД | 12 | 72 |
Шаги
- Кейс 2015: одна коллекция, один индекс
Сначала Discord хранил все сообщения в одной коллекции MongoDB с составным индексом по
channel_idиcreated_at. - Решение Cassandra: канал, разбитый на временные бакеты
Discord перенёс сообщения в Cassandra.
- Проблема Удалённые сообщения всё равно стоят чтений
В Cassandra удаление — это запись: tombstone, который прячет старое значение, пока компакция не уберёт оба.
- Кейс От 12 узлов к 177
К началу 2022 года в кластере сообщений было 177 узлов и триллионы сообщений.
- Проблема Один занятой канал тормозит целый узел
Большой сервер публикует объявление, и огромное число людей одновременно открывает один и тот же канал.
- Проблема Компакция отстаёт, паузы GC растут
Cassandra в фоне сливает свои файлы (компакция).
- Решение Data-сервис между API и базой
Discord поставил data-сервисы между API-монолитом и кластерами баз.
- Решение Склейка запросов: один запрос на много читателей
Когда много пользователей одновременно просят одну и ту же строку, data-сервис идёт в базу только один раз.
- Решение Маршрутизация по каналу через консистентный хеш
Запросы маршрутизируются по ключу; для сообщений ключ — id канала.
- Решение Перенос триллионов сообщений в ScyllaDB
ScyllaDB совместима с Cassandra, написана на C++, не имеет сборщика мусора и делит работу по ядрам CPU.
- Кейс Меньше узлов, ровная задержка
Discord переключился на ScyllaDB в мае 2022 года.
- Итоги Итог
Что взять из истории Discord.