mufassall

Шпаргалка · Разборы реальных систем

Разбор: как Discord хранит сообщения

16 мин · Продвинутый · mufassall.dtwin.uz/ru/l/case-discord-messages/

← Открыть урок

Проблема

От одной коллекции MongoDB к Cassandra, а затем к ScyllaDB: как Discord сохранил триллионы сообщений доступными для чтения. Ключ партиции, tombstone, горячие партиции, data-сервисы со склейкой запросов и миграция на 3,2 млн сообщений в секунду. Источники: https://discord.com/blog/how-discord-stores-billions-of-messages и https://discord.com/blog/how-discord-stores-trillions-of-messages

Чему вы научитесь

  • Почему ключ партиции (канал, временной бакет) держит партиции маленькими
  • Как удаления превращаются в tombstone и чего они стоят при чтении
  • Горячая партиция: один занятой канал тормозит целый узел
  • Data-сервисы: склейка запросов и маршрутизация по консистентному хешу канала
  • Как большую живую миграцию сделали быстрой, проверили и довели до конца
Итоговая сцена
30%40%40%40%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_users(["Пользователи"])
  n_api["API-монолит"]
  n_ds["Data-сервис A"]
  n_ds2["Data-сервис B"]
  n_scylla[("ScyllaDB")]
  n_users --> n_api
  n_api --> n_ds
  n_api --> n_ds2
  n_ds --> n_scylla
  n_ds2 --> n_scylla

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API-монолит
  participant n_mongo as MongoDB
  participant n_n2 as Узел Cassandra 2
  participant n_n1 as Узел Cassandra 1
  participant n_ds as Data-сервис A
  participant n_ds2 as Data-сервис B
  participant n_mig as Мигратор на Rust
  participant n_scylla as ScyllaDB
  Note over n_api,n_mongo: 2015: одна коллекция, один индекс
  n_api->>n_mongo: db.messages.find({ channel_id: 1234 }).sort({ created_at: -1 }).limit(50)
  Note over n_api,n_n2: Cassandra: канал, разбитый на временные бакеты
  n_api->>n_n2: CREATE TABLE messages (
  Note over n_api,n_n2: Удалённые сообщения всё равно стоят чтений
  n_api->>n_n2: SELECT * FROM messages WHERE channel_id = 1234 AND bucket = 41 LIMIT 50#59;
  n_n2-->>n_api: 1 row (about 20 s)
  Note over n_api,n_n1: От 12 узлов к 177
  n_api->>n_n1: cluster cassandra-messages, early 2022
  Note over n_api,n_n2: Один занятой канал тормозит целый узел
  n_api->>n_n2: CONSISTENCY QUORUM#59;
  n_n2-->>n_api: slow: one (channel_id, bucket) partition, one set of replicas
  Note over n_api,n_n1: Компакция отстаёт, паузы GC растут
  n_api->>n_n1: n1: pending compactions keep growing
  Note over n_api,n_ds: Data-сервис между API и базой
  n_api->>n_ds: gRPC: get messages (simplified)
  Note over n_ds,n_n2: Склейка запросов: один запрос на много читателей
  n_ds->>n_n2: many users ask for the same row at the same time
  Note over n_api,n_ds2: Маршрутизация по каналу через консистентный хеш
  n_api->>n_ds2: routing key: channel_id
  Note over n_mig,n_scylla: Перенос триллионов сообщений в ScyllaDB
  n_mig->>n_scylla: migrator (Rust): token range done, checkpoint saved to SQLite
  Note over n_ds,n_scylla: Меньше узлов, ровная задержка
  n_ds->>n_scylla: after the switch to ScyllaDB (May 2022)

D2

direction: right

n_users: "Пользователи" {
  shape: rectangle
}
n_api: "API-монолит" {
  shape: rectangle
}
n_ds: "Data-сервис A" {
  shape: rectangle
}
n_ds2: "Data-сервис B" {
  shape: rectangle
}
n_scylla: "ScyllaDB" {
  shape: cylinder
}

n_users -> n_api
n_api -> n_ds
n_api -> n_ds2
n_ds -> n_scylla
n_ds2 -> n_scylla

PlantUML: последовательность запросов

@startuml
participant "API-монолит" as n_api
database "MongoDB" as n_mongo
database "Узел Cassandra 2" as n_n2
database "Узел Cassandra 1" as n_n1
participant "Data-сервис A" as n_ds
participant "Data-сервис B" as n_ds2
participant "Мигратор на Rust" as n_mig
database "ScyllaDB" as n_scylla
note over n_api, n_mongo : 2015: одна коллекция, один индекс
n_api -> n_mongo : db.messages.find({ channel_id: 1234 }).sort({ created_at: -1 }).limit(50)
note over n_api, n_n2 : Cassandra: канал, разбитый на временные бакеты
n_api -> n_n2 : CREATE TABLE messages (
note over n_api, n_n2 : Удалённые сообщения всё равно стоят чтений
n_api -> n_n2 : SELECT * FROM messages WHERE channel_id = 1234 AND bucket = 41 LIMIT 50;
n_n2 --> n_api : 1 row (about 20 s)
note over n_api, n_n1 : От 12 узлов к 177
n_api -> n_n1 : cluster cassandra-messages, early 2022
note over n_api, n_n2 : Один занятой канал тормозит целый узел
n_api -> n_n2 : CONSISTENCY QUORUM;
n_n2 --> n_api : slow: one (channel_id, bucket) partition, one set of replicas
note over n_api, n_n1 : Компакция отстаёт, паузы GC растут
n_api -> n_n1 : n1: pending compactions keep growing
note over n_api, n_ds : Data-сервис между API и базой
n_api -> n_ds : gRPC: get messages (simplified)
note over n_ds, n_n2 : Склейка запросов: один запрос на много читателей
n_ds -> n_n2 : many users ask for the same row at the same time
note over n_api, n_ds2 : Маршрутизация по каналу через консистентный хеш
n_api -> n_ds2 : routing key: channel_id
note over n_mig, n_scylla : Перенос триллионов сообщений в ScyllaDB
n_mig -> n_scylla : migrator (Rust): token range done, checkpoint saved to SQLite
note over n_ds, n_scylla : Меньше узлов, ровная задержка
n_ds -> n_scylla : after the switch to ScyllaDB (May 2022)
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Пользователи" as n_users
component "API-монолит" as n_api
component "Data-сервис A" as n_ds
component "Data-сервис B" as n_ds2
database "ScyllaDB" as n_scylla
n_users --> n_api
n_api --> n_ds
n_api --> n_ds2
n_ds --> n_scylla
n_ds2 --> n_scylla
@enduml

Итог

Что взять из истории Discord.

1) Выбирайте ключ партиции по тому, как читаете, и ограничивайте его: канал плюс временной бакет. 2) Удаление — это запись; tombstone и компакция входят в стоимость чтения. 3) Неравномерные ключи дают горячие партиции; защищайте базу слоем перед ней. 4) Склеивайте одинаковые чтения и маршрутизируйте по тому же ключу, чтобы они встречались. 5) Для большой миграции сделайте копировщик быстрым и возобновляемым и сравните чтения из обоих хранилищ перед переключением.

Источники: https://discord.com/blog/how-discord-stores-billions-of-messages и https://discord.com/blog/how-discord-stores-trillions-of-messages

Показатели: в начале и в конце

ПоказательВ началеВ конце
p99 чтения5 мс15 мс
p99 записи70 мс5 мс
Узлов БД1272

Шаги

  1. Кейс 2015: одна коллекция, один индекс

    Сначала Discord хранил все сообщения в одной коллекции MongoDB с составным индексом по channel_id и created_at.

  2. Решение Cassandra: канал, разбитый на временные бакеты

    Discord перенёс сообщения в Cassandra.

  3. Проблема Удалённые сообщения всё равно стоят чтений

    В Cassandra удаление — это запись: tombstone, который прячет старое значение, пока компакция не уберёт оба.

  4. Кейс От 12 узлов к 177

    К началу 2022 года в кластере сообщений было 177 узлов и триллионы сообщений.

  5. Проблема Один занятой канал тормозит целый узел

    Большой сервер публикует объявление, и огромное число людей одновременно открывает один и тот же канал.

  6. Проблема Компакция отстаёт, паузы GC растут

    Cassandra в фоне сливает свои файлы (компакция).

  7. Решение Data-сервис между API и базой

    Discord поставил data-сервисы между API-монолитом и кластерами баз.

  8. Решение Склейка запросов: один запрос на много читателей

    Когда много пользователей одновременно просят одну и ту же строку, data-сервис идёт в базу только один раз.

  9. Решение Маршрутизация по каналу через консистентный хеш

    Запросы маршрутизируются по ключу; для сообщений ключ — id канала.

  10. Решение Перенос триллионов сообщений в ScyllaDB

    ScyllaDB совместима с Cassandra, написана на C++, не имеет сборщика мусора и делит работу по ядрам CPU.

  11. Кейс Меньше узлов, ровная задержка

    Discord переключился на ScyllaDB в мае 2022 года.

  12. Итоги Итог

    Что взять из истории Discord.