Разборы реальных систем / 1 / 2
Разбор: как Discord хранит сообщения
От одной коллекции MongoDB к Cassandra, а затем к ScyllaDB: как Discord сохранил триллионы сообщений доступными для чтения. Ключ партиции, tombstone, горячие партиции, data-сервисы со склейкой запросов и миграция на 3,2 млн сообщений в секунду. Источники: https://discord.com/blog/how-discord-stores-billions-of-messages и https://discord.com/blog/how-discord-stores-trillions-of-messages
- 16 мин
- Продвинутый
- 12 шагов
- p99 чтения
- —
- p99 записи
- —
- Узлов БД
- —
- запрос
- ответ
- повторная доставка
- дубликат
- потеряно
Цифры — модельный сценарий, не замеры
Настоящий запрос
API-монолит → MongoDBЗапрос
db.messages.find({ channel_id: 1234 }).sort({ created_at: -1 }).limit(50)12
index: { channel_id: 1, created_at: -1 }
stored: about 100 000 000 messages (November 2015)
-- the data and the index no longer fit in RAM3
channel_id— Любое чтение чата — «последние сообщения одного канала».created_at— Порядок сортировки. Позже заменён на Snowflake id: у двух сообщений может быть одно время.RAM— Когда индекс не влезает в память, каждое чтение может пойти на диск.
Соберите самиШпаргалкаСравнение уроков
Курс: Уроков: 74
01 Основы
02 Масштабирование
03 Данные и хранение
04 Взаимодействие
05 Надёжность
06 Архитектура
07 Безопасность
08 Поставка
09 Целые системы
10 Бизнес-процессы
11 Разборы реальных систем