Данные и хранение / 3 / 11
Движки хранения: B-tree и LSM
Парк датчиков шлёт 50 000 показаний в секунду, и B-tree таблица не справляется. Проходим путь записи через LSM-движок: WAL, memtable, SSTable и compaction — и смотрим, чем за это платят чтения.
- 15 мин
- Продвинутый
- 11 шагов
- Принято записей
- 8 000 /с
- Усиление записи
- 10 x
- Мест на одно чтение
- 1
- Чтение p99
- 3 мс
- запрос
- ответ
- повторная доставка
- дубликат
- потеряно
Цифры — модельный сценарий, не замеры
Настоящий запрос
Сервис приёма → B-tree таблицаЗапрос
INSERT INTO readings (sensor_id, ts, value)1
VALUES ('s_1093', 1795392843, 21.4);
Ответ
INSERT 0 1
wal: +96 bytes2
page 81233: dirty, 8192 bytes to flush3
sensor_id— Первая колонка ключа. Показания 10 000 датчиков ложатся на 10 000 разных страниц.wal— Запись в журнал упреждающей записи: маленькая и последовательная. Эта часть дешёвая.dirty— Страница изменена в памяти. Рано или поздно все 8 КБ будут записаны обратно.
Курс: Уроков: 42
01 Основы
02 Масштабирование
03 Данные и хранение
04 Взаимодействие
05 Надёжность
06 Архитектура
07 Безопасность
08 Поставка
09 Целые системы
10 Бизнес-процессы