mufassall

Данные и хранение / 3 / 11

Движки хранения: B-tree и LSM

Парк датчиков шлёт 50 000 показаний в секунду, и B-tree таблица не справляется. Проходим путь записи через LSM-движок: WAL, memtable, SSTable и compaction — и смотрим, чем за это платят чтения.

  • 15 мин
  • Продвинутый
  • 11 шагов
Принято записей
8 000 /с
Усиление записи
10 x
Мест на одно чтение
1
Чтение p99
3 мс
В Лабораторию
20%30%
  • запрос
  • ответ
  • повторная доставка
  • дубликат
  • потеряно

Цифры — модельный сценарий, не замеры

Настоящий запрос

Сервис приёма → B-tree таблица

Запрос

INSERT INTO readings (sensor_id, ts, value)1
VALUES ('s_1093', 1795392843, 21.4);

Ответ

INSERT 0 1
wal: +96 bytes2
page 81233: dirty, 8192 bytes to flush3
  1. sensor_id — Первая колонка ключа. Показания 10 000 датчиков ложатся на 10 000 разных страниц.
  2. wal — Запись в журнал упреждающей записи: маленькая и последовательная. Эта часть дешёвая.
  3. dirty — Страница изменена в памяти. Рано или поздно все 8 КБ будут записаны обратно.
Курс: Уроков: 42
  1. 01 Основы

    1. Жизнь одного запроса
    2. Задержка и пропускная способность
    3. Оценка на салфетке
  2. 02 Масштабирование

    1. Вертикальное и горизонтальное масштабирование
    2. Балансировка нагрузки
    3. Серверы без состояния
    4. Кеширование
    5. CDN и кеш на краю сети
  3. 03 Данные и хранение

    1. SQL и NoSQL
    2. Индексы в базе данных
    3. Движки хранения: B-tree и LSM
    4. Репликация базы данных
    5. Шардирование
    6. Консистентное хеширование
    7. Уникальные идентификаторы
    8. CAP: когда рвётся связь
    9. Консенсус и выбор лидера
    10. Транзакции
    11. Загрузка файлов
  4. 04 Взаимодействие

    1. Стили API
    2. Очереди сообщений
    3. Pub/sub и журнал событий
    4. Обновления в реальном времени
    5. Надёжные колбэки
  5. 05 Надёжность

    1. Резервирование и failover
    2. Rate limiting
    3. Таймауты и ретраи
    4. Наблюдаемость
  6. 06 Архитектура

    1. Микросервисы
    2. Обнаружение сервисов
    3. Саги и outbox
    4. Batch и stream
  7. 07 Безопасность

    1. Аутентификация
    2. Авторизация
    3. Шифрование и секреты
  8. 08 Поставка

    1. Тестирование
    2. CI/CD: от коммита до продакшена
  9. 09 Целые системы

    1. От требований к дизайну
    2. Проектируем сокращатель ссылок
    3. Проектируем ленту новостей
    4. Проектируем чат
  10. 10 Бизнес-процессы

    1. Платёжный шлюз