Шпаргалка · Данные и хранение
SQL и NoSQL
Проблема
Один магазин, несколько видов данных. Заказам нужны join и транзакции, странице заказа — одно чтение, просмотры страниц идут десятками тысяч в секунду, корзину берут по одному ключу. Как выбирать хранилище по тому, как данные читают и пишут, и что бывает, когда меняются вопросы.
Чему вы научитесь
- Что даёт реляционная база: join, транзакции, новые вопросы без переделки схемы
- Документное хранилище: весь объект за одно чтение, под один сценарий доступа
- Wide-column: огромный поток записей, но по таблице на каждый вопрос
- Key-value: самый быстрый поиск по ключу — и больше ничего
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_client(["Приложение магазина"])
n_api["API"]
n_sql[("Реляционная БД")]
n_docs[("Документное хранилище")]
n_events[("Wide-column хранилище")]
n_kv{{"Key-value хранилище"}}
n_client --> n_api
n_api --> n_sql
n_api --> n_docs
n_api --> n_events
n_api --> n_kvMermaid: последовательность запросов
sequenceDiagram
participant n_api as API
participant n_sql as Реляционная БД
participant n_docs as Документное хранилище
participant n_events as Wide-column хранилище
participant n_kv as Key-value хранилище
Note over n_api,n_sql: Реляционная модель: данные в таблицах, соединяются при чтении
n_api->>n_sql: SELECT o.id, o.created_at, p.name, i.qty
n_sql-->>n_api: 3 rows in 4 ms
Note over n_api,n_sql: Транзакция: всё или ничего
n_api->>n_sql: BEGIN#59;
n_sql-->>n_api: COMMIT
Note over n_api,n_docs: Документ: весь заказ за одно чтение
n_api->>n_docs: db.orders.findOne({ _id: #34;o_901#34; })
n_docs-->>n_api: 1 document
Note over n_api,n_docs: Новый вопрос, под который модель не строили
n_api->>n_docs: db.orders.find({ #34;items.sku#34;: #34;p_17#34; })
n_docs-->>n_api: stage: COLLSCAN
Note over n_api,n_sql: Тот же вопрос в SQL
n_api->>n_sql: SELECT product_id, SUM(qty)
n_sql-->>n_api: Index Scan using order_items_product_idx
Note over n_api,n_sql: Просмотры страниц заливают реляционную базу
n_api->>n_sql: INSERT INTO page_views (user_id, page, ts)
n_sql-->>n_api: ERROR: sorry, too many clients already
Note over n_api,n_events: Wide-column хранилище для потока событий
n_api->>n_events: INSERT INTO views_by_user (user_id, ts, page)
n_events-->>n_api: Applied
Note over n_api,n_events: Запрос по колонке, которая не ключ
n_api->>n_events: SELECT user_id FROM views_by_user
n_events-->>n_api: InvalidRequest: Cannot execute this query
Note over n_api,n_events: По таблице на каждый вопрос
n_api->>n_events: BEGIN BATCH
n_events-->>n_api: Applied
Note over n_api,n_kv: Key-value хранилище для корзины
n_api->>n_kv: HGETALL cart:u_42
n_kv-->>n_api: 1) #34;p_17#34;D2
direction: right
n_client: "Приложение магазина" {
shape: rectangle
}
n_api: "API" {
shape: rectangle
}
n_sql: "Реляционная БД" {
shape: cylinder
}
n_docs: "Документное хранилище" {
shape: cylinder
}
n_events: "Wide-column хранилище" {
shape: cylinder
}
n_kv: "Key-value хранилище" {
shape: hexagon
}
n_client -> n_api
n_api -> n_sql
n_api -> n_docs
n_api -> n_events
n_api -> n_kvPlantUML: последовательность запросов
@startuml
participant "API" as n_api
database "Реляционная БД" as n_sql
database "Документное хранилище" as n_docs
database "Wide-column хранилище" as n_events
collections "Key-value хранилище" as n_kv
note over n_api, n_sql : Реляционная модель: данные в таблицах, соединяются при чтении
n_api -> n_sql : SELECT o.id, o.created_at, p.name, i.qty
n_sql --> n_api : 3 rows in 4 ms
note over n_api, n_sql : Транзакция: всё или ничего
n_api -> n_sql : BEGIN;
n_sql --> n_api : COMMIT
note over n_api, n_docs : Документ: весь заказ за одно чтение
n_api -> n_docs : db.orders.findOne({ _id: "o_901" })
n_docs --> n_api : 1 document
note over n_api, n_docs : Новый вопрос, под который модель не строили
n_api -> n_docs : db.orders.find({ "items.sku": "p_17" })
n_docs --> n_api : stage: COLLSCAN
note over n_api, n_sql : Тот же вопрос в SQL
n_api -> n_sql : SELECT product_id, SUM(qty)
n_sql --> n_api : Index Scan using order_items_product_idx
note over n_api, n_sql : Просмотры страниц заливают реляционную базу
n_api -> n_sql : INSERT INTO page_views (user_id, page, ts)
n_sql --> n_api : ERROR: sorry, too many clients already
note over n_api, n_events : Wide-column хранилище для потока событий
n_api -> n_events : INSERT INTO views_by_user (user_id, ts, page)
n_events --> n_api : Applied
note over n_api, n_events : Запрос по колонке, которая не ключ
n_api -> n_events : SELECT user_id FROM views_by_user
n_events --> n_api : InvalidRequest: Cannot execute this query
note over n_api, n_events : По таблице на каждый вопрос
n_api -> n_events : BEGIN BATCH
n_events --> n_api : Applied
note over n_api, n_kv : Key-value хранилище для корзины
n_api -> n_kv : HGETALL cart:u_42
n_kv --> n_api : 1) "p_17"
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение магазина" as n_client
component "API" as n_api
database "Реляционная БД" as n_sql
database "Документное хранилище" as n_docs
database "Wide-column хранилище" as n_events
stack "Key-value хранилище" as n_kv
n_client --> n_api
n_api --> n_sql
n_api --> n_docs
n_api --> n_events
n_api --> n_kv
@endumlИтог
Выбирайте хранилище по тому, как используются данные.
1) Реляционная база: join, транзакции и новые вопросы без переделки схемы; выбор по умолчанию для бизнес-данных. 2) Документное: один объект за одно чтение, когда сценарий доступа известен. 3) Wide-column: очень большой поток записей, таблица на каждый вопрос. 4) Key-value: поиск по ключу и ничего больше. Одна система часто использует несколько сразу.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Запрос p95 | 28 мс | 4 мс |
| Строк прочитано на запрос | 3 | 1 |
| Принято записей | 400/с | 40 000/с |
Шаги
- Кейс Реляционная модель: данные в таблицах, соединяются при чтении
Заказы, строки заказов и товары лежат в отдельных таблицах.
- Кейс Транзакция: всё или ничего
Оформление заказа — это две записи: создать заказ и списать лампы со склада.
- Кейс Документ: весь заказ за одно чтение
Документное хранилище держит заказ одним JSON-объектом, позиции и названия товаров внутри него.
- Проблема Новый вопрос, под который модель не строили
Бизнес спрашивает: «в каких заказах есть лампа
p_17?». - Решение Тот же вопрос в SQL
В реляционной базе строки заказов — уже отдельная таблица с индексом по
product_id. - Проблема Просмотры страниц заливают реляционную базу
Новая функция записывает каждый просмотр страницы: 40 000 вставок в секунду.
- Решение Wide-column хранилище для потока событий
Просмотры переезжают в wide-column хранилище.
- Проблема Запрос по колонке, которая не ключ
Теперь спрашивают: «кто смотрел страницу этого заказа?».
- Решение По таблице на каждый вопрос
Решение — хранить тот же просмотр дважды: один раз с разбиением по пользователю, второй — по странице.
- Кейс Key-value хранилище для корзины
Корзину читают и пишут только по ID пользователя, много раз за визит.
- Итоги Итоги
Выбирайте хранилище по тому, как используются данные.
Термины
- NoSQL (документ, wide-column, key-value)
- Нереляционные хранилища: документное отдаёт весь объект за одно чтение, wide-column держит огромный поток записей, key-value ищет только по ключу. Они заточены под заранее известный сценарий, а реляционная база открыта новым вопросам.