mufassall

Шпаргалка · Данные и хранение

SQL и NoSQL

13 мин · Начальный · mufassall.dtwin.uz/ru/l/sql-nosql/

← Открыть урок

Проблема

Один магазин, несколько видов данных. Заказам нужны join и транзакции, странице заказа — одно чтение, просмотры страниц идут десятками тысяч в секунду, корзину берут по одному ключу. Как выбирать хранилище по тому, как данные читают и пишут, и что бывает, когда меняются вопросы.

Чему вы научитесь

  • Что даёт реляционная база: join, транзакции, новые вопросы без переделки схемы
  • Документное хранилище: весь объект за одно чтение, под один сценарий доступа
  • Wide-column: огромный поток записей, но по таблице на каждый вопрос
  • Key-value: самый быстрый поиск по ключу — и больше ничего
Итоговая сцена
45%40%15%20%65%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_client(["Приложение магазина"])
  n_api["API"]
  n_sql[("Реляционная БД")]
  n_docs[("Документное хранилище")]
  n_events[("Wide-column хранилище")]
  n_kv{{"Key-value хранилище"}}
  n_client --> n_api
  n_api --> n_sql
  n_api --> n_docs
  n_api --> n_events
  n_api --> n_kv

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API
  participant n_sql as Реляционная БД
  participant n_docs as Документное хранилище
  participant n_events as Wide-column хранилище
  participant n_kv as Key-value хранилище
  Note over n_api,n_sql: Реляционная модель: данные в таблицах, соединяются при чтении
  n_api->>n_sql: SELECT o.id, o.created_at, p.name, i.qty
  n_sql-->>n_api: 3 rows in 4 ms
  Note over n_api,n_sql: Транзакция: всё или ничего
  n_api->>n_sql: BEGIN#59;
  n_sql-->>n_api: COMMIT
  Note over n_api,n_docs: Документ: весь заказ за одно чтение
  n_api->>n_docs: db.orders.findOne({ _id: #34;o_901#34; })
  n_docs-->>n_api: 1 document
  Note over n_api,n_docs: Новый вопрос, под который модель не строили
  n_api->>n_docs: db.orders.find({ #34;items.sku#34;: #34;p_17#34; })
  n_docs-->>n_api: stage: COLLSCAN
  Note over n_api,n_sql: Тот же вопрос в SQL
  n_api->>n_sql: SELECT product_id, SUM(qty)
  n_sql-->>n_api: Index Scan using order_items_product_idx
  Note over n_api,n_sql: Просмотры страниц заливают реляционную базу
  n_api->>n_sql: INSERT INTO page_views (user_id, page, ts)
  n_sql-->>n_api: ERROR: sorry, too many clients already
  Note over n_api,n_events: Wide-column хранилище для потока событий
  n_api->>n_events: INSERT INTO views_by_user (user_id, ts, page)
  n_events-->>n_api: Applied
  Note over n_api,n_events: Запрос по колонке, которая не ключ
  n_api->>n_events: SELECT user_id FROM views_by_user
  n_events-->>n_api: InvalidRequest: Cannot execute this query
  Note over n_api,n_events: По таблице на каждый вопрос
  n_api->>n_events: BEGIN BATCH
  n_events-->>n_api: Applied
  Note over n_api,n_kv: Key-value хранилище для корзины
  n_api->>n_kv: HGETALL cart:u_42
  n_kv-->>n_api: 1) #34;p_17#34;

D2

direction: right

n_client: "Приложение магазина" {
  shape: rectangle
}
n_api: "API" {
  shape: rectangle
}
n_sql: "Реляционная БД" {
  shape: cylinder
}
n_docs: "Документное хранилище" {
  shape: cylinder
}
n_events: "Wide-column хранилище" {
  shape: cylinder
}
n_kv: "Key-value хранилище" {
  shape: hexagon
}

n_client -> n_api
n_api -> n_sql
n_api -> n_docs
n_api -> n_events
n_api -> n_kv

PlantUML: последовательность запросов

@startuml
participant "API" as n_api
database "Реляционная БД" as n_sql
database "Документное хранилище" as n_docs
database "Wide-column хранилище" as n_events
collections "Key-value хранилище" as n_kv
note over n_api, n_sql : Реляционная модель: данные в таблицах, соединяются при чтении
n_api -> n_sql : SELECT o.id, o.created_at, p.name, i.qty
n_sql --> n_api : 3 rows in 4 ms
note over n_api, n_sql : Транзакция: всё или ничего
n_api -> n_sql : BEGIN;
n_sql --> n_api : COMMIT
note over n_api, n_docs : Документ: весь заказ за одно чтение
n_api -> n_docs : db.orders.findOne({ _id: "o_901" })
n_docs --> n_api : 1 document
note over n_api, n_docs : Новый вопрос, под который модель не строили
n_api -> n_docs : db.orders.find({ "items.sku": "p_17" })
n_docs --> n_api : stage: COLLSCAN
note over n_api, n_sql : Тот же вопрос в SQL
n_api -> n_sql : SELECT product_id, SUM(qty)
n_sql --> n_api : Index Scan using order_items_product_idx
note over n_api, n_sql : Просмотры страниц заливают реляционную базу
n_api -> n_sql : INSERT INTO page_views (user_id, page, ts)
n_sql --> n_api : ERROR: sorry, too many clients already
note over n_api, n_events : Wide-column хранилище для потока событий
n_api -> n_events : INSERT INTO views_by_user (user_id, ts, page)
n_events --> n_api : Applied
note over n_api, n_events : Запрос по колонке, которая не ключ
n_api -> n_events : SELECT user_id FROM views_by_user
n_events --> n_api : InvalidRequest: Cannot execute this query
note over n_api, n_events : По таблице на каждый вопрос
n_api -> n_events : BEGIN BATCH
n_events --> n_api : Applied
note over n_api, n_kv : Key-value хранилище для корзины
n_api -> n_kv : HGETALL cart:u_42
n_kv --> n_api : 1) "p_17"
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение магазина" as n_client
component "API" as n_api
database "Реляционная БД" as n_sql
database "Документное хранилище" as n_docs
database "Wide-column хранилище" as n_events
stack "Key-value хранилище" as n_kv
n_client --> n_api
n_api --> n_sql
n_api --> n_docs
n_api --> n_events
n_api --> n_kv
@enduml

Итог

Выбирайте хранилище по тому, как используются данные.

1) Реляционная база: join, транзакции и новые вопросы без переделки схемы; выбор по умолчанию для бизнес-данных. 2) Документное: один объект за одно чтение, когда сценарий доступа известен. 3) Wide-column: очень большой поток записей, таблица на каждый вопрос. 4) Key-value: поиск по ключу и ничего больше. Одна система часто использует несколько сразу.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Запрос p9528 мс4 мс
Строк прочитано на запрос31
Принято записей400/с40 000/с

Шаги

  1. Кейс Реляционная модель: данные в таблицах, соединяются при чтении

    Заказы, строки заказов и товары лежат в отдельных таблицах.

  2. Кейс Транзакция: всё или ничего

    Оформление заказа — это две записи: создать заказ и списать лампы со склада.

  3. Кейс Документ: весь заказ за одно чтение

    Документное хранилище держит заказ одним JSON-объектом, позиции и названия товаров внутри него.

  4. Проблема Новый вопрос, под который модель не строили

    Бизнес спрашивает: «в каких заказах есть лампа p_17?».

  5. Решение Тот же вопрос в SQL

    В реляционной базе строки заказов — уже отдельная таблица с индексом по product_id.

  6. Проблема Просмотры страниц заливают реляционную базу

    Новая функция записывает каждый просмотр страницы: 40 000 вставок в секунду.

  7. Решение Wide-column хранилище для потока событий

    Просмотры переезжают в wide-column хранилище.

  8. Проблема Запрос по колонке, которая не ключ

    Теперь спрашивают: «кто смотрел страницу этого заказа?».

  9. Решение По таблице на каждый вопрос

    Решение — хранить тот же просмотр дважды: один раз с разбиением по пользователю, второй — по странице.

  10. Кейс Key-value хранилище для корзины

    Корзину читают и пишут только по ID пользователя, много раз за визит.

  11. Итоги Итоги

    Выбирайте хранилище по тому, как используются данные.

Термины

NoSQL (документ, wide-column, key-value)
Нереляционные хранилища: документное отдаёт весь объект за одно чтение, wide-column держит огромный поток записей, key-value ищет только по ключу. Они заточены под заранее известный сценарий, а реляционная база открыта новым вопросам.