mufassall

Шпаргалка · Архитектура

Мультитенантность

14 мин · Продвинутый · mufassall.dtwin.uz/ru/l/multi-tenancy/

← Открыть урок

Проблема

B2B-сервис счетов держит 1 200 компаний-клиентов в одной базе. Один забытый `WHERE tenant_id` сливает счета, экспорт одного крупного клиента тормозит всех, одна миграция может сломать всех разом. Решения: изоляцию обеспечивает сама база, тенант берётся только из токена, квоты на тенанта, отдельный silo для крупного клиента за каталогом маршрутизации, ключ на тенанта и миграции волнами.

Чему вы научитесь

  • Почему фильтр tenant_id в коде приложения протекает и как row-level security с контекстом тенанта на транзакцию это останавливает
  • Откуда брать тенанта: из подписанного токена, а не из заголовка или URL, которые контролирует клиент
  • Шумный сосед: квоты на тенанта, 429 с заголовками лимита, тяжёлая работа через очередь
  • Pool, silo и bridge, маршрутизация по тенанту, ключи на тенанта и миграции волнами
Итоговая сцена
40%60%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_ta(["Малый тенант"])
  n_tb(["Крупный тенант"])
  n_api["API счетов"]
  n_db[("Общая БД")]
  n_exporter("Воркер экспорта")
  n_catalog[("Каталог тенантов")]
  n_db900[("Silo-БД")]
  n_kms>"Сервис ключей"]
  n_migrator("Раннер миграций")
  n_ta --> n_api
  n_tb --> n_api
  n_api --> n_db
  n_api -->|"асинхронно"| n_exporter
  n_exporter --> n_db
  n_api --> n_catalog
  n_api --> n_db900
  n_api --> n_kms
  n_migrator --> n_db
  n_migrator --> n_db900

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API счетов
  participant n_db as Общая БД
  participant n_tb as Крупный тенант
  participant n_catalog as Каталог тенантов
  participant n_kms as Сервис ключей
  participant n_migrator as Раннер миграций
  Note over n_api,n_db: 1 200 компаний, одна база
  n_api->>n_db: SELECT id, total FROM invoices
  n_db-->>n_api: 3 rows
  Note over n_api,n_db: Один забытый фильтр, 37 компаний в одном CSV
  n_api->>n_db: SELECT id, tenant_id, total FROM invoices
  n_db-->>n_api: 1840 rows
  Note over n_api,n_db: Row-level security: фильтр ставит база
  n_api->>n_db: ALTER TABLE invoices ENABLE ROW LEVEL SECURITY#59;
  n_db-->>n_api: 312 rows (t_900 only)
  Note over n_tb,n_api: Тенант пришёл из заголовка, который правит пользователь
  n_tb->>n_api: GET /v1/invoices?status=open HTTP/1.1
  n_api-->>n_tb: HTTP/1.1 200 OK
  Note over n_tb,n_api: Тенант только из подписанного токена
  n_tb->>n_api: Bearer token, decoded claims
  n_api-->>n_tb: tenant context = t_900 (from the token)
  Note over n_api,n_db: Экспорт одного тенанта тормозит всех
  n_api->>n_db: top tenants by DB time, last 5 min
  Note over n_tb,n_api: Квоты на тенанта и очередь экспорта
  n_tb->>n_api: POST /v1/exports HTTP/1.1
  n_api-->>n_tb: HTTP/1.1 429 Too Many Requests
  Note over n_api,n_catalog: Крупнейший тенант получает свою базу
  n_api->>n_catalog: SELECT cell, db_host, state FROM tenant_routes
  n_catalog-->>n_api: cell #124; db_host #124; state
  Note over n_api,n_kms: Свой ключ шифрования на тенанта
  n_api->>n_kms: POST /v1/keys/decrypt HTTP/1.1
  n_kms-->>n_api: HTTP/1.1 200 OK
  Note over n_migrator,n_db: Миграции волнами, а не всем разом
  n_migrator->>n_db: migrate 0042_invoice_currency

D2

direction: right

n_ta: "Малый тенант" {
  shape: rectangle
}
n_tb: "Крупный тенант" {
  shape: rectangle
}
n_api: "API счетов" {
  shape: rectangle
}
n_db: "Общая БД" {
  shape: cylinder
}
n_exporter: "Воркер экспорта" {
  shape: rectangle
  style.multiple: true
}
n_catalog: "Каталог тенантов" {
  shape: cylinder
}
n_db900: "Silo-БД" {
  shape: cylinder
}
n_kms: "Сервис ключей" {
  shape: cloud
}
n_migrator: "Раннер миграций" {
  shape: rectangle
  style.multiple: true
}

n_ta -> n_api
n_tb -> n_api
n_api -> n_db
n_api -> n_exporter: "асинхронно"
n_exporter -> n_db
n_api -> n_catalog
n_api -> n_db900
n_api -> n_kms
n_migrator -> n_db
n_migrator -> n_db900

PlantUML: последовательность запросов

@startuml
participant "API счетов" as n_api
database "Общая БД" as n_db
participant "Крупный тенант" as n_tb
database "Каталог тенантов" as n_catalog
boundary "Сервис ключей" as n_kms
participant "Раннер миграций" as n_migrator
note over n_api, n_db : 1 200 компаний, одна база
n_api -> n_db : SELECT id, total FROM invoices
n_db --> n_api : 3 rows
note over n_api, n_db : Один забытый фильтр, 37 компаний в одном CSV
n_api -> n_db : SELECT id, tenant_id, total FROM invoices
n_db --> n_api : 1840 rows
note over n_api, n_db : Row-level security: фильтр ставит база
n_api -> n_db : ALTER TABLE invoices ENABLE ROW LEVEL SECURITY;
n_db --> n_api : 312 rows (t_900 only)
note over n_tb, n_api : Тенант пришёл из заголовка, который правит пользователь
n_tb -> n_api : GET /v1/invoices?status=open HTTP/1.1
n_api --> n_tb : HTTP/1.1 200 OK
note over n_tb, n_api : Тенант только из подписанного токена
n_tb -> n_api : Bearer token, decoded claims
n_api --> n_tb : tenant context = t_900 (from the token)
note over n_api, n_db : Экспорт одного тенанта тормозит всех
n_api -> n_db : top tenants by DB time, last 5 min
note over n_tb, n_api : Квоты на тенанта и очередь экспорта
n_tb -> n_api : POST /v1/exports HTTP/1.1
n_api --> n_tb : HTTP/1.1 429 Too Many Requests
note over n_api, n_catalog : Крупнейший тенант получает свою базу
n_api -> n_catalog : SELECT cell, db_host, state FROM tenant_routes
n_catalog --> n_api : cell | db_host | state
note over n_api, n_kms : Свой ключ шифрования на тенанта
n_api -> n_kms : POST /v1/keys/decrypt HTTP/1.1
n_kms --> n_api : HTTP/1.1 200 OK
note over n_migrator, n_db : Миграции волнами, а не всем разом
n_migrator -> n_db : migrate 0042_invoice_currency
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Малый тенант" as n_ta
agent "Крупный тенант" as n_tb
component "API счетов" as n_api
database "Общая БД" as n_db
collections "Воркер экспорта" as n_exporter
database "Каталог тенантов" as n_catalog
database "Silo-БД" as n_db900
cloud "Сервис ключей" as n_kms
collections "Раннер миграций" as n_migrator
n_ta --> n_api
n_tb --> n_api
n_api --> n_db
n_api --> n_exporter : асинхронно
n_exporter --> n_db
n_api --> n_catalog
n_api --> n_db900
n_api --> n_kms
n_migrator --> n_db
n_migrator --> n_db900
@enduml

Итог

Шесть правил для многих клиентов в одной системе.

1) Не надейтесь, что каждый запрос помнит про tenant_id: обеспечьте это в базе через row-level security и SET LOCAL на транзакцию. 2) Тенант берётся только из подписанного токена; любой другой источник — ввод, который проверяют, а не которому верят. 3) Квоты и очереди на тенанта не дают одному клиенту забрать всё. 4) По умолчанию pool, silo для тех, кому нужно или кто платит, каталог, который маршрутизирует каждого тенанта. 5) Ключ на тенанта: утечка остаётся маленькой, уход клиента — удаление ключа. 6) Мигрируйте волнами, с канарейкой и версией схемы на тенанта.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Утёкшие строки00
p99 API120 мс140 мс
Задеты одним изменением100%1%

Шаги

  1. Кейс 1 200 компаний, одна база

    SaaS для счетов продаётся компаниям.

  2. Проблема Один забытый фильтр, 37 компаний в одном CSV

    Разработчик добавляет для t_900 отчёт «просроченные счета».

  3. Решение Row-level security: фильтр ставит база

    Политика на таблице добавляет tenant_id = текущий тенант к каждому запросу, даже к тому, который про него забыл.

  4. Проблема Тенант пришёл из заголовка, который правит пользователь

    API брал тенанта из заголовка X-Tenant-Id, который присылает веб-приложение.

  5. Решение Тенант только из подписанного токена

    При логине сервис идентификации записывает тенанта в access-токен и подписывает его.

  6. Проблема Экспорт одного тенанта тормозит всех

    Самый крупный клиент t_900 запускает экспорт счетов за семь лет, а потом ещё раз, потому что показалось медленно.

  7. Решение Квоты на тенанта и очередь экспорта

    API считает запросы и запущенные экспорты по каждому тенанту.

  8. Решение Крупнейший тенант получает свою базу

    t_900 — это 30% всех данных, и он платит за изолированную установку.

  9. Решение Свой ключ шифрования на тенанта

    У каждого тенанта свой ключ данных, обёрнутый мастер-ключом в сервисе ключей.

  10. Решение Миграции волнами, а не всем разом

    В прошлом квартале один ALTER TABLE заблокировал общую таблицу на 40 минут для всех тенантов.

  11. Итоги Итог

    Шесть правил для многих клиентов в одной системе.

Термины

Row-level security (RLS)
Политика базы, которая добавляет к каждому запросу к таблице условие вроде текущего тенанта, так что чужие строки не видны, даже если запрос забыл фильтр.
Шумный сосед
Один тенант в общей системе забирает столько CPU, диска или соединений, что тормозят все остальные.
Pool, silo и bridge
Модели изоляции тенантов: все делят ресурсы (pool), тенант получает свои (silo) или смесь с общим кодом и раздельными данными (bridge).