Шпаргалка · Архитектура
Мультитенантность
Проблема
B2B-сервис счетов держит 1 200 компаний-клиентов в одной базе. Один забытый `WHERE tenant_id` сливает счета, экспорт одного крупного клиента тормозит всех, одна миграция может сломать всех разом. Решения: изоляцию обеспечивает сама база, тенант берётся только из токена, квоты на тенанта, отдельный silo для крупного клиента за каталогом маршрутизации, ключ на тенанта и миграции волнами.
Чему вы научитесь
- Почему фильтр
tenant_idв коде приложения протекает и как row-level security с контекстом тенанта на транзакцию это останавливает - Откуда брать тенанта: из подписанного токена, а не из заголовка или URL, которые контролирует клиент
- Шумный сосед: квоты на тенанта, 429 с заголовками лимита, тяжёлая работа через очередь
- Pool, silo и bridge, маршрутизация по тенанту, ключи на тенанта и миграции волнами
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_ta(["Малый тенант"])
n_tb(["Крупный тенант"])
n_api["API счетов"]
n_db[("Общая БД")]
n_exporter("Воркер экспорта")
n_catalog[("Каталог тенантов")]
n_db900[("Silo-БД")]
n_kms>"Сервис ключей"]
n_migrator("Раннер миграций")
n_ta --> n_api
n_tb --> n_api
n_api --> n_db
n_api -->|"асинхронно"| n_exporter
n_exporter --> n_db
n_api --> n_catalog
n_api --> n_db900
n_api --> n_kms
n_migrator --> n_db
n_migrator --> n_db900Mermaid: последовательность запросов
sequenceDiagram
participant n_api as API счетов
participant n_db as Общая БД
participant n_tb as Крупный тенант
participant n_catalog as Каталог тенантов
participant n_kms as Сервис ключей
participant n_migrator as Раннер миграций
Note over n_api,n_db: 1 200 компаний, одна база
n_api->>n_db: SELECT id, total FROM invoices
n_db-->>n_api: 3 rows
Note over n_api,n_db: Один забытый фильтр, 37 компаний в одном CSV
n_api->>n_db: SELECT id, tenant_id, total FROM invoices
n_db-->>n_api: 1840 rows
Note over n_api,n_db: Row-level security: фильтр ставит база
n_api->>n_db: ALTER TABLE invoices ENABLE ROW LEVEL SECURITY#59;
n_db-->>n_api: 312 rows (t_900 only)
Note over n_tb,n_api: Тенант пришёл из заголовка, который правит пользователь
n_tb->>n_api: GET /v1/invoices?status=open HTTP/1.1
n_api-->>n_tb: HTTP/1.1 200 OK
Note over n_tb,n_api: Тенант только из подписанного токена
n_tb->>n_api: Bearer token, decoded claims
n_api-->>n_tb: tenant context = t_900 (from the token)
Note over n_api,n_db: Экспорт одного тенанта тормозит всех
n_api->>n_db: top tenants by DB time, last 5 min
Note over n_tb,n_api: Квоты на тенанта и очередь экспорта
n_tb->>n_api: POST /v1/exports HTTP/1.1
n_api-->>n_tb: HTTP/1.1 429 Too Many Requests
Note over n_api,n_catalog: Крупнейший тенант получает свою базу
n_api->>n_catalog: SELECT cell, db_host, state FROM tenant_routes
n_catalog-->>n_api: cell #124; db_host #124; state
Note over n_api,n_kms: Свой ключ шифрования на тенанта
n_api->>n_kms: POST /v1/keys/decrypt HTTP/1.1
n_kms-->>n_api: HTTP/1.1 200 OK
Note over n_migrator,n_db: Миграции волнами, а не всем разом
n_migrator->>n_db: migrate 0042_invoice_currencyD2
direction: right
n_ta: "Малый тенант" {
shape: rectangle
}
n_tb: "Крупный тенант" {
shape: rectangle
}
n_api: "API счетов" {
shape: rectangle
}
n_db: "Общая БД" {
shape: cylinder
}
n_exporter: "Воркер экспорта" {
shape: rectangle
style.multiple: true
}
n_catalog: "Каталог тенантов" {
shape: cylinder
}
n_db900: "Silo-БД" {
shape: cylinder
}
n_kms: "Сервис ключей" {
shape: cloud
}
n_migrator: "Раннер миграций" {
shape: rectangle
style.multiple: true
}
n_ta -> n_api
n_tb -> n_api
n_api -> n_db
n_api -> n_exporter: "асинхронно"
n_exporter -> n_db
n_api -> n_catalog
n_api -> n_db900
n_api -> n_kms
n_migrator -> n_db
n_migrator -> n_db900PlantUML: последовательность запросов
@startuml
participant "API счетов" as n_api
database "Общая БД" as n_db
participant "Крупный тенант" as n_tb
database "Каталог тенантов" as n_catalog
boundary "Сервис ключей" as n_kms
participant "Раннер миграций" as n_migrator
note over n_api, n_db : 1 200 компаний, одна база
n_api -> n_db : SELECT id, total FROM invoices
n_db --> n_api : 3 rows
note over n_api, n_db : Один забытый фильтр, 37 компаний в одном CSV
n_api -> n_db : SELECT id, tenant_id, total FROM invoices
n_db --> n_api : 1840 rows
note over n_api, n_db : Row-level security: фильтр ставит база
n_api -> n_db : ALTER TABLE invoices ENABLE ROW LEVEL SECURITY;
n_db --> n_api : 312 rows (t_900 only)
note over n_tb, n_api : Тенант пришёл из заголовка, который правит пользователь
n_tb -> n_api : GET /v1/invoices?status=open HTTP/1.1
n_api --> n_tb : HTTP/1.1 200 OK
note over n_tb, n_api : Тенант только из подписанного токена
n_tb -> n_api : Bearer token, decoded claims
n_api --> n_tb : tenant context = t_900 (from the token)
note over n_api, n_db : Экспорт одного тенанта тормозит всех
n_api -> n_db : top tenants by DB time, last 5 min
note over n_tb, n_api : Квоты на тенанта и очередь экспорта
n_tb -> n_api : POST /v1/exports HTTP/1.1
n_api --> n_tb : HTTP/1.1 429 Too Many Requests
note over n_api, n_catalog : Крупнейший тенант получает свою базу
n_api -> n_catalog : SELECT cell, db_host, state FROM tenant_routes
n_catalog --> n_api : cell | db_host | state
note over n_api, n_kms : Свой ключ шифрования на тенанта
n_api -> n_kms : POST /v1/keys/decrypt HTTP/1.1
n_kms --> n_api : HTTP/1.1 200 OK
note over n_migrator, n_db : Миграции волнами, а не всем разом
n_migrator -> n_db : migrate 0042_invoice_currency
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Малый тенант" as n_ta
agent "Крупный тенант" as n_tb
component "API счетов" as n_api
database "Общая БД" as n_db
collections "Воркер экспорта" as n_exporter
database "Каталог тенантов" as n_catalog
database "Silo-БД" as n_db900
cloud "Сервис ключей" as n_kms
collections "Раннер миграций" as n_migrator
n_ta --> n_api
n_tb --> n_api
n_api --> n_db
n_api --> n_exporter : асинхронно
n_exporter --> n_db
n_api --> n_catalog
n_api --> n_db900
n_api --> n_kms
n_migrator --> n_db
n_migrator --> n_db900
@endumlИтог
Шесть правил для многих клиентов в одной системе.
1) Не надейтесь, что каждый запрос помнит про tenant_id: обеспечьте это в базе через row-level security и SET LOCAL на транзакцию. 2) Тенант берётся только из подписанного токена; любой другой источник — ввод, который проверяют, а не которому верят. 3) Квоты и очереди на тенанта не дают одному клиенту забрать всё. 4) По умолчанию pool, silo для тех, кому нужно или кто платит, каталог, который маршрутизирует каждого тенанта. 5) Ключ на тенанта: утечка остаётся маленькой, уход клиента — удаление ключа. 6) Мигрируйте волнами, с канарейкой и версией схемы на тенанта.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Утёкшие строки | 0 | 0 |
| p99 API | 120 мс | 140 мс |
| Задеты одним изменением | 100% | 1% |
Шаги
- Кейс 1 200 компаний, одна база
SaaS для счетов продаётся компаниям.
- Проблема Один забытый фильтр, 37 компаний в одном CSV
Разработчик добавляет для t_900 отчёт «просроченные счета».
- Решение Row-level security: фильтр ставит база
Политика на таблице добавляет
tenant_id = текущий тенантк каждому запросу, даже к тому, который про него забыл. - Проблема Тенант пришёл из заголовка, который правит пользователь
API брал тенанта из заголовка
X-Tenant-Id, который присылает веб-приложение. - Решение Тенант только из подписанного токена
При логине сервис идентификации записывает тенанта в access-токен и подписывает его.
- Проблема Экспорт одного тенанта тормозит всех
Самый крупный клиент t_900 запускает экспорт счетов за семь лет, а потом ещё раз, потому что показалось медленно.
- Решение Квоты на тенанта и очередь экспорта
API считает запросы и запущенные экспорты по каждому тенанту.
- Решение Крупнейший тенант получает свою базу
t_900 — это 30% всех данных, и он платит за изолированную установку.
- Решение Свой ключ шифрования на тенанта
У каждого тенанта свой ключ данных, обёрнутый мастер-ключом в сервисе ключей.
- Решение Миграции волнами, а не всем разом
В прошлом квартале один
ALTER TABLEзаблокировал общую таблицу на 40 минут для всех тенантов. - Итоги Итог
Шесть правил для многих клиентов в одной системе.
Термины
- Row-level security (RLS)
- Политика базы, которая добавляет к каждому запросу к таблице условие вроде текущего тенанта, так что чужие строки не видны, даже если запрос забыл фильтр.
- Шумный сосед
- Один тенант в общей системе забирает столько CPU, диска или соединений, что тормозят все остальные.
- Pool, silo и bridge
- Модели изоляции тенантов: все делят ресурсы (pool), тенант получает свои (silo) или смесь с общим кодом и раздельными данными (bridge).