Шпаргалка · Данные и хранение
Уникальные идентификаторы
Проблема
Сервис заказов берёт id из счётчика базы. Потом данные делят на две базы, и счётчики начинают выдавать одинаковые номера. Как сделать id, уникальный везде, удобный для индекса и переживающий прыжок часов назад.
Чему вы научитесь
- Почему auto-increment перестаёт быть уникальным после шардирования
- Почему случайный UUIDv4 вредит B-tree индексу и как это чинит UUIDv7
- Как 64-битный id собирается из времени, номера машины и счётчика
- Что делать, когда часы идут назад
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_client(["Приложение"])
n_api["API заказов"]
n_db_1[("Шард 1")]
n_db_2[("Шард 2")]
n_api_2["API заказов #35;2"]
n_ntp>"Сервер времени"]
n_client --> n_api
n_api --> n_db_1
n_api --> n_db_2
n_client --> n_api_2
n_api_2 --> n_db_2
n_ntp --> n_api_2Mermaid: последовательность запросов
sequenceDiagram
participant n_api as API заказов
participant n_db_1 as Шард 1
participant n_db_2 as Шард 2
participant n_client as Приложение
participant n_api_2 as API заказов #35;2
participant n_ntp as Сервер времени
Note over n_api,n_db_1: Одна база, один счётчик
n_api->>n_db_1: INSERT INTO orders (user_id, total)
n_db_1-->>n_api: id = 48213
Note over n_api,n_db_2: Два шарда, два счётчика, одинаковые номера
n_api->>n_db_2: INSERT INTO orders (user_id, total)
n_db_2-->>n_api: id = 48214
Note over n_api,n_db_2: Заплатка: нечётные id на одном шарде, чётные на другом
n_api->>n_db_2: ALTER SEQUENCE orders_id_seq
n_db_2-->>n_api: ALTER SEQUENCE
Note over n_client,n_api: Id делает сервис: случайный UUID
n_client->>n_api: POST /orders HTTP/1.1
n_api-->>n_client: HTTP/1.1 201 Created
Note over n_api,n_db_1: Случайные ключи разрывают индекс
n_api->>n_db_1: SELECT avg_leaf_density, leaf_fragmentation
n_db_1-->>n_api: 61.2 #124; 48.7
Note over n_client,n_api: UUIDv7: сначала время, потом случайность
n_client->>n_api: POST /orders HTTP/1.1
n_api-->>n_client: HTTP/1.1 201 Created
Note over n_api_2,n_db_2: Ещё компактнее: время + машина + счётчик в 64 битах
n_api_2->>n_db_2: DEBUG new id 250413553075367937
Note over n_ntp,n_api_2: Часы пошли назад, и id повторился
n_ntp->>n_api_2: INFO clock step: -40 ms (offset from server 0.040 s)
Note over n_api_2,n_db_2: Никогда не опускаться ниже последней метки времени
n_api_2->>n_db_2: WARN clock behind last id by 40 ms, waitingD2
direction: right
n_client: "Приложение" {
shape: rectangle
}
n_api: "API заказов" {
shape: rectangle
}
n_db_1: "Шард 1" {
shape: cylinder
}
n_db_2: "Шард 2" {
shape: cylinder
}
n_api_2: "API заказов #2" {
shape: rectangle
}
n_ntp: "Сервер времени" {
shape: cloud
}
n_client -> n_api
n_api -> n_db_1
n_api -> n_db_2
n_client -> n_api_2
n_api_2 -> n_db_2
n_ntp -> n_api_2PlantUML: последовательность запросов
@startuml
participant "API заказов" as n_api
database "Шард 1" as n_db_1
database "Шард 2" as n_db_2
participant "Приложение" as n_client
participant "API заказов #2" as n_api_2
boundary "Сервер времени" as n_ntp
note over n_api, n_db_1 : Одна база, один счётчик
n_api -> n_db_1 : INSERT INTO orders (user_id, total)
n_db_1 --> n_api : id = 48213
note over n_api, n_db_2 : Два шарда, два счётчика, одинаковые номера
n_api -> n_db_2 : [дубль] INSERT INTO orders (user_id, total)
n_db_2 --> n_api : id = 48214
note over n_api, n_db_2 : Заплатка: нечётные id на одном шарде, чётные на другом
n_api -> n_db_2 : ALTER SEQUENCE orders_id_seq
n_db_2 --> n_api : ALTER SEQUENCE
note over n_client, n_api : Id делает сервис: случайный UUID
n_client -> n_api : POST /orders HTTP/1.1
n_api --> n_client : HTTP/1.1 201 Created
note over n_api, n_db_1 : Случайные ключи разрывают индекс
n_api -> n_db_1 : SELECT avg_leaf_density, leaf_fragmentation
n_db_1 --> n_api : 61.2 | 48.7
note over n_client, n_api : UUIDv7: сначала время, потом случайность
n_client -> n_api : POST /orders HTTP/1.1
n_api --> n_client : HTTP/1.1 201 Created
note over n_api_2, n_db_2 : Ещё компактнее: время + машина + счётчик в 64 битах
n_api_2 -> n_db_2 : DEBUG new id 250413553075367937
note over n_ntp, n_api_2 : Часы пошли назад, и id повторился
n_ntp -> n_api_2 : INFO clock step: -40 ms (offset from server 0.040 s)
note over n_api_2, n_db_2 : Никогда не опускаться ниже последней метки времени
n_api_2 -> n_db_2 : WARN clock behind last id by 40 ms, waiting
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение" as n_client
component "API заказов" as n_api
database "Шард 1" as n_db_1
database "Шард 2" as n_db_2
component "API заказов #2" as n_api_2
cloud "Сервер времени" as n_ntp
n_client --> n_api
n_api --> n_db_1
n_api --> n_db_2
n_client --> n_api_2
n_api_2 --> n_db_2
n_ntp --> n_api_2
@endumlИтог
Счётчик базы идеален, пока база одна.
1) Генерируйте id в сервисе, а не в каждом шарде. 2) Выбирайте упорядоченные по времени id (UUIDv7, ULID, время + машина + счётчик), а не случайные: индекс остаётся компактным. 3) У каждого генератора свой уникальный номер машины. 4) Никогда не выдавайте id с меткой времени меньше последней: ждите или откажите.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Вставка p95 | 4 мс | 6 мс |
| Дубли id | 0/день | 0/день |
| Сплиты страниц индекса | 2/с | 3/с |
Шаги
- Кейс Одна база, один счётчик
Каждый новый заказ получает id от базы: последовательность, которая только растёт.
- Проблема Два шарда, два счётчика, одинаковые номера
Заказы разделили по пользователю на две базы.
- Решение Заплатка: нечётные id на одном шарде, чётные на другом
Оба счётчика теперь шагают через 2 и стартуют врозь: шард 1 выдаёт нечётные, шард 2 — чётные.
- Решение Id делает сервис: случайный UUID
Теперь API сам создаёт id до вставки: UUIDv4, 122 случайных бита.
- Проблема Случайные ключи разрывают индекс
Индекс первичного ключа — это B-tree в порядке ключей.
- Решение UUIDv7: сначала время, потом случайность
UUIDv7 сохраняет тот же 128-битный формат, но первые 48 бит — текущее время в миллисекундах.
- Кейс Ещё компактнее: время + машина + счётчик в 64 битах
Подключили второй сервер API.
- Проблема Часы пошли назад, и id повторился
Сервер времени сообщает API #2, что его часы спешат на 40 мс.
- Решение Никогда не опускаться ниже последней метки времени
Генератор помнит время последнего id.
- Итоги Итог
Счётчик базы идеален, пока база одна.
Термины
- UUIDv7
- 128-битный id, у которого первые 48 бит — время в миллисекундах, а остальное случайно. Новые id попадают в конец индекса и не разрывают B-tree, как случайный UUIDv4.
- Snowflake ID (время + машина + счётчик)
- 64-битный id из миллисекунд с выбранной эпохи, номера машины и счётчика внутри миллисекунды. Каждый сервер делает id сам, а если часы пошли назад, ждёт или отказывает.