mufassall

Шпаргалка · Данные и хранение

Уникальные идентификаторы

12 мин · Средний · mufassall.dtwin.uz/ru/l/unique-ids/

← Открыть урок

Проблема

Сервис заказов берёт id из счётчика базы. Потом данные делят на две базы, и счётчики начинают выдавать одинаковые номера. Как сделать id, уникальный везде, удобный для индекса и переживающий прыжок часов назад.

Чему вы научитесь

  • Почему auto-increment перестаёт быть уникальным после шардирования
  • Почему случайный UUIDv4 вредит B-tree индексу и как это чинит UUIDv7
  • Как 64-битный id собирается из времени, номера машины и счётчика
  • Что делать, когда часы идут назад
Итоговая сцена
20%32%20%31%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_client(["Приложение"])
  n_api["API заказов"]
  n_db_1[("Шард 1")]
  n_db_2[("Шард 2")]
  n_api_2["API заказов #35;2"]
  n_ntp>"Сервер времени"]
  n_client --> n_api
  n_api --> n_db_1
  n_api --> n_db_2
  n_client --> n_api_2
  n_api_2 --> n_db_2
  n_ntp --> n_api_2

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API заказов
  participant n_db_1 as Шард 1
  participant n_db_2 as Шард 2
  participant n_client as Приложение
  participant n_api_2 as API заказов #35;2
  participant n_ntp as Сервер времени
  Note over n_api,n_db_1: Одна база, один счётчик
  n_api->>n_db_1: INSERT INTO orders (user_id, total)
  n_db_1-->>n_api: id = 48213
  Note over n_api,n_db_2: Два шарда, два счётчика, одинаковые номера
  n_api->>n_db_2: INSERT INTO orders (user_id, total)
  n_db_2-->>n_api: id = 48214
  Note over n_api,n_db_2: Заплатка: нечётные id на одном шарде, чётные на другом
  n_api->>n_db_2: ALTER SEQUENCE orders_id_seq
  n_db_2-->>n_api: ALTER SEQUENCE
  Note over n_client,n_api: Id делает сервис: случайный UUID
  n_client->>n_api: POST /orders HTTP/1.1
  n_api-->>n_client: HTTP/1.1 201 Created
  Note over n_api,n_db_1: Случайные ключи разрывают индекс
  n_api->>n_db_1: SELECT avg_leaf_density, leaf_fragmentation
  n_db_1-->>n_api: 61.2 #124; 48.7
  Note over n_client,n_api: UUIDv7: сначала время, потом случайность
  n_client->>n_api: POST /orders HTTP/1.1
  n_api-->>n_client: HTTP/1.1 201 Created
  Note over n_api_2,n_db_2: Ещё компактнее: время + машина + счётчик в 64 битах
  n_api_2->>n_db_2: DEBUG new id 250413553075367937
  Note over n_ntp,n_api_2: Часы пошли назад, и id повторился
  n_ntp->>n_api_2: INFO clock step: -40 ms (offset from server 0.040 s)
  Note over n_api_2,n_db_2: Никогда не опускаться ниже последней метки времени
  n_api_2->>n_db_2: WARN clock behind last id by 40 ms, waiting

D2

direction: right

n_client: "Приложение" {
  shape: rectangle
}
n_api: "API заказов" {
  shape: rectangle
}
n_db_1: "Шард 1" {
  shape: cylinder
}
n_db_2: "Шард 2" {
  shape: cylinder
}
n_api_2: "API заказов #2" {
  shape: rectangle
}
n_ntp: "Сервер времени" {
  shape: cloud
}

n_client -> n_api
n_api -> n_db_1
n_api -> n_db_2
n_client -> n_api_2
n_api_2 -> n_db_2
n_ntp -> n_api_2

PlantUML: последовательность запросов

@startuml
participant "API заказов" as n_api
database "Шард 1" as n_db_1
database "Шард 2" as n_db_2
participant "Приложение" as n_client
participant "API заказов #2" as n_api_2
boundary "Сервер времени" as n_ntp
note over n_api, n_db_1 : Одна база, один счётчик
n_api -> n_db_1 : INSERT INTO orders (user_id, total)
n_db_1 --> n_api : id = 48213
note over n_api, n_db_2 : Два шарда, два счётчика, одинаковые номера
n_api -> n_db_2 : [дубль] INSERT INTO orders (user_id, total)
n_db_2 --> n_api : id = 48214
note over n_api, n_db_2 : Заплатка: нечётные id на одном шарде, чётные на другом
n_api -> n_db_2 : ALTER SEQUENCE orders_id_seq
n_db_2 --> n_api : ALTER SEQUENCE
note over n_client, n_api : Id делает сервис: случайный UUID
n_client -> n_api : POST /orders HTTP/1.1
n_api --> n_client : HTTP/1.1 201 Created
note over n_api, n_db_1 : Случайные ключи разрывают индекс
n_api -> n_db_1 : SELECT avg_leaf_density, leaf_fragmentation
n_db_1 --> n_api : 61.2 | 48.7
note over n_client, n_api : UUIDv7: сначала время, потом случайность
n_client -> n_api : POST /orders HTTP/1.1
n_api --> n_client : HTTP/1.1 201 Created
note over n_api_2, n_db_2 : Ещё компактнее: время + машина + счётчик в 64 битах
n_api_2 -> n_db_2 : DEBUG new id 250413553075367937
note over n_ntp, n_api_2 : Часы пошли назад, и id повторился
n_ntp -> n_api_2 : INFO clock step: -40 ms (offset from server 0.040 s)
note over n_api_2, n_db_2 : Никогда не опускаться ниже последней метки времени
n_api_2 -> n_db_2 : WARN clock behind last id by 40 ms, waiting
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение" as n_client
component "API заказов" as n_api
database "Шард 1" as n_db_1
database "Шард 2" as n_db_2
component "API заказов #2" as n_api_2
cloud "Сервер времени" as n_ntp
n_client --> n_api
n_api --> n_db_1
n_api --> n_db_2
n_client --> n_api_2
n_api_2 --> n_db_2
n_ntp --> n_api_2
@enduml

Итог

Счётчик базы идеален, пока база одна.

1) Генерируйте id в сервисе, а не в каждом шарде. 2) Выбирайте упорядоченные по времени id (UUIDv7, ULID, время + машина + счётчик), а не случайные: индекс остаётся компактным. 3) У каждого генератора свой уникальный номер машины. 4) Никогда не выдавайте id с меткой времени меньше последней: ждите или откажите.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Вставка p954 мс6 мс
Дубли id0/день0/день
Сплиты страниц индекса2/с3/с

Шаги

  1. Кейс Одна база, один счётчик

    Каждый новый заказ получает id от базы: последовательность, которая только растёт.

  2. Проблема Два шарда, два счётчика, одинаковые номера

    Заказы разделили по пользователю на две базы.

  3. Решение Заплатка: нечётные id на одном шарде, чётные на другом

    Оба счётчика теперь шагают через 2 и стартуют врозь: шард 1 выдаёт нечётные, шард 2 — чётные.

  4. Решение Id делает сервис: случайный UUID

    Теперь API сам создаёт id до вставки: UUIDv4, 122 случайных бита.

  5. Проблема Случайные ключи разрывают индекс

    Индекс первичного ключа — это B-tree в порядке ключей.

  6. Решение UUIDv7: сначала время, потом случайность

    UUIDv7 сохраняет тот же 128-битный формат, но первые 48 бит — текущее время в миллисекундах.

  7. Кейс Ещё компактнее: время + машина + счётчик в 64 битах

    Подключили второй сервер API.

  8. Проблема Часы пошли назад, и id повторился

    Сервер времени сообщает API #2, что его часы спешат на 40 мс.

  9. Решение Никогда не опускаться ниже последней метки времени

    Генератор помнит время последнего id.

  10. Итоги Итог

    Счётчик базы идеален, пока база одна.

Термины

UUIDv7
128-битный id, у которого первые 48 бит — время в миллисекундах, а остальное случайно. Новые id попадают в конец индекса и не разрывают B-tree, как случайный UUIDv4.
Snowflake ID (время + машина + счётчик)
64-битный id из миллисекунд с выбранной эпохи, номера машины и счётчика внутри миллисекунды. Каждый сервер делает id сам, а если часы пошли назад, ждёт или отказывает.