mufassall

Шпаргалка · Данные и хранение

Репликация базы данных

13 мин · Средний · mufassall.dtwin.uz/ru/l/replication/

← Открыть урок

Проблема

Сервис профилей перерастает одну базу. Добавляем реплики для чтения, сталкиваемся с отставанием и проблемой «прочитай свою запись», теряем лидера, делаем failover и решаем, чего стоит синхронная репликация.

Чему вы научитесь

  • Как лидер передаёт журнал фолловерам и что такое отставание репликации
  • Почему пользователь перестаёт видеть свою запись и два способа это исправить
  • Что делает failover и почему асинхронная репликация может терять коммиты
  • Цена синхронной реплики
Итоговая сцена
50%20%40%55%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_app(["Приложение профилей"])
  n_api["API профилей"]
  n_db_a[("База A")]
  n_db_b[("База B")]
  n_db_c[("База C")]
  n_sentinel["Менеджер failover"]
  n_app -->|"вызов"| n_api
  n_api -->|"вызов"| n_db_b
  n_api -->|"вызов"| n_db_c
  n_sentinel -->|"вызов"| n_db_c
  n_api -->|"вызов"| n_db_c
  n_db_c -->|"вызов"| n_db_b
  n_db_c -->|"асинхронно"| n_db_a

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API профилей
  participant n_db_a as База A
  participant n_db_b as База B
  participant n_sentinel as Менеджер failover
  participant n_db_c as База C
  Note over n_api,n_db_a: Одна база принимает все чтения и записи
  n_api->>n_db_a: SELECT name, bio FROM profiles
  n_db_a-->>n_api: (1 row)
  Note over n_db_a,n_db_b: Два фолловера копируют журнал лидера
  n_db_a->>n_db_b: START_REPLICATION SLOT db_b PHYSICAL 3/A1000000
  n_db_b-->>n_db_a: XLogData lsn=3/A1C04F28 len=8192
  Note over n_api,n_db_b: Пользователь сохраняет, обновляет и видит старое био
  n_api->>n_db_b: SELECT bio, updated_at FROM profiles
  n_db_b-->>n_api: bio #124; updated_at
  Note over n_api,n_db_a: Измеряем отставание репликации
  n_api->>n_db_a: SELECT application_name, replay_lag
  n_db_a-->>n_api: application_name #124; replay_lag
  Note over n_api,n_db_b: Read-your-writes: маршрут по последней записи пользователя
  n_api->>n_db_b: SELECT pg_last_wal_replay_lsn()
  n_db_b-->>n_api: caught_up
  Note over n_api,n_db_a: Лидер умирает
  n_api->>n_db_a: UPDATE profiles SET bio = 'Backend + SRE'
  n_db_a-->>n_api: ERROR: could not connect to db-a:5432
  Note over n_sentinel,n_db_c: Failover: повышаем самую свежую реплику
  n_sentinel->>n_db_c: failover: db-a down for 30 s
  Note over n_db_c,n_db_a: Старый лидер возвращается фолловером
  n_db_c->>n_db_a: pg_rewind --source-server=db-c
  n_db_a-->>n_db_c: source timeline 8, target timeline 7
  Note over n_api,n_db_c: Одна синхронная реплика: подтверждённое не теряется
  n_api->>n_db_c: ALTER SYSTEM SET synchronous_standby_names
  n_db_c-->>n_api: ALTER SYSTEM

D2

direction: right

n_app: "Приложение профилей" {
  shape: rectangle
}
n_api: "API профилей" {
  shape: rectangle
}
n_db_a: "База A" {
  shape: cylinder
}
n_db_b: "База B" {
  shape: cylinder
}
n_db_c: "База C" {
  shape: cylinder
}
n_sentinel: "Менеджер failover" {
  shape: rectangle
}

n_app -> n_api: "вызов"
n_api -> n_db_b: "вызов"
n_api -> n_db_c: "вызов"
n_sentinel -> n_db_c: "вызов"
n_api -> n_db_c: "вызов"
n_db_c -> n_db_b: "вызов"
n_db_c -> n_db_a: "асинхронно"

PlantUML: последовательность запросов

@startuml
participant "API профилей" as n_api
database "База A" as n_db_a
database "База B" as n_db_b
participant "Менеджер failover" as n_sentinel
database "База C" as n_db_c
note over n_api, n_db_a : Одна база принимает все чтения и записи
n_api -> n_db_a : SELECT name, bio FROM profiles
n_db_a --> n_api : (1 row)
note over n_db_a, n_db_b : Два фолловера копируют журнал лидера
n_db_a ->> n_db_b : START_REPLICATION SLOT db_b PHYSICAL 3/A1000000
n_db_b -->> n_db_a : XLogData lsn=3/A1C04F28 len=8192
note over n_api, n_db_b : Пользователь сохраняет, обновляет и видит старое био
n_api -> n_db_b : SELECT bio, updated_at FROM profiles
n_db_b --> n_api : bio | updated_at
note over n_api, n_db_a : Измеряем отставание репликации
n_api -> n_db_a : SELECT application_name, replay_lag
n_db_a --> n_api : application_name | replay_lag
note over n_api, n_db_b : Read-your-writes: маршрут по последней записи пользователя
n_api -> n_db_b : SELECT pg_last_wal_replay_lsn()
n_db_b --> n_api : caught_up
note over n_api, n_db_a : Лидер умирает
n_api -> n_db_a : UPDATE profiles SET bio = 'Backend + SRE'
n_db_a --> n_api : ERROR: could not connect to db-a:5432
note over n_sentinel, n_db_c : Failover: повышаем самую свежую реплику
n_sentinel -> n_db_c : failover: db-a down for 30 s
note over n_db_c, n_db_a : Старый лидер возвращается фолловером
n_db_c ->> n_db_a : pg_rewind --source-server=db-c
n_db_a -->> n_db_c : source timeline 8, target timeline 7
note over n_api, n_db_c : Одна синхронная реплика: подтверждённое не теряется
n_api -> n_db_c : ALTER SYSTEM SET synchronous_standby_names
n_db_c --> n_api : ALTER SYSTEM
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение профилей" as n_app
component "API профилей" as n_api
database "База A" as n_db_a
database "База B" as n_db_b
database "База C" as n_db_c
component "Менеджер failover" as n_sentinel
n_app --> n_api : вызов
n_api --> n_db_b : вызов
n_api --> n_db_c : вызов
n_sentinel --> n_db_c : вызов
n_api --> n_db_c : вызов
n_db_c --> n_db_b : вызов
n_db_c --> n_db_a : асинхронно
@enduml

Итог

Реплики дают ёмкость для чтения и запасной узел для failover. Свежих данных они не дают: асинхронные реплики отстают, и отставание растёт под нагрузкой.

1) Записи — на лидера, чтения — на реплики. 2) Измеряйте отставание и сразу после записи направляйте чтения пользователя на лидера. 3) Failover повышает самую свежую реплику и обязан изолировать старого лидера. 4) Асинхронный режим может потерять подтверждённые коммиты; одна синхронная реплика это исключает ценой задержки.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Запрос p95850 мс58 мс
Худшее отставание0 мс5 мс
Устаревшие чтения0%0%
Потеряно коммитов при failover00

Шаги

  1. Проблема Одна база принимает все чтения и записи

    Каждый просмотр профиля и каждая правка идут в одну базу — База A.

  2. Решение Два фолловера копируют журнал лидера

    База A становится лидером: только она принимает записи.

  3. Проблема Пользователь сохраняет, обновляет и видит старое био

    Пользователь u_42 меняет био.

  4. Кейс Измеряем отставание репликации

    Лидер знает, докуда дошёл каждый фолловер.

  5. Решение Read-your-writes: маршрут по последней записи пользователя

    После записи API запоминает в сессии пользователя позицию в журнале лидера.

  6. Проблема Лидер умирает

    У Базы A отказывает диск.

  7. Решение Failover: повышаем самую свежую реплику

    Менеджер failover 30 секунд не получает ответа от Базы A.

  8. Кейс Старый лидер возвращается фолловером

    Базе A ставят новый диск, и она стартует.

  9. Решение Одна синхронная реплика: подтверждённое не теряется

    Заставляем лидера ждать: коммит подтверждается, только когда хотя бы один из двух фолловеров записал журнал на диск.

  10. Итоги Итоги

    Реплики дают ёмкость для чтения и запасной узел для failover.

Термины

Репликация (лидер и фолловеры)
Лидер принимает все записи и передаёт свой журнал фолловерам, которые проигрывают его и держат копию. Реплики дают ёмкость на чтение и резерв для failover.
Отставание репликации
Насколько асинхронная реплика отстаёт от лидера. Под нагрузкой отставание растёт, и чтение с реплики может вернуть устаревшие данные.
Read-your-writes
Гарантия, что пользователь всегда видит то, что сам записал. После записи его чтения идут на лидера, пока реплика не догонит.