mufassall

Konspekt · Yetkazib berish

To'xtovsiz migratsiyalar

15 daq · Yuqori · mufassall.dtwin.uz/uz/l/zero-downtime-migrations/

← Darsni ochish

Muammo

Do'kon mijozlarning telefon raqamlarini 40 million qatorli jadvalning yangi ustunida bitta formatda saqlamoqchi, checkout'ni to'xtatmasdan. Oddiy rename hali eski kodda ishlayotgan pod'larni sindiradi, 5 ms lik ALTER esa uzun hisobot ortida qulf kutib, hamma so'rovni to'xtatib qo'yadi. Xavfsiz yo'l expand va contract: NULL bo'la oladigan ustun qo'shish, ikkalasiga yozish, kichik bo'laklarda backfill, tekshirib o'qishni o'tkazish, eskisiga yozishni to'xtatish va eski ustunni eng oxirida o'chirish. Har bosqichda orqaga qaytish yo'li bor.

Nimani o'rganasiz

  • Nega rolling deploy bitta sxemada ilovaning ikki versiyasi degani va nega rename eskisini sindiradi
  • Katta jadvaldagi qulflar: uzun so'rov ortidagi qulf navbati, lock_timeout, concurrent indeks
  • Expand va contract: NULL bo'la oladigan ustun, ikki tomonga yozish, bo'laklab backfill, tekshiruv, o'qishni o'tkazish, oxirida drop
  • NOT NULL'ni uzun qulfsiz qo'shish va qaysi bosqichni hali orqaga qaytarish mumkinligi
Yakuniy sahna
60%

Diagramma kod sifatida

Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.

Mermaid: sxema

flowchart LR
  n_users(["Xaridorlar"])
  n_db[("Mijozlar bazasi")]
  n_ci("Migratsiyalar")
  n_new["Ilova (yangi)"]
  n_ci --> n_db
  n_users --> n_new
  n_new --> n_db

Mermaid: so'rovlar ketma-ketligi

sequenceDiagram
  participant n_ci as Migratsiyalar
  participant n_db as Mijozlar bazasi
  participant n_old as Ilova (eski)
  participant n_new as Ilova (yangi)
  participant n_filler as Backfill job
  Note over n_ci,n_db: Bitta migratsiya, keyin deploy
  n_ci->>n_db: -- migration 0042, runs right before the rollout
  n_db-->>n_ci: ALTER TABLE 12 ms
  Note over n_old,n_db: Eski pod'lar yo'q bo'lgan ustunni so'raydi
  n_old->>n_db: 14:00:03 migration 0042 done
  Note over n_ci,n_db: 5 ms lik ALTER butun jadvalni to'xtatadi
  n_ci->>n_db: activity on customers 14:20:41
  Note over n_ci,n_db: Expand: NULL bo'la oladigan ustun, qulf timeout'i, concurrent indeks
  n_ci->>n_db: -- 0043 expand
  n_db-->>n_ci: ALTER TABLE 4 ms
  Note over n_new,n_db: Yangi versiya ikkala ustunga yozadi
  n_new->>n_db: -- v2: writes both columns, still reads the old one
  n_db-->>n_new: UPDATE 1
  Note over n_filler,n_db: Kichik bo'laklarda backfill
  n_filler->>n_db: -- backfill, batch 3 112 of 8 000
  n_db-->>n_filler: UPDATE 4987 140 ms
  Note over n_new,n_db: Tekshirish, keyin o'qishni o'tkazish
  n_new->>n_db: -- before switching reads
  n_db-->>n_new: count = 0
  Note over n_ci,n_db: Contract: eski ustun ixtiyoriy, yangisi majburiy bo'ladi
  n_ci->>n_db: -- 0044 contract, before v4 stops writing phone
  n_db-->>n_ci: VALIDATE 3 min 40 s
  Note over n_ci,n_db: Eski ustun eng oxirida o'chiriladi
  n_ci->>n_db: -- 0045 contract, 7 days after the last reader of phone
  n_db-->>n_ci: ALTER TABLE 3 ms

D2

direction: right

n_users: "Xaridorlar" {
  shape: rectangle
}
n_db: "Mijozlar bazasi" {
  shape: cylinder
}
n_ci: "Migratsiyalar" {
  shape: rectangle
  style.multiple: true
}
n_new: "Ilova (yangi)" {
  shape: rectangle
}

n_ci -> n_db
n_users -> n_new
n_new -> n_db

PlantUML: so'rovlar ketma-ketligi

@startuml
participant "Migratsiyalar" as n_ci
database "Mijozlar bazasi" as n_db
participant "Ilova (eski)" as n_old
participant "Ilova (yangi)" as n_new
participant "Backfill job" as n_filler
note over n_ci, n_db : Bitta migratsiya, keyin deploy
n_ci -> n_db : -- migration 0042, runs right before the rollout
n_db --> n_ci : ALTER TABLE 12 ms
note over n_old, n_db : Eski pod'lar yo'q bo'lgan ustunni so'raydi
n_old -> n_db : 14:00:03 migration 0042 done
note over n_ci, n_db : 5 ms lik ALTER butun jadvalni to'xtatadi
n_ci -> n_db : activity on customers 14:20:41
note over n_ci, n_db : Expand: NULL bo'la oladigan ustun, qulf timeout'i, concurrent indeks
n_ci -> n_db : -- 0043 expand
n_db --> n_ci : ALTER TABLE 4 ms
note over n_new, n_db : Yangi versiya ikkala ustunga yozadi
n_new -> n_db : -- v2: writes both columns, still reads the old one
n_db --> n_new : UPDATE 1
note over n_filler, n_db : Kichik bo'laklarda backfill
n_filler -> n_db : -- backfill, batch 3 112 of 8 000
n_db --> n_filler : UPDATE 4987 140 ms
note over n_new, n_db : Tekshirish, keyin o'qishni o'tkazish
n_new -> n_db : -- before switching reads
n_db --> n_new : count = 0
note over n_ci, n_db : Contract: eski ustun ixtiyoriy, yangisi majburiy bo'ladi
n_ci -> n_db : -- 0044 contract, before v4 stops writing phone
n_db --> n_ci : VALIDATE 3 min 40 s
note over n_ci, n_db : Eski ustun eng oxirida o'chiriladi
n_ci -> n_db : -- 0045 contract, 7 days after the last reader of phone
n_db --> n_ci : ALTER TABLE 3 ms
@enduml

PlantUML: komponentlar

@startuml
left to right direction
agent "Xaridorlar" as n_users
database "Mijozlar bazasi" as n_db
collections "Migratsiyalar" as n_ci
component "Ilova (yangi)" as n_new
n_ci --> n_db
n_users --> n_new
n_new --> n_db
@enduml

Xulosa

To'xtovsiz migratsiyalar uchun olti qoida.

1) Rollout paytida eski va yangi versiya bitta sxemada ishlaydi: har o'zgarish ikkalasiga ham mos bo'lsin, shuning uchun joyida rename qilmang. 2) Qizg'in jadvaldagi har DDL lock_timeout va qayta urinish bilan ishlasin; indekslarni concurrent quring. 3) Expand: standart qiymatsiz, NULL bo'la oladigan ustun qo'shing, keyin ikkalasiga yozing. 4) Backfill'ni kichik, qayta yurgizsa bo'ladigan bo'laklarda, faqat hamma pod ikkalasiga yozgandan keyin qiling va replika kechikishini kuzating. 5) Tekshiring, o'qishni asta-sekin o'tkazing, keyin eskisiga yozishni to'xtating; NOT NULL'ni NOT VALID va VALIDATE bilan qo'shing. 6) Drop eng oxirida, rollback oynasidan keyin: unga qadar har bosqichni oldingi versiyani deploy qilib bekor qilsa bo'ladi.

Ko'rsatkichlar: boshida va oxirida

Ko'rsatkichBoshidaOxirida
Checkout xatolari0,1%0,1%
Eng uzun bloklangan so'rov0 s2 s
To'ldirilgan qatorlar0%100%
Orqaga qaytish vaqti15 min3 min

Qadamlar

  1. Holat Bitta migratsiya, keyin deploy

    Telefon raqamlari qo'lda kiritilgan: 90 123-45-67, +998 (90) 1234567.

  2. Muammo Eski pod'lar yo'q bo'lgan ustunni so'raydi

    Migratsiya 14:00:03 da tugaydi.

  3. Muammo 5 ms lik ALTER butun jadvalni to'xtatadi

    Ikkinchi urinish, rename'siz: ADD COLUMN phone_e164.

  4. Yechim Expand: NULL bo'la oladigan ustun, qulf timeout'i, concurrent indeks

    Endi migratsiya lock_timeout = 2s qo'yadi: qulf 2 soniyada bo'shamasa, ALTER navbatni to'sish o'rniga voz kechadi va pipeline 30 soniyadan keyin qayta urinadi.

  5. Yechim Yangi versiya ikkala ustunga yozadi

    v2 versiya chiqariladi.

  6. Yechim Kichik bo'laklarda backfill

    12 pod'ning hammasi v2 da ishlay boshlagach, job eski qatorlar uchun phone_e164 ni to'ldiradi: id oralig'i bo'yicha har bo'lakda 5 000 qator, har biri 140 ms, keyin 50 ms pauza.

  7. Yechim Tekshirish, keyin o'qishni o'tkazish

    Yangi ustundan biror narsa o'qishidan oldin so'rov har qator eskisiga mos kelishini tekshiradi: 0 ta farq.

  8. Yechim Contract: eski ustun ixtiyoriy, yangisi majburiy bo'ladi

    Keyingi versiya, v4, phone ga yozishni to'xtatadi.

  9. Yechim Eski ustun eng oxirida o'chiriladi

    v4 7 kundan beri ishlayapti, so'rov loglarida phone ni o'qiydigan hech kim yo'q, v3 ga qaytishni hech kim rejalashtirmagan.

  10. Xulosa Xulosa

    To'xtovsiz migratsiyalar uchun olti qoida.

Atamalar

Expand va contract
Sxemani bosqichma-bosqich o'zgartirish: avval eski kod e'tibor bermaydigan yangi narsa qo'shiladi, ikkalasiga yoziladi va ko'chiriladi, eskisi esa uni hech kim ishlatmay qo'ygandan keyingina o'chiriladi.
Backfill
Yangi ustun yoki jadvalni mavjud qatorlar uchun to'ldirish. Katta jadvalda kichik, qayta yurgizsa bo'ladigan bo'laklarda, pauza bilan va replika kechikishini kuzatib qilinadi.
Qulf navbati (lock queue)
Jadval qulfini kutayotgan so'rovlar navbati. Uzun so'rov ortida kutayotgan eksklyuziv qulf undan keyingi hamma so'rovni ham to'xtatadi, shuning uchun DDL lock_timeout bilan yurgiziladi.
NOT VALID cheklov
Darhol faqat yangi yozuvlarga qo'llanadigan cheklov; eski qatorlar keyinroq VALIDATE bilan, o'qish va yozishni to'smasdan tekshiriladi. Katta jadvalga NOT NULL yoki foreign key qo'shishning xavfsiz yo'li.