Konspekt · Yetkazib berish
To'xtovsiz migratsiyalar
Muammo
Do'kon mijozlarning telefon raqamlarini 40 million qatorli jadvalning yangi ustunida bitta formatda saqlamoqchi, checkout'ni to'xtatmasdan. Oddiy rename hali eski kodda ishlayotgan pod'larni sindiradi, 5 ms lik ALTER esa uzun hisobot ortida qulf kutib, hamma so'rovni to'xtatib qo'yadi. Xavfsiz yo'l expand va contract: NULL bo'la oladigan ustun qo'shish, ikkalasiga yozish, kichik bo'laklarda backfill, tekshirib o'qishni o'tkazish, eskisiga yozishni to'xtatish va eski ustunni eng oxirida o'chirish. Har bosqichda orqaga qaytish yo'li bor.
Nimani o'rganasiz
- Nega rolling deploy bitta sxemada ilovaning ikki versiyasi degani va nega rename eskisini sindiradi
- Katta jadvaldagi qulflar: uzun so'rov ortidagi qulf navbati, lock_timeout, concurrent indeks
- Expand va contract: NULL bo'la oladigan ustun, ikki tomonga yozish, bo'laklab backfill, tekshiruv, o'qishni o'tkazish, oxirida drop
- NOT NULL'ni uzun qulfsiz qo'shish va qaysi bosqichni hali orqaga qaytarish mumkinligi
Diagramma kod sifatida
Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.
Mermaid: sxema
flowchart LR
n_users(["Xaridorlar"])
n_db[("Mijozlar bazasi")]
n_ci("Migratsiyalar")
n_new["Ilova (yangi)"]
n_ci --> n_db
n_users --> n_new
n_new --> n_dbMermaid: so'rovlar ketma-ketligi
sequenceDiagram
participant n_ci as Migratsiyalar
participant n_db as Mijozlar bazasi
participant n_old as Ilova (eski)
participant n_new as Ilova (yangi)
participant n_filler as Backfill job
Note over n_ci,n_db: Bitta migratsiya, keyin deploy
n_ci->>n_db: -- migration 0042, runs right before the rollout
n_db-->>n_ci: ALTER TABLE 12 ms
Note over n_old,n_db: Eski pod'lar yo'q bo'lgan ustunni so'raydi
n_old->>n_db: 14:00:03 migration 0042 done
Note over n_ci,n_db: 5 ms lik ALTER butun jadvalni to'xtatadi
n_ci->>n_db: activity on customers 14:20:41
Note over n_ci,n_db: Expand: NULL bo'la oladigan ustun, qulf timeout'i, concurrent indeks
n_ci->>n_db: -- 0043 expand
n_db-->>n_ci: ALTER TABLE 4 ms
Note over n_new,n_db: Yangi versiya ikkala ustunga yozadi
n_new->>n_db: -- v2: writes both columns, still reads the old one
n_db-->>n_new: UPDATE 1
Note over n_filler,n_db: Kichik bo'laklarda backfill
n_filler->>n_db: -- backfill, batch 3 112 of 8 000
n_db-->>n_filler: UPDATE 4987 140 ms
Note over n_new,n_db: Tekshirish, keyin o'qishni o'tkazish
n_new->>n_db: -- before switching reads
n_db-->>n_new: count = 0
Note over n_ci,n_db: Contract: eski ustun ixtiyoriy, yangisi majburiy bo'ladi
n_ci->>n_db: -- 0044 contract, before v4 stops writing phone
n_db-->>n_ci: VALIDATE 3 min 40 s
Note over n_ci,n_db: Eski ustun eng oxirida o'chiriladi
n_ci->>n_db: -- 0045 contract, 7 days after the last reader of phone
n_db-->>n_ci: ALTER TABLE 3 msD2
direction: right
n_users: "Xaridorlar" {
shape: rectangle
}
n_db: "Mijozlar bazasi" {
shape: cylinder
}
n_ci: "Migratsiyalar" {
shape: rectangle
style.multiple: true
}
n_new: "Ilova (yangi)" {
shape: rectangle
}
n_ci -> n_db
n_users -> n_new
n_new -> n_dbPlantUML: so'rovlar ketma-ketligi
@startuml
participant "Migratsiyalar" as n_ci
database "Mijozlar bazasi" as n_db
participant "Ilova (eski)" as n_old
participant "Ilova (yangi)" as n_new
participant "Backfill job" as n_filler
note over n_ci, n_db : Bitta migratsiya, keyin deploy
n_ci -> n_db : -- migration 0042, runs right before the rollout
n_db --> n_ci : ALTER TABLE 12 ms
note over n_old, n_db : Eski pod'lar yo'q bo'lgan ustunni so'raydi
n_old -> n_db : 14:00:03 migration 0042 done
note over n_ci, n_db : 5 ms lik ALTER butun jadvalni to'xtatadi
n_ci -> n_db : activity on customers 14:20:41
note over n_ci, n_db : Expand: NULL bo'la oladigan ustun, qulf timeout'i, concurrent indeks
n_ci -> n_db : -- 0043 expand
n_db --> n_ci : ALTER TABLE 4 ms
note over n_new, n_db : Yangi versiya ikkala ustunga yozadi
n_new -> n_db : -- v2: writes both columns, still reads the old one
n_db --> n_new : UPDATE 1
note over n_filler, n_db : Kichik bo'laklarda backfill
n_filler -> n_db : -- backfill, batch 3 112 of 8 000
n_db --> n_filler : UPDATE 4987 140 ms
note over n_new, n_db : Tekshirish, keyin o'qishni o'tkazish
n_new -> n_db : -- before switching reads
n_db --> n_new : count = 0
note over n_ci, n_db : Contract: eski ustun ixtiyoriy, yangisi majburiy bo'ladi
n_ci -> n_db : -- 0044 contract, before v4 stops writing phone
n_db --> n_ci : VALIDATE 3 min 40 s
note over n_ci, n_db : Eski ustun eng oxirida o'chiriladi
n_ci -> n_db : -- 0045 contract, 7 days after the last reader of phone
n_db --> n_ci : ALTER TABLE 3 ms
@endumlPlantUML: komponentlar
@startuml
left to right direction
agent "Xaridorlar" as n_users
database "Mijozlar bazasi" as n_db
collections "Migratsiyalar" as n_ci
component "Ilova (yangi)" as n_new
n_ci --> n_db
n_users --> n_new
n_new --> n_db
@endumlXulosa
To'xtovsiz migratsiyalar uchun olti qoida.
1) Rollout paytida eski va yangi versiya bitta sxemada ishlaydi: har o'zgarish ikkalasiga ham mos bo'lsin, shuning uchun joyida rename qilmang. 2) Qizg'in jadvaldagi har DDL lock_timeout va qayta urinish bilan ishlasin; indekslarni concurrent quring. 3) Expand: standart qiymatsiz, NULL bo'la oladigan ustun qo'shing, keyin ikkalasiga yozing. 4) Backfill'ni kichik, qayta yurgizsa bo'ladigan bo'laklarda, faqat hamma pod ikkalasiga yozgandan keyin qiling va replika kechikishini kuzating. 5) Tekshiring, o'qishni asta-sekin o'tkazing, keyin eskisiga yozishni to'xtating; NOT NULL'ni NOT VALID va VALIDATE bilan qo'shing. 6) Drop eng oxirida, rollback oynasidan keyin: unga qadar har bosqichni oldingi versiyani deploy qilib bekor qilsa bo'ladi.
Ko'rsatkichlar: boshida va oxirida
| Ko'rsatkich | Boshida | Oxirida |
|---|---|---|
| Checkout xatolari | 0,1% | 0,1% |
| Eng uzun bloklangan so'rov | 0 s | 2 s |
| To'ldirilgan qatorlar | 0% | 100% |
| Orqaga qaytish vaqti | 15 min | 3 min |
Qadamlar
- Holat Bitta migratsiya, keyin deploy
Telefon raqamlari qo'lda kiritilgan:
90 123-45-67,+998 (90) 1234567. - Muammo Eski pod'lar yo'q bo'lgan ustunni so'raydi
Migratsiya 14:00:03 da tugaydi.
- Muammo 5 ms lik ALTER butun jadvalni to'xtatadi
Ikkinchi urinish, rename'siz:
ADD COLUMN phone_e164. - Yechim Expand: NULL bo'la oladigan ustun, qulf timeout'i, concurrent indeks
Endi migratsiya
lock_timeout = 2sqo'yadi: qulf 2 soniyada bo'shamasa, ALTER navbatni to'sish o'rniga voz kechadi va pipeline 30 soniyadan keyin qayta urinadi. - Yechim Yangi versiya ikkala ustunga yozadi
v2 versiya chiqariladi.
- Yechim Kichik bo'laklarda backfill
12 pod'ning hammasi v2 da ishlay boshlagach, job eski qatorlar uchun
phone_e164ni to'ldiradi: id oralig'i bo'yicha har bo'lakda 5 000 qator, har biri 140 ms, keyin 50 ms pauza. - Yechim Tekshirish, keyin o'qishni o'tkazish
Yangi ustundan biror narsa o'qishidan oldin so'rov har qator eskisiga mos kelishini tekshiradi: 0 ta farq.
- Yechim Contract: eski ustun ixtiyoriy, yangisi majburiy bo'ladi
Keyingi versiya, v4,
phonega yozishni to'xtatadi. - Yechim Eski ustun eng oxirida o'chiriladi
v4 7 kundan beri ishlayapti, so'rov loglarida
phoneni o'qiydigan hech kim yo'q, v3 ga qaytishni hech kim rejalashtirmagan. - Xulosa Xulosa
To'xtovsiz migratsiyalar uchun olti qoida.
Atamalar
- Expand va contract
- Sxemani bosqichma-bosqich o'zgartirish: avval eski kod e'tibor bermaydigan yangi narsa qo'shiladi, ikkalasiga yoziladi va ko'chiriladi, eskisi esa uni hech kim ishlatmay qo'ygandan keyingina o'chiriladi.
- Backfill
- Yangi ustun yoki jadvalni mavjud qatorlar uchun to'ldirish. Katta jadvalda kichik, qayta yurgizsa bo'ladigan bo'laklarda, pauza bilan va replika kechikishini kuzatib qilinadi.
- Qulf navbati (lock queue)
- Jadval qulfini kutayotgan so'rovlar navbati. Uzun so'rov ortida kutayotgan eksklyuziv qulf undan keyingi hamma so'rovni ham to'xtatadi, shuning uchun DDL lock_timeout bilan yurgiziladi.
- NOT VALID cheklov
- Darhol faqat yangi yozuvlarga qo'llanadigan cheklov; eski qatorlar keyinroq VALIDATE bilan, o'qish va yozishni to'smasdan tekshiriladi. Katta jadvalga NOT NULL yoki foreign key qo'shishning xavfsiz yo'li.