mufassall

Real tajribalar / 1 / 2

Tajriba: Discord xabarlarni qanday saqlaydi

Bitta MongoDB kolleksiyasidan Cassandra'ga, keyin ScyllaDB'ga: Discord trillionlab chat xabarlarini qanday o'qiladigan holda saqladi. Partition kaliti, tombstone, issiq partitionlar, so'rovlarni birlashtiradigan data servislar va soniyasiga 3,2 million xabar tezlikdagi migratsiya. Manbalar: https://discord.com/blog/how-discord-stores-billions-of-messages va https://discord.com/blog/how-discord-stores-trillions-of-messages

  • 16 daq
  • Yuqori
  • 12 qadam
O'qish p99
—
Yozish p99
—
Baza node'lari
—
Lab'da ochish

30%95%
  • so'rov
  • javob
  • qayta yetkazish
  • takroriy
  • yo'qolgan

Raqamlar — model ssenariysi, o'lchov emas

Haqiqiy so'rov

API monolit → MongoDB

So'rov

db.messages.find({ channel_id: 1234 }).sort({ created_at: -1 }).limit(50)12
index: { channel_id: 1, created_at: -1 }
stored: about 100 000 000 messages (November 2015)
-- the data and the index no longer fit in RAM3
  1. channel_id — Har chat o'qishi — "bitta kanalning oxirgi xabarlari".
  2. created_at — Saralash tartibi. Keyin Snowflake id bilan almashtirildi: ikki xabar bir vaqtda bo'lishi mumkin.
  3. RAM — Indeks xotiradan chiqib ketgach, har o'qish diskka borishi mumkin.

O'zingiz quringKonspektDarslarni solishtirish

Kurs: 74 dars
  1. 01 Asoslar

    1. So'rovning yo'li
    2. Kechikish va o'tkazuvchanlik
    3. Qog'oz ustida hisob
  2. 02 Masshtablash

    1. Vertikal va gorizontal masshtablash
    2. Yukni taqsimlash
    3. Holatsiz (stateless) serverlar
    4. Keshlash
    5. Keshni yangilash (invalidation)
    6. CDN va edge keshlar
  3. 03 Ma'lumot va saqlash

    1. SQL va NoSQL
    2. Bazadagi indekslar
    3. Geo qidiruv: kim yaqinda
    4. Matn bo'yicha qidiruv (full-text search)
    5. Vektor qidiruv
    6. Saqlash dvigatellari: B-tree va LSM
    7. Bloom filtri
    8. Bazani replikatsiya qilish
    9. Sharding
    10. Consistent hashing
    11. Unikal ID'lar
    12. CAP: aloqa uzilganda
    13. Konsensus va lider saylovi
    14. Tranzaksiyalar
    15. Fayl yuklash
  4. 04 Aloqa

    1. API uslublari
    2. Xabar navbatlari
    3. Pub/sub va hodisalar jurnali
    4. Real-time yangilanishlar
    5. Callback'lar ishonchliligi
    6. Webhook'larni ishonchli yuborish
  5. 05 Ishonchlilik

    1. Zaxira va failover
    2. Rate limiting
    3. Timeout va qayta urinishlar
    4. Kuzatuvchanlik (observability)
    5. SLO va xato byudjeti
    6. Backpressure
  6. 06 Arxitektura

    1. Mikroservislar
    2. Servislarni topish (service discovery)
    3. Saga va outbox
    4. O'zgarishlarni ushlash (CDC)
    5. Tranzaksion outbox
    6. Taqsimlangan lock'lar
    7. Batch va stream
    8. Multi-tenancy: ko'p mijozli tizim
    9. Event sourcing
  7. 07 Xavfsizlik

    1. Autentifikatsiya
    2. Avtorizatsiya
    3. Shifrlash va sirlar
    4. Maxfiy ma'lumotlarni boshqarish
  8. 08 Yetkazib berish

    1. Testlash
    2. CI/CD: commit'dan production'gacha
    3. To'xtovsiz migratsiyalar
    4. Feature flag'lar
  9. 09 Butun tizimlar

    1. Talablardan dizayngacha
    2. URL qisqartirgich loyihasi
    3. Yangiliklar lentasi loyihasi
    4. Chat loyihasi
    5. Video sayt loyihalash
    6. Qidiruv takliflari (autocomplete) dizayni
    7. Job scheduler (vazifa rejalashtiruvchi) dizayni
  10. 10 Biznes jarayonlar

    1. To'lov shlyuzi
    2. Pul va yaxlitlash
    3. Ikki yoqlama hisob daftari
    4. To'lovlarni solishtirish
    5. Obuna to'lovlari
    6. Elektron raqamli imzo
    7. Hujjatning hayot sikli
    8. Audit jurnali
    9. Xabarnomalarni yetkazish
    10. Ommaviy import
    11. Pulni qaytarish va chargeback
    12. Hujjatlarni uzluksiz raqamlash
  11. 11 Real tajribalar

    1. Tajriba: Discord xabarlarni qanday saqlaydi
    2. Tajriba: Figma'da birgalikda tahrirlash