mufassall

Ma'lumot va saqlash / 5 / 15

Vektor qidiruv

Onlayn do'konning yordam markazida 2 million maqola bo'lagi bor, mijozlar esa o'z so'zlari bilan so'raydi: "singan choynak uchun pulimni qaytarib olsam bo'ladimi". Javob boshqa so'zlar bilan yozilgan bo'lsa, kalit so'z qidiruvi uni topa olmaydi. Embedding va kosinus o'xshashligini qo'shamiz, aniq kNN nega sekinligini ko'ramiz, HNSW bilan bir oz recall'ni millisekundlarga almashtiramiz, int8 bilan xotirani qisqartiramiz, filtrlarni hal qilamiz, BM25 bilan vektorlarni reciprocal rank fusion orqali birlashtiramiz va natijani LLM'ga beramiz.

  • 14 daq
  • Yuqori
  • 11 qadam
Recall@10 (golden set)
41 %
Qidiruv p95
12 ms
Indeks xotirasi
—
Bo'sh natijalar
0 %
Lab'da ochish

  • so'rov
  • javob
  • qayta yetkazish
  • takroriy
  • yo'qolgan
  • chaqiruv: javob shu chiziqda qaytadi

Raqamlar — model ssenariysi, o'lchov emas

Haqiqiy so'rov

Qidiruv API → Kalit so'z indeksi

So'rov

q = "singan choynak uchun pulimni qaytarib olsam bo'ladimi"
BM25 top 312
  1  "Choynak tanlash: 5 maslahat"         7.9
  2  "Elektr choynakni tozalash"           7.1
  3  "Singan ekran: ustaxona manzillari"   5.4
-- the answer is "Mablag'ni qaytarish: 14 kun ichida": no shared word3
  1. BM25 — Kalit so'z reytingi: faqat matnda haqiqatan bor so'zlarga ball bera oladi.
  2. top 3 — Chat ko'rsatadigani. Uchalasi ham choynak haqida, birortasi ham pul qaytarish haqida emas.
  3. no shared word — "pulimni" va "mablag'ni" bir xil pulni anglatadi; indeks uchun esa ular bir-biriga aloqasiz tokenlar.

O'zingiz quringKonspektDarslarni solishtirish

Kurs: 74 dars
  1. 01 Asoslar

    1. So'rovning yo'li
    2. Kechikish va o'tkazuvchanlik
    3. Qog'oz ustida hisob
  2. 02 Masshtablash

    1. Vertikal va gorizontal masshtablash
    2. Yukni taqsimlash
    3. Holatsiz (stateless) serverlar
    4. Keshlash
    5. Keshni yangilash (invalidation)
    6. CDN va edge keshlar
  3. 03 Ma'lumot va saqlash

    1. SQL va NoSQL
    2. Bazadagi indekslar
    3. Geo qidiruv: kim yaqinda
    4. Matn bo'yicha qidiruv (full-text search)
    5. Vektor qidiruv
    6. Saqlash dvigatellari: B-tree va LSM
    7. Bloom filtri
    8. Bazani replikatsiya qilish
    9. Sharding
    10. Consistent hashing
    11. Unikal ID'lar
    12. CAP: aloqa uzilganda
    13. Konsensus va lider saylovi
    14. Tranzaksiyalar
    15. Fayl yuklash
  4. 04 Aloqa

    1. API uslublari
    2. Xabar navbatlari
    3. Pub/sub va hodisalar jurnali
    4. Real-time yangilanishlar
    5. Callback'lar ishonchliligi
    6. Webhook'larni ishonchli yuborish
  5. 05 Ishonchlilik

    1. Zaxira va failover
    2. Rate limiting
    3. Timeout va qayta urinishlar
    4. Kuzatuvchanlik (observability)
    5. SLO va xato byudjeti
    6. Backpressure
  6. 06 Arxitektura

    1. Mikroservislar
    2. Servislarni topish (service discovery)
    3. Saga va outbox
    4. O'zgarishlarni ushlash (CDC)
    5. Tranzaksion outbox
    6. Taqsimlangan lock'lar
    7. Batch va stream
    8. Multi-tenancy: ko'p mijozli tizim
    9. Event sourcing
  7. 07 Xavfsizlik

    1. Autentifikatsiya
    2. Avtorizatsiya
    3. Shifrlash va sirlar
    4. Maxfiy ma'lumotlarni boshqarish
  8. 08 Yetkazib berish

    1. Testlash
    2. CI/CD: commit'dan production'gacha
    3. To'xtovsiz migratsiyalar
    4. Feature flag'lar
  9. 09 Butun tizimlar

    1. Talablardan dizayngacha
    2. URL qisqartirgich loyihasi
    3. Yangiliklar lentasi loyihasi
    4. Chat loyihasi
    5. Video sayt loyihalash
    6. Qidiruv takliflari (autocomplete) dizayni
    7. Job scheduler (vazifa rejalashtiruvchi) dizayni
  10. 10 Biznes jarayonlar

    1. To'lov shlyuzi
    2. Pul va yaxlitlash
    3. Ikki yoqlama hisob daftari
    4. To'lovlarni solishtirish
    5. Obuna to'lovlari
    6. Elektron raqamli imzo
    7. Hujjatning hayot sikli
    8. Audit jurnali
    9. Xabarnomalarni yetkazish
    10. Ommaviy import
    11. Pulni qaytarish va chargeback
    12. Hujjatlarni uzluksiz raqamlash
  11. 11 Real tajribalar

    1. Tajriba: Discord xabarlarni qanday saqlaydi
    2. Tajriba: Figma'da birgalikda tahrirlash