mufassall

Konspekt · Ma'lumot va saqlash

Vektor qidiruv

14 daq · Yuqori · mufassall.dtwin.uz/uz/l/vector-search/

← Darsni ochish

Muammo

Onlayn do'konning yordam markazida 2 million maqola bo'lagi bor, mijozlar esa o'z so'zlari bilan so'raydi: "singan choynak uchun pulimni qaytarib olsam bo'ladimi". Javob boshqa so'zlar bilan yozilgan bo'lsa, kalit so'z qidiruvi uni topa olmaydi. Embedding va kosinus o'xshashligini qo'shamiz, aniq kNN nega sekinligini ko'ramiz, HNSW bilan bir oz recall'ni millisekundlarga almashtiramiz, int8 bilan xotirani qisqartiramiz, filtrlarni hal qilamiz, BM25 bilan vektorlarni reciprocal rank fusion orqali birlashtiramiz va natijani LLM'ga beramiz.

Nimani o'rganasiz

  • Embedding nima va kosinus o'xshashligi umumiy so'zi yo'q, lekin ma'nosi bir xil matnni qanday topadi
  • Nega aniq kNN har so'rovga N x d turadi va HNSW recall, kechikish va xotira o'rtasida qanday murosa qiladi
  • Taxminiy qidiruvda filtrlar va reciprocal rank fusion bilan gibrid BM25 + vektor reytingi
  • Nega turli model versiyalari yasagan vektorlarni hech qachon solishtirib bo'lmaydi va qanday xavfsiz qayta embed qilinadi
Yakuniy sahna
35%

Diagramma kod sifatida

Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.

Mermaid: sxema

flowchart LR
  n_user(["Yordam chati"])
  n_api["Qidiruv API"]
  n_text[("Kalit so'z indeksi")]
  n_indexer("Indekser")
  n_docs[("Maqolalar bazasi")]
  n_model>"Embedding modeli"]
  n_vdb[("Vektor indeksi")]
  n_llm>"LLM"]
  n_user -->|"chaqiruv"| n_api
  n_indexer --> n_docs
  n_indexer --> n_text
  n_api -->|"chaqiruv"| n_model
  n_api --> n_vdb
  n_indexer --> n_model
  n_indexer --> n_vdb
  n_api --> n_text
  n_api -->|"chaqiruv"| n_llm

Mermaid: so'rovlar ketma-ketligi

sequenceDiagram
  participant n_api as Qidiruv API
  participant n_text as Kalit so'z indeksi
  participant n_model as Embedding modeli
  participant n_vdb as Vektor indeksi
  participant n_indexer as Indekser
  participant n_llm as LLM
  Note over n_api,n_text: Mijoz va maqola turli so'zlarni ishlatadi
  n_api->>n_text: q = #34;singan choynak uchun pulimni qaytarib olsam bo'ladimi#34;
  Note over n_api,n_model: Ma'noni 768 ta songa aylantir
  n_api->>n_model: POST /v1/embeddings HTTP/1.1
  n_model-->>n_api: HTTP/1.1 200 OK
  Note over n_api,n_model: Ma'no o'xshash bo'lsa, burchak kichik
  n_api->>n_model: cos(a, b) = (a . b) / (#124;a#124; #124;b#124;) normalized vectors: cos = a . b
  Note over n_api,n_vdb: Savolni 2 million vektorning hammasi bilan solishtir
  n_api->>n_vdb: exact kNN 2 000 000 vectors x 768 dims, float32
  Note over n_api,n_vdb: Hammasini o'qish o'rniga graf bo'ylab yur
  n_api->>n_vdb: index = HNSW(M=16, ef_construction=200) build: 38 min
  Note over n_indexer,n_vdb: Har bir sonni 4 bayt o'rniga 1 baytda saqla
  n_indexer->>n_vdb: vector storage per chunk, 768 dims
  Note over n_api,n_vdb: Filtr graf topgan deyarli hamma narsani olib tashlaydi
  n_api->>n_vdb: filter: lang = #34;uz#34; AND in_stock = true matches 8% of chunks
  Note over n_api,n_vdb: Rejani filtr qanchasini qoldirishiga qarab tanla
  n_api->>n_vdb: plan by how many chunks the filter keeps
  Note over n_api,n_text: Vektorlar aniq kodlarni o'tkazib yuboradi: BM25 ni qaytar
  n_api->>n_text: q = #34;KT-2041 choynak qopqog'i yopilmayapti#34;
  Note over n_api,n_llm: Eng yaxshi 5 bo'lakni manbalari bilan LLM'ga ber
  n_api->>n_llm: retrieve the top 5 chunks (hybrid, 14 ms) -#62; 2 100 tokens of context

D2

direction: right

n_user: "Yordam chati" {
  shape: rectangle
}
n_api: "Qidiruv API" {
  shape: rectangle
}
n_text: "Kalit so'z indeksi" {
  shape: cylinder
}
n_indexer: "Indekser" {
  shape: rectangle
  style.multiple: true
}
n_docs: "Maqolalar bazasi" {
  shape: cylinder
}
n_model: "Embedding modeli" {
  shape: cloud
}
n_vdb: "Vektor indeksi" {
  shape: cylinder
}
n_llm: "LLM" {
  shape: cloud
}

n_user -> n_api: "chaqiruv"
n_indexer -> n_docs
n_indexer -> n_text
n_api -> n_model: "chaqiruv"
n_api -> n_vdb
n_indexer -> n_model
n_indexer -> n_vdb
n_api -> n_text
n_api -> n_llm: "chaqiruv"

PlantUML: so'rovlar ketma-ketligi

@startuml
participant "Qidiruv API" as n_api
database "Kalit so'z indeksi" as n_text
boundary "Embedding modeli" as n_model
database "Vektor indeksi" as n_vdb
participant "Indekser" as n_indexer
boundary "LLM" as n_llm
note over n_api, n_text : Mijoz va maqola turli so'zlarni ishlatadi
n_api -> n_text : q = "singan choynak uchun pulimni qaytarib olsam bo'ladimi"
note over n_api, n_model : Ma'noni 768 ta songa aylantir
n_api -> n_model : POST /v1/embeddings HTTP/1.1
n_model --> n_api : HTTP/1.1 200 OK
note over n_api, n_model : Ma'no o'xshash bo'lsa, burchak kichik
n_api -> n_model : cos(a, b) = (a . b) / (|a| |b|) normalized vectors: cos = a . b
note over n_api, n_vdb : Savolni 2 million vektorning hammasi bilan solishtir
n_api -> n_vdb : exact kNN 2 000 000 vectors x 768 dims, float32
note over n_api, n_vdb : Hammasini o'qish o'rniga graf bo'ylab yur
n_api -> n_vdb : index = HNSW(M=16, ef_construction=200) build: 38 min
note over n_indexer, n_vdb : Har bir sonni 4 bayt o'rniga 1 baytda saqla
n_indexer -> n_vdb : vector storage per chunk, 768 dims
note over n_api, n_vdb : Filtr graf topgan deyarli hamma narsani olib tashlaydi
n_api -> n_vdb : filter: lang = "uz" AND in_stock = true matches 8% of chunks
note over n_api, n_vdb : Rejani filtr qanchasini qoldirishiga qarab tanla
n_api -> n_vdb : plan by how many chunks the filter keeps
note over n_api, n_text : Vektorlar aniq kodlarni o'tkazib yuboradi: BM25 ni qaytar
n_api -> n_text : q = "KT-2041 choynak qopqog'i yopilmayapti"
note over n_api, n_llm : Eng yaxshi 5 bo'lakni manbalari bilan LLM'ga ber
n_api -> n_llm : retrieve the top 5 chunks (hybrid, 14 ms) -> 2 100 tokens of context
@enduml

PlantUML: komponentlar

@startuml
left to right direction
agent "Yordam chati" as n_user
component "Qidiruv API" as n_api
database "Kalit so'z indeksi" as n_text
collections "Indekser" as n_indexer
database "Maqolalar bazasi" as n_docs
cloud "Embedding modeli" as n_model
database "Vektor indeksi" as n_vdb
cloud "LLM" as n_llm
n_user --> n_api : chaqiruv
n_indexer --> n_docs
n_indexer --> n_text
n_api --> n_model : chaqiruv
n_api --> n_vdb
n_indexer --> n_model
n_indexer --> n_vdb
n_api --> n_text
n_api --> n_llm : chaqiruv
@enduml

Xulosa

Vektor qidiruvning oltita qoidasi.

1) Embedding modeli matnni vektorga aylantiradi; kosinus o'xshashligi umumiy so'zsiz ham bir xil ma'noni topadi. 2) Aniq kNN har so'rovga N x d turadi; uni faqat kichik to'plamlarda ishlat. 3) HNSW bir necha foiz recall'ni millisekundlarga almashtiradi; ef_search so'rov vaqtidagi murvat, M qurish vaqtidagisi. 4) Recall'ni yo'qotmasdan xotirani qisqartirish uchun int8 ga kvantla va eng yaxshi nomzodlarni qayta bahola. 5) Qidiruv paytida filtrla, rejani filtrning tanlovchanligiga qarab tanla va vektorlarni BM25 bilan reciprocal rank fusion orqali birlashtir. 6) Vektorni faqat o'sha model versiyasi yasagan vektorlar bilan solishtirsa bo'ladi: versiyani saqla va almashtirishdan oldin yangi indeksga qayta embed qil.

Ko'rsatkichlar: boshida va oxirida

Ko'rsatkichBoshidaOxirida
Recall@10 (golden set)41%93%
Qidiruv p9512 ms14 ms
Indeks xotirasi6,1 GB1,8 GB
Bo'sh natijalar0%0%

Qadamlar

  1. Holat Mijoz va maqola turli so'zlarni ishlatadi

    Yordam chati maqolalarni BM25 bilan qidiradi, xuddi matn qidiruvi darsidagidek.

  2. Yechim Ma'noni 768 ta songa aylantir

    Embedding modeli matn bo'lagini vektorga aylantiradi: bu yerda 768 ta son.

  3. Holat Ma'no o'xshash bo'lsa, burchak kichik

    Kosinus o'xshashligi ikki vektor orasidagi burchakni o'lchaydi: 1 bir xil yo'nalish, 0 aloqasiz degani.

  4. Muammo Savolni 2 million vektorning hammasi bilan solishtir

    Vektorlar vektor indeksiga tushadi, indekser esa har bir yangi yoki o'zgargan bo'lakni embed qiladi.

  5. Yechim Hammasini o'qish o'rniga graf bo'ylab yur

    HNSW har bir vektorni qatlamli grafda eng yaqin qo'shnilari bilan bog'laydi.

  6. Yechim Har bir sonni 4 bayt o'rniga 1 baytda saqla

    Indeksga 6.4 GB RAM kerak, RAM esa eng qimmat qismi.

  7. Muammo Filtr graf topgan deyarli hamma narsani olib tashlaydi

    O'zbek tilida so'zlashuvchi mijozlar sotuvda bor mahsulotlar haqidagi o'zbekcha maqolalarni olishi kerak.

  8. Yechim Rejani filtr qanchasini qoldirishiga qarab tanla

    Filtr qidiruvning ichiga ko'chadi.

  9. Yechim Vektorlar aniq kodlarni o'tkazib yuboradi: BM25 ni qaytar

    "KT-2041 choynak qopqog'i yopilmayapti".

  10. Yechim Eng yaxshi 5 bo'lakni manbalari bilan LLM'ga ber

    Retrieval-augmented generation ustiga qo'yiladigan yana bitta qadam: gibrid qidiruvning top 5 bo'lagi, 2 100 tokenga yaqin, faqat ulardan javob berish va ularga havola qilish ko'rsatmasi bilan LLM prompt'iga tushadi.

  11. Xulosa Xulosa

    Vektor qidiruvning oltita qoidasi.

Atamalar

Embedding (vektor ifoda)
Model matn yoki rasmdan yasagan sonlar vektori, masalan 768 ta son. Ma'nosi o'xshash narsalar yaqin vektorlarga tushadi; turli model yoki versiya vektorlarini solishtirib bo'lmaydi.
Kosinus o'xshashligi
Ikki vektor orasidagi burchak kosinusi: 1 bir xil yo'nalish, 0 aloqasiz. Vektorlar uzunligi 1 ga keltirilgan bo'lsa, bu oddiy skalyar ko'paytma.
HNSW
Taxminiy eng yaqin qo'shnilarni qidirish uchun qatlamli graf: har vektor qo'shnilari bilan bog'langan, qidiruv graf bo'ylab savol tomon yuradi. ef_search recall va kechikishni, M esa xotirani belgilaydi.
Reciprocal rank fusion (RRF)
Bir nechta reyting ro'yxatini birlashtirish usuli: hujjat har bir ro'yxatdan 1 / (60 + o'rin) oladi va ular qo'shiladi. Ballarni bir masshtabga keltirish shart emas, shuning uchun BM25 va vektor natijalarini birlashtirishda qulay.
Qayta embed qilish (re-embedding)
Embedding modeli o'zgarganda barcha hujjatlarni yangi model bilan qaytadan vektorga aylantirish, yangi indeksga yozish va so'rov modeli bilan birga alias orqali almashtirish. Busiz eski vektorlar va yangi so'rovlar turli fazoda qoladi.