Konspekt · Ma'lumot va saqlash
Vektor qidiruv
Muammo
Onlayn do'konning yordam markazida 2 million maqola bo'lagi bor, mijozlar esa o'z so'zlari bilan so'raydi: "singan choynak uchun pulimni qaytarib olsam bo'ladimi". Javob boshqa so'zlar bilan yozilgan bo'lsa, kalit so'z qidiruvi uni topa olmaydi. Embedding va kosinus o'xshashligini qo'shamiz, aniq kNN nega sekinligini ko'ramiz, HNSW bilan bir oz recall'ni millisekundlarga almashtiramiz, int8 bilan xotirani qisqartiramiz, filtrlarni hal qilamiz, BM25 bilan vektorlarni reciprocal rank fusion orqali birlashtiramiz va natijani LLM'ga beramiz.
Nimani o'rganasiz
- Embedding nima va kosinus o'xshashligi umumiy so'zi yo'q, lekin ma'nosi bir xil matnni qanday topadi
- Nega aniq kNN har so'rovga N x d turadi va HNSW recall, kechikish va xotira o'rtasida qanday murosa qiladi
- Taxminiy qidiruvda filtrlar va reciprocal rank fusion bilan gibrid BM25 + vektor reytingi
- Nega turli model versiyalari yasagan vektorlarni hech qachon solishtirib bo'lmaydi va qanday xavfsiz qayta embed qilinadi
Diagramma kod sifatida
Darsdagi yakuniy sxemani matn ko'rinishida oling va Jira, GitLab, GitHub, Notion yoki hujjatga qo'ying: Mermaid u yerlarda o'zi chiziladi. D2 va PlantUML (Confluence, IntelliJ) uchun alohida variantlar bor.
Mermaid: sxema
flowchart LR
n_user(["Yordam chati"])
n_api["Qidiruv API"]
n_text[("Kalit so'z indeksi")]
n_indexer("Indekser")
n_docs[("Maqolalar bazasi")]
n_model>"Embedding modeli"]
n_vdb[("Vektor indeksi")]
n_llm>"LLM"]
n_user -->|"chaqiruv"| n_api
n_indexer --> n_docs
n_indexer --> n_text
n_api -->|"chaqiruv"| n_model
n_api --> n_vdb
n_indexer --> n_model
n_indexer --> n_vdb
n_api --> n_text
n_api -->|"chaqiruv"| n_llmMermaid: so'rovlar ketma-ketligi
sequenceDiagram
participant n_api as Qidiruv API
participant n_text as Kalit so'z indeksi
participant n_model as Embedding modeli
participant n_vdb as Vektor indeksi
participant n_indexer as Indekser
participant n_llm as LLM
Note over n_api,n_text: Mijoz va maqola turli so'zlarni ishlatadi
n_api->>n_text: q = #34;singan choynak uchun pulimni qaytarib olsam bo'ladimi#34;
Note over n_api,n_model: Ma'noni 768 ta songa aylantir
n_api->>n_model: POST /v1/embeddings HTTP/1.1
n_model-->>n_api: HTTP/1.1 200 OK
Note over n_api,n_model: Ma'no o'xshash bo'lsa, burchak kichik
n_api->>n_model: cos(a, b) = (a . b) / (#124;a#124; #124;b#124;) normalized vectors: cos = a . b
Note over n_api,n_vdb: Savolni 2 million vektorning hammasi bilan solishtir
n_api->>n_vdb: exact kNN 2 000 000 vectors x 768 dims, float32
Note over n_api,n_vdb: Hammasini o'qish o'rniga graf bo'ylab yur
n_api->>n_vdb: index = HNSW(M=16, ef_construction=200) build: 38 min
Note over n_indexer,n_vdb: Har bir sonni 4 bayt o'rniga 1 baytda saqla
n_indexer->>n_vdb: vector storage per chunk, 768 dims
Note over n_api,n_vdb: Filtr graf topgan deyarli hamma narsani olib tashlaydi
n_api->>n_vdb: filter: lang = #34;uz#34; AND in_stock = true matches 8% of chunks
Note over n_api,n_vdb: Rejani filtr qanchasini qoldirishiga qarab tanla
n_api->>n_vdb: plan by how many chunks the filter keeps
Note over n_api,n_text: Vektorlar aniq kodlarni o'tkazib yuboradi: BM25 ni qaytar
n_api->>n_text: q = #34;KT-2041 choynak qopqog'i yopilmayapti#34;
Note over n_api,n_llm: Eng yaxshi 5 bo'lakni manbalari bilan LLM'ga ber
n_api->>n_llm: retrieve the top 5 chunks (hybrid, 14 ms) -#62; 2 100 tokens of contextD2
direction: right
n_user: "Yordam chati" {
shape: rectangle
}
n_api: "Qidiruv API" {
shape: rectangle
}
n_text: "Kalit so'z indeksi" {
shape: cylinder
}
n_indexer: "Indekser" {
shape: rectangle
style.multiple: true
}
n_docs: "Maqolalar bazasi" {
shape: cylinder
}
n_model: "Embedding modeli" {
shape: cloud
}
n_vdb: "Vektor indeksi" {
shape: cylinder
}
n_llm: "LLM" {
shape: cloud
}
n_user -> n_api: "chaqiruv"
n_indexer -> n_docs
n_indexer -> n_text
n_api -> n_model: "chaqiruv"
n_api -> n_vdb
n_indexer -> n_model
n_indexer -> n_vdb
n_api -> n_text
n_api -> n_llm: "chaqiruv"PlantUML: so'rovlar ketma-ketligi
@startuml
participant "Qidiruv API" as n_api
database "Kalit so'z indeksi" as n_text
boundary "Embedding modeli" as n_model
database "Vektor indeksi" as n_vdb
participant "Indekser" as n_indexer
boundary "LLM" as n_llm
note over n_api, n_text : Mijoz va maqola turli so'zlarni ishlatadi
n_api -> n_text : q = "singan choynak uchun pulimni qaytarib olsam bo'ladimi"
note over n_api, n_model : Ma'noni 768 ta songa aylantir
n_api -> n_model : POST /v1/embeddings HTTP/1.1
n_model --> n_api : HTTP/1.1 200 OK
note over n_api, n_model : Ma'no o'xshash bo'lsa, burchak kichik
n_api -> n_model : cos(a, b) = (a . b) / (|a| |b|) normalized vectors: cos = a . b
note over n_api, n_vdb : Savolni 2 million vektorning hammasi bilan solishtir
n_api -> n_vdb : exact kNN 2 000 000 vectors x 768 dims, float32
note over n_api, n_vdb : Hammasini o'qish o'rniga graf bo'ylab yur
n_api -> n_vdb : index = HNSW(M=16, ef_construction=200) build: 38 min
note over n_indexer, n_vdb : Har bir sonni 4 bayt o'rniga 1 baytda saqla
n_indexer -> n_vdb : vector storage per chunk, 768 dims
note over n_api, n_vdb : Filtr graf topgan deyarli hamma narsani olib tashlaydi
n_api -> n_vdb : filter: lang = "uz" AND in_stock = true matches 8% of chunks
note over n_api, n_vdb : Rejani filtr qanchasini qoldirishiga qarab tanla
n_api -> n_vdb : plan by how many chunks the filter keeps
note over n_api, n_text : Vektorlar aniq kodlarni o'tkazib yuboradi: BM25 ni qaytar
n_api -> n_text : q = "KT-2041 choynak qopqog'i yopilmayapti"
note over n_api, n_llm : Eng yaxshi 5 bo'lakni manbalari bilan LLM'ga ber
n_api -> n_llm : retrieve the top 5 chunks (hybrid, 14 ms) -> 2 100 tokens of context
@endumlPlantUML: komponentlar
@startuml
left to right direction
agent "Yordam chati" as n_user
component "Qidiruv API" as n_api
database "Kalit so'z indeksi" as n_text
collections "Indekser" as n_indexer
database "Maqolalar bazasi" as n_docs
cloud "Embedding modeli" as n_model
database "Vektor indeksi" as n_vdb
cloud "LLM" as n_llm
n_user --> n_api : chaqiruv
n_indexer --> n_docs
n_indexer --> n_text
n_api --> n_model : chaqiruv
n_api --> n_vdb
n_indexer --> n_model
n_indexer --> n_vdb
n_api --> n_text
n_api --> n_llm : chaqiruv
@endumlXulosa
Vektor qidiruvning oltita qoidasi.
1) Embedding modeli matnni vektorga aylantiradi; kosinus o'xshashligi umumiy so'zsiz ham bir xil ma'noni topadi. 2) Aniq kNN har so'rovga N x d turadi; uni faqat kichik to'plamlarda ishlat. 3) HNSW bir necha foiz recall'ni millisekundlarga almashtiradi; ef_search so'rov vaqtidagi murvat, M qurish vaqtidagisi. 4) Recall'ni yo'qotmasdan xotirani qisqartirish uchun int8 ga kvantla va eng yaxshi nomzodlarni qayta bahola. 5) Qidiruv paytida filtrla, rejani filtrning tanlovchanligiga qarab tanla va vektorlarni BM25 bilan reciprocal rank fusion orqali birlashtir. 6) Vektorni faqat o'sha model versiyasi yasagan vektorlar bilan solishtirsa bo'ladi: versiyani saqla va almashtirishdan oldin yangi indeksga qayta embed qil.
Ko'rsatkichlar: boshida va oxirida
| Ko'rsatkich | Boshida | Oxirida |
|---|---|---|
| Recall@10 (golden set) | 41% | 93% |
| Qidiruv p95 | 12 ms | 14 ms |
| Indeks xotirasi | 6,1 GB | 1,8 GB |
| Bo'sh natijalar | 0% | 0% |
Qadamlar
- Holat Mijoz va maqola turli so'zlarni ishlatadi
Yordam chati maqolalarni BM25 bilan qidiradi, xuddi matn qidiruvi darsidagidek.
- Yechim Ma'noni 768 ta songa aylantir
Embedding modeli matn bo'lagini vektorga aylantiradi: bu yerda 768 ta son.
- Holat Ma'no o'xshash bo'lsa, burchak kichik
Kosinus o'xshashligi ikki vektor orasidagi burchakni o'lchaydi: 1 bir xil yo'nalish, 0 aloqasiz degani.
- Muammo Savolni 2 million vektorning hammasi bilan solishtir
Vektorlar vektor indeksiga tushadi, indekser esa har bir yangi yoki o'zgargan bo'lakni embed qiladi.
- Yechim Hammasini o'qish o'rniga graf bo'ylab yur
HNSW har bir vektorni qatlamli grafda eng yaqin qo'shnilari bilan bog'laydi.
- Yechim Har bir sonni 4 bayt o'rniga 1 baytda saqla
Indeksga 6.4 GB RAM kerak, RAM esa eng qimmat qismi.
- Muammo Filtr graf topgan deyarli hamma narsani olib tashlaydi
O'zbek tilida so'zlashuvchi mijozlar sotuvda bor mahsulotlar haqidagi o'zbekcha maqolalarni olishi kerak.
- Yechim Rejani filtr qanchasini qoldirishiga qarab tanla
Filtr qidiruvning ichiga ko'chadi.
- Yechim Vektorlar aniq kodlarni o'tkazib yuboradi: BM25 ni qaytar
"KT-2041 choynak qopqog'i yopilmayapti".
- Yechim Eng yaxshi 5 bo'lakni manbalari bilan LLM'ga ber
Retrieval-augmented generation ustiga qo'yiladigan yana bitta qadam: gibrid qidiruvning top 5 bo'lagi, 2 100 tokenga yaqin, faqat ulardan javob berish va ularga havola qilish ko'rsatmasi bilan LLM prompt'iga tushadi.
- Xulosa Xulosa
Vektor qidiruvning oltita qoidasi.
Atamalar
- Embedding (vektor ifoda)
- Model matn yoki rasmdan yasagan sonlar vektori, masalan 768 ta son. Ma'nosi o'xshash narsalar yaqin vektorlarga tushadi; turli model yoki versiya vektorlarini solishtirib bo'lmaydi.
- Kosinus o'xshashligi
- Ikki vektor orasidagi burchak kosinusi: 1 bir xil yo'nalish, 0 aloqasiz. Vektorlar uzunligi 1 ga keltirilgan bo'lsa, bu oddiy skalyar ko'paytma.
- HNSW
- Taxminiy eng yaqin qo'shnilarni qidirish uchun qatlamli graf: har vektor qo'shnilari bilan bog'langan, qidiruv graf bo'ylab savol tomon yuradi. ef_search recall va kechikishni, M esa xotirani belgilaydi.
- Reciprocal rank fusion (RRF)
- Bir nechta reyting ro'yxatini birlashtirish usuli: hujjat har bir ro'yxatdan 1 / (60 + o'rin) oladi va ular qo'shiladi. Ballarni bir masshtabga keltirish shart emas, shuning uchun BM25 va vektor natijalarini birlashtirishda qulay.
- Qayta embed qilish (re-embedding)
- Embedding modeli o'zgarganda barcha hujjatlarni yangi model bilan qaytadan vektorga aylantirish, yangi indeksga yozish va so'rov modeli bilan birga alias orqali almashtirish. Busiz eski vektorlar va yangi so'rovlar turli fazoda qoladi.