Шпаргалка · Данные и хранение
Векторный поиск
Проблема
В справочном центре интернет-магазина 2 миллиона фрагментов статей, а клиенты спрашивают своими словами: "можно ли вернуть деньги за сломанный чайник". Поиск по ключевым словам не находит ответ, если в нём другие слова. Добавляем эмбеддинги и косинусную близость, смотрим, почему точный kNN слишком медленный, меняем немного recall на миллисекунды с HNSW, сокращаем память через int8, разбираемся с фильтрами, объединяем BM25 и векторы через reciprocal rank fusion и отдаём результат LLM.
Чему вы научитесь
- Что такое эмбеддинг и как косинусная близость находит текст с тем же смыслом без общих слов
- Почему точный kNN стоит N x d на запрос и как HNSW балансирует recall, задержку и память
- Фильтры в приближённом поиске и гибридное ранжирование BM25 + векторы через reciprocal rank fusion
- Почему векторы разных версий модели нельзя сравнивать и как безопасно перестроить эмбеддинги
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_user(["Чат поддержки"])
n_api["Search API"]
n_text[("Индекс ключевых слов")]
n_indexer("Индексатор")
n_docs[("БД статей")]
n_model>"Модель эмбеддингов"]
n_vdb[("Векторный индекс")]
n_llm>"LLM"]
n_user -->|"вызов"| n_api
n_indexer --> n_docs
n_indexer --> n_text
n_api -->|"вызов"| n_model
n_api --> n_vdb
n_indexer --> n_model
n_indexer --> n_vdb
n_api --> n_text
n_api -->|"вызов"| n_llmMermaid: последовательность запросов
sequenceDiagram
participant n_api as Search API
participant n_text as Индекс ключевых слов
participant n_model as Модель эмбеддингов
participant n_vdb as Векторный индекс
participant n_indexer as Индексатор
participant n_llm as LLM
Note over n_api,n_text: Клиент и статья говорят разными словами
n_api->>n_text: q = #34;singan choynak uchun pulimni qaytarib olsam bo'ladimi#34;
Note over n_api,n_model: Превратить смысл в 768 чисел
n_api->>n_model: POST /v1/embeddings HTTP/1.1
n_model-->>n_api: HTTP/1.1 200 OK
Note over n_api,n_model: Похожий смысл — маленький угол
n_api->>n_model: cos(a, b) = (a . b) / (#124;a#124; #124;b#124;) normalized vectors: cos = a . b
Note over n_api,n_vdb: Сравнить вопрос со всеми 2 миллионами векторов
n_api->>n_vdb: exact kNN 2 000 000 vectors x 768 dims, float32
Note over n_api,n_vdb: Идти по графу вместо чтения всего
n_api->>n_vdb: index = HNSW(M=16, ef_construction=200) build: 38 min
Note over n_indexer,n_vdb: Хранить каждое число в 1 байте вместо 4
n_indexer->>n_vdb: vector storage per chunk, 768 dims
Note over n_api,n_vdb: Фильтр убирает почти всё, что нашёл граф
n_api->>n_vdb: filter: lang = #34;uz#34; AND in_stock = true matches 8% of chunks
Note over n_api,n_vdb: Выбирать план по тому, сколько оставляет фильтр
n_api->>n_vdb: plan by how many chunks the filter keeps
Note over n_api,n_text: Векторы промахиваются по точным кодам: вернуть BM25
n_api->>n_text: q = #34;KT-2041 choynak qopqog'i yopilmayapti#34;
Note over n_api,n_llm: Отдать LLM 5 лучших фрагментов с источниками
n_api->>n_llm: retrieve the top 5 chunks (hybrid, 14 ms) -#62; 2 100 tokens of contextD2
direction: right
n_user: "Чат поддержки" {
shape: rectangle
}
n_api: "Search API" {
shape: rectangle
}
n_text: "Индекс ключевых слов" {
shape: cylinder
}
n_indexer: "Индексатор" {
shape: rectangle
style.multiple: true
}
n_docs: "БД статей" {
shape: cylinder
}
n_model: "Модель эмбеддингов" {
shape: cloud
}
n_vdb: "Векторный индекс" {
shape: cylinder
}
n_llm: "LLM" {
shape: cloud
}
n_user -> n_api: "вызов"
n_indexer -> n_docs
n_indexer -> n_text
n_api -> n_model: "вызов"
n_api -> n_vdb
n_indexer -> n_model
n_indexer -> n_vdb
n_api -> n_text
n_api -> n_llm: "вызов"PlantUML: последовательность запросов
@startuml
participant "Search API" as n_api
database "Индекс ключевых слов" as n_text
boundary "Модель эмбеддингов" as n_model
database "Векторный индекс" as n_vdb
participant "Индексатор" as n_indexer
boundary "LLM" as n_llm
note over n_api, n_text : Клиент и статья говорят разными словами
n_api -> n_text : q = "singan choynak uchun pulimni qaytarib olsam bo'ladimi"
note over n_api, n_model : Превратить смысл в 768 чисел
n_api -> n_model : POST /v1/embeddings HTTP/1.1
n_model --> n_api : HTTP/1.1 200 OK
note over n_api, n_model : Похожий смысл — маленький угол
n_api -> n_model : cos(a, b) = (a . b) / (|a| |b|) normalized vectors: cos = a . b
note over n_api, n_vdb : Сравнить вопрос со всеми 2 миллионами векторов
n_api -> n_vdb : exact kNN 2 000 000 vectors x 768 dims, float32
note over n_api, n_vdb : Идти по графу вместо чтения всего
n_api -> n_vdb : index = HNSW(M=16, ef_construction=200) build: 38 min
note over n_indexer, n_vdb : Хранить каждое число в 1 байте вместо 4
n_indexer -> n_vdb : vector storage per chunk, 768 dims
note over n_api, n_vdb : Фильтр убирает почти всё, что нашёл граф
n_api -> n_vdb : filter: lang = "uz" AND in_stock = true matches 8% of chunks
note over n_api, n_vdb : Выбирать план по тому, сколько оставляет фильтр
n_api -> n_vdb : plan by how many chunks the filter keeps
note over n_api, n_text : Векторы промахиваются по точным кодам: вернуть BM25
n_api -> n_text : q = "KT-2041 choynak qopqog'i yopilmayapti"
note over n_api, n_llm : Отдать LLM 5 лучших фрагментов с источниками
n_api -> n_llm : retrieve the top 5 chunks (hybrid, 14 ms) -> 2 100 tokens of context
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Чат поддержки" as n_user
component "Search API" as n_api
database "Индекс ключевых слов" as n_text
collections "Индексатор" as n_indexer
database "БД статей" as n_docs
cloud "Модель эмбеддингов" as n_model
database "Векторный индекс" as n_vdb
cloud "LLM" as n_llm
n_user --> n_api : вызов
n_indexer --> n_docs
n_indexer --> n_text
n_api --> n_model : вызов
n_api --> n_vdb
n_indexer --> n_model
n_indexer --> n_vdb
n_api --> n_text
n_api --> n_llm : вызов
@endumlИтог
Шесть правил векторного поиска.
1) Модель эмбеддингов превращает текст в вектор; косинусная близость находит тот же смысл без общих слов. 2) Точный kNN стоит N x d на запрос; используйте его только на маленьких наборах. 3) HNSW меняет несколько процентов recall на миллисекунды; ef_search — ручка времени запроса, M — времени построения. 4) Квантуйте в int8 и переоценивайте лучших кандидатов, чтобы сократить память без потери recall. 5) Фильтруйте во время поиска, выбирайте план по избирательности и объединяйте векторы с BM25 через reciprocal rank fusion. 6) Вектор сравним только с векторами той же версии модели: храните версию и перестраивайте эмбеддинги в новый индекс до переключения.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Recall@10 (golden set) | 41% | 93% |
| p95 поиска | 12 мс | 14 мс |
| Память индекса | 6,1 ГБ | 1,8 ГБ |
| Пустые результаты | 0% | 0% |
Шаги
- Кейс Клиент и статья говорят разными словами
Чат поддержки ищет статьи через BM25, как в уроке о полнотекстовом поиске.
- Решение Превратить смысл в 768 чисел
Модель эмбеддингов переводит фрагмент текста в вектор: здесь 768 чисел.
- Кейс Похожий смысл — маленький угол
Косинусная близость измеряет угол между двумя векторами: 1 — одно направление, 0 — несвязанные.
- Проблема Сравнить вопрос со всеми 2 миллионами векторов
Векторы попадают в векторный индекс, а индексатор кодирует каждый новый или изменённый фрагмент.
- Решение Идти по графу вместо чтения всего
HNSW связывает каждый вектор с ближайшими соседями в многослойном графе.
- Решение Хранить каждое число в 1 байте вместо 4
Индексу нужно 6.4 ГБ RAM, а RAM — самая дорогая часть.
- Проблема Фильтр убирает почти всё, что нашёл граф
Узбекоязычные клиенты должны получать узбекские статьи о товарах в наличии.
- Решение Выбирать план по тому, сколько оставляет фильтр
Фильтр переезжает внутрь поиска.
- Решение Векторы промахиваются по точным кодам: вернуть BM25
"KT-2041 choynak qopqog'i yopilmayapti" (крышка KT-2041 не закрывается).
- Решение Отдать LLM 5 лучших фрагментов с источниками
Retrieval-augmented generation — ещё один шаг сверху: топ-5 фрагментов гибридного поиска, около 2 100 токенов, попадают в промпт LLM с указанием отвечать только по ним и ссылаться на них.
- Итоги Итог
Шесть правил векторного поиска.
Термины
- Эмбеддинг
- Вектор чисел, который модель строит из текста или картинки, например 768 чисел. Похожие по смыслу вещи получают близкие векторы; векторы разных моделей или версий несравнимы.
- Косинусная близость
- Косинус угла между двумя векторами: 1 — одно направление, 0 — несвязанные. Для векторов длины 1 это просто скалярное произведение.
- HNSW
- Многослойный граф для приближённого поиска ближайших соседей: каждый вектор связан с соседями, поиск идёт по графу к запросу. ef_search задаёт recall и задержку, M — память.
- Reciprocal rank fusion (RRF)
- Способ слить несколько ранжированных списков: документ получает 1 / (60 + место) из каждого списка, и они складываются. Оценки не нужно приводить к одной шкале, поэтому удобно объединять BM25 и векторы.
- Перекодирование эмбеддингов (re-embedding)
- При смене модели эмбеддингов: заново закодировать все документы новой моделью в новый индекс и переключить его через alias вместе с моделью запросов. Иначе старые векторы и новые запросы окажутся в разных пространствах.