mufassall

Шпаргалка · Данные и хранение

Векторный поиск

14 мин · Продвинутый · mufassall.dtwin.uz/ru/l/vector-search/

← Открыть урок

Проблема

В справочном центре интернет-магазина 2 миллиона фрагментов статей, а клиенты спрашивают своими словами: "можно ли вернуть деньги за сломанный чайник". Поиск по ключевым словам не находит ответ, если в нём другие слова. Добавляем эмбеддинги и косинусную близость, смотрим, почему точный kNN слишком медленный, меняем немного recall на миллисекунды с HNSW, сокращаем память через int8, разбираемся с фильтрами, объединяем BM25 и векторы через reciprocal rank fusion и отдаём результат LLM.

Чему вы научитесь

  • Что такое эмбеддинг и как косинусная близость находит текст с тем же смыслом без общих слов
  • Почему точный kNN стоит N x d на запрос и как HNSW балансирует recall, задержку и память
  • Фильтры в приближённом поиске и гибридное ранжирование BM25 + векторы через reciprocal rank fusion
  • Почему векторы разных версий модели нельзя сравнивать и как безопасно перестроить эмбеддинги
Итоговая сцена
35%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_user(["Чат поддержки"])
  n_api["Search API"]
  n_text[("Индекс ключевых слов")]
  n_indexer("Индексатор")
  n_docs[("БД статей")]
  n_model>"Модель эмбеддингов"]
  n_vdb[("Векторный индекс")]
  n_llm>"LLM"]
  n_user -->|"вызов"| n_api
  n_indexer --> n_docs
  n_indexer --> n_text
  n_api -->|"вызов"| n_model
  n_api --> n_vdb
  n_indexer --> n_model
  n_indexer --> n_vdb
  n_api --> n_text
  n_api -->|"вызов"| n_llm

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as Search API
  participant n_text as Индекс ключевых слов
  participant n_model as Модель эмбеддингов
  participant n_vdb as Векторный индекс
  participant n_indexer as Индексатор
  participant n_llm as LLM
  Note over n_api,n_text: Клиент и статья говорят разными словами
  n_api->>n_text: q = #34;singan choynak uchun pulimni qaytarib olsam bo'ladimi#34;
  Note over n_api,n_model: Превратить смысл в 768 чисел
  n_api->>n_model: POST /v1/embeddings HTTP/1.1
  n_model-->>n_api: HTTP/1.1 200 OK
  Note over n_api,n_model: Похожий смысл — маленький угол
  n_api->>n_model: cos(a, b) = (a . b) / (#124;a#124; #124;b#124;) normalized vectors: cos = a . b
  Note over n_api,n_vdb: Сравнить вопрос со всеми 2 миллионами векторов
  n_api->>n_vdb: exact kNN 2 000 000 vectors x 768 dims, float32
  Note over n_api,n_vdb: Идти по графу вместо чтения всего
  n_api->>n_vdb: index = HNSW(M=16, ef_construction=200) build: 38 min
  Note over n_indexer,n_vdb: Хранить каждое число в 1 байте вместо 4
  n_indexer->>n_vdb: vector storage per chunk, 768 dims
  Note over n_api,n_vdb: Фильтр убирает почти всё, что нашёл граф
  n_api->>n_vdb: filter: lang = #34;uz#34; AND in_stock = true matches 8% of chunks
  Note over n_api,n_vdb: Выбирать план по тому, сколько оставляет фильтр
  n_api->>n_vdb: plan by how many chunks the filter keeps
  Note over n_api,n_text: Векторы промахиваются по точным кодам: вернуть BM25
  n_api->>n_text: q = #34;KT-2041 choynak qopqog'i yopilmayapti#34;
  Note over n_api,n_llm: Отдать LLM 5 лучших фрагментов с источниками
  n_api->>n_llm: retrieve the top 5 chunks (hybrid, 14 ms) -#62; 2 100 tokens of context

D2

direction: right

n_user: "Чат поддержки" {
  shape: rectangle
}
n_api: "Search API" {
  shape: rectangle
}
n_text: "Индекс ключевых слов" {
  shape: cylinder
}
n_indexer: "Индексатор" {
  shape: rectangle
  style.multiple: true
}
n_docs: "БД статей" {
  shape: cylinder
}
n_model: "Модель эмбеддингов" {
  shape: cloud
}
n_vdb: "Векторный индекс" {
  shape: cylinder
}
n_llm: "LLM" {
  shape: cloud
}

n_user -> n_api: "вызов"
n_indexer -> n_docs
n_indexer -> n_text
n_api -> n_model: "вызов"
n_api -> n_vdb
n_indexer -> n_model
n_indexer -> n_vdb
n_api -> n_text
n_api -> n_llm: "вызов"

PlantUML: последовательность запросов

@startuml
participant "Search API" as n_api
database "Индекс ключевых слов" as n_text
boundary "Модель эмбеддингов" as n_model
database "Векторный индекс" as n_vdb
participant "Индексатор" as n_indexer
boundary "LLM" as n_llm
note over n_api, n_text : Клиент и статья говорят разными словами
n_api -> n_text : q = "singan choynak uchun pulimni qaytarib olsam bo'ladimi"
note over n_api, n_model : Превратить смысл в 768 чисел
n_api -> n_model : POST /v1/embeddings HTTP/1.1
n_model --> n_api : HTTP/1.1 200 OK
note over n_api, n_model : Похожий смысл — маленький угол
n_api -> n_model : cos(a, b) = (a . b) / (|a| |b|) normalized vectors: cos = a . b
note over n_api, n_vdb : Сравнить вопрос со всеми 2 миллионами векторов
n_api -> n_vdb : exact kNN 2 000 000 vectors x 768 dims, float32
note over n_api, n_vdb : Идти по графу вместо чтения всего
n_api -> n_vdb : index = HNSW(M=16, ef_construction=200) build: 38 min
note over n_indexer, n_vdb : Хранить каждое число в 1 байте вместо 4
n_indexer -> n_vdb : vector storage per chunk, 768 dims
note over n_api, n_vdb : Фильтр убирает почти всё, что нашёл граф
n_api -> n_vdb : filter: lang = "uz" AND in_stock = true matches 8% of chunks
note over n_api, n_vdb : Выбирать план по тому, сколько оставляет фильтр
n_api -> n_vdb : plan by how many chunks the filter keeps
note over n_api, n_text : Векторы промахиваются по точным кодам: вернуть BM25
n_api -> n_text : q = "KT-2041 choynak qopqog'i yopilmayapti"
note over n_api, n_llm : Отдать LLM 5 лучших фрагментов с источниками
n_api -> n_llm : retrieve the top 5 chunks (hybrid, 14 ms) -> 2 100 tokens of context
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Чат поддержки" as n_user
component "Search API" as n_api
database "Индекс ключевых слов" as n_text
collections "Индексатор" as n_indexer
database "БД статей" as n_docs
cloud "Модель эмбеддингов" as n_model
database "Векторный индекс" as n_vdb
cloud "LLM" as n_llm
n_user --> n_api : вызов
n_indexer --> n_docs
n_indexer --> n_text
n_api --> n_model : вызов
n_api --> n_vdb
n_indexer --> n_model
n_indexer --> n_vdb
n_api --> n_text
n_api --> n_llm : вызов
@enduml

Итог

Шесть правил векторного поиска.

1) Модель эмбеддингов превращает текст в вектор; косинусная близость находит тот же смысл без общих слов. 2) Точный kNN стоит N x d на запрос; используйте его только на маленьких наборах. 3) HNSW меняет несколько процентов recall на миллисекунды; ef_search — ручка времени запроса, M — времени построения. 4) Квантуйте в int8 и переоценивайте лучших кандидатов, чтобы сократить память без потери recall. 5) Фильтруйте во время поиска, выбирайте план по избирательности и объединяйте векторы с BM25 через reciprocal rank fusion. 6) Вектор сравним только с векторами той же версии модели: храните версию и перестраивайте эмбеддинги в новый индекс до переключения.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Recall@10 (golden set)41%93%
p95 поиска12 мс14 мс
Память индекса6,1 ГБ1,8 ГБ
Пустые результаты0%0%

Шаги

  1. Кейс Клиент и статья говорят разными словами

    Чат поддержки ищет статьи через BM25, как в уроке о полнотекстовом поиске.

  2. Решение Превратить смысл в 768 чисел

    Модель эмбеддингов переводит фрагмент текста в вектор: здесь 768 чисел.

  3. Кейс Похожий смысл — маленький угол

    Косинусная близость измеряет угол между двумя векторами: 1 — одно направление, 0 — несвязанные.

  4. Проблема Сравнить вопрос со всеми 2 миллионами векторов

    Векторы попадают в векторный индекс, а индексатор кодирует каждый новый или изменённый фрагмент.

  5. Решение Идти по графу вместо чтения всего

    HNSW связывает каждый вектор с ближайшими соседями в многослойном графе.

  6. Решение Хранить каждое число в 1 байте вместо 4

    Индексу нужно 6.4 ГБ RAM, а RAM — самая дорогая часть.

  7. Проблема Фильтр убирает почти всё, что нашёл граф

    Узбекоязычные клиенты должны получать узбекские статьи о товарах в наличии.

  8. Решение Выбирать план по тому, сколько оставляет фильтр

    Фильтр переезжает внутрь поиска.

  9. Решение Векторы промахиваются по точным кодам: вернуть BM25

    "KT-2041 choynak qopqog'i yopilmayapti" (крышка KT-2041 не закрывается).

  10. Решение Отдать LLM 5 лучших фрагментов с источниками

    Retrieval-augmented generation — ещё один шаг сверху: топ-5 фрагментов гибридного поиска, около 2 100 токенов, попадают в промпт LLM с указанием отвечать только по ним и ссылаться на них.

  11. Итоги Итог

    Шесть правил векторного поиска.

Термины

Эмбеддинг
Вектор чисел, который модель строит из текста или картинки, например 768 чисел. Похожие по смыслу вещи получают близкие векторы; векторы разных моделей или версий несравнимы.
Косинусная близость
Косинус угла между двумя векторами: 1 — одно направление, 0 — несвязанные. Для векторов длины 1 это просто скалярное произведение.
HNSW
Многослойный граф для приближённого поиска ближайших соседей: каждый вектор связан с соседями, поиск идёт по графу к запросу. ef_search задаёт recall и задержку, M — память.
Reciprocal rank fusion (RRF)
Способ слить несколько ранжированных списков: документ получает 1 / (60 + место) из каждого списка, и они складываются. Оценки не нужно приводить к одной шкале, поэтому удобно объединять BM25 и векторы.
Перекодирование эмбеддингов (re-embedding)
При смене модели эмбеддингов: заново закодировать все документы новой моделью в новый индекс и переключить его через alias вместе с моделью запросов. Иначе старые векторы и новые запросы окажутся в разных пространствах.