Семантический поиск

Решение: Понимание смысла, а не слов

Semantic search использует эмбеддинги (embeddings) — плотные векторные представления смысла текста — чтобы находить контент по смыслу, а не по точному совпадению ключевых слов. Эмбеддинг-модель читает фрагмент текста и выдаёт список чисел (часто 384, 768 или 1536 штук), который кодирует его смысл. Тексты о похожих идеях оказываются рядом в этом многомерном пространстве, а несвязанные — далеко друг от друга. Запрос "средство от головной боли" находит "лечение мигрени", потому что оба отображаются в близкие векторы, хотя у них нет ни одного общего слова.

Как это работает

Пайплайн состоит из двух фаз. Сначала офлайн-индексация: каждый документ из твоей коллекции один раз прогоняется через эмбеддинг-модель, а полученные векторы сохраняются в векторной базе данных (vector database) — например, Pinecone, Qdrant или pgvector. Затем онлайн-фаза запроса: когда пользователь ищет, его запрос кодируется той же моделью, и ты сравниваешь вектор запроса с сохранёнными векторами документов. Стандартная мера сравнения — это косинусное сходство (cosine similarity): косинус угла между двумя векторами, от 1 (одинаковое направление) до 0 (не связаны) и -1 (противоположны). Документы с наибольшим сходством возвращаются как результаты top-k. Для больших коллекций векторы не сравнивают точно со всеми подряд — индекс приближённого поиска ANN (approximate nearest neighbor), например HNSW, ускоряет поиск ценой редких промахов по настоящему совпадению.

Когда использовать и какие компромиссы

Бери семантический поиск, когда пользователи формулируют запросы своими словами, когда важны синонимы и перефразировки или когда нужен кросс-языковой поиск. Он же — основа извлечения в RAG-системах, которые подают контекст в LLM. Но без ловушек не обходится. Эмбеддинги размывают точные детали: запрос с кодом продукта "X-450" или конкретным именем человека может поднять смутно похожий документ выше точного — ведь именно точность по ключевым словам эмбеддинги и сглаживают. На практике это лечит гибридный поиск (hybrid search): смешиваем семантическую оценку с сигналом по ключевым словам вроде BM25, чтобы получить и смысл, и точное совпадение. Ещё два правила: запросы и документы нужно кодировать одной и той же моделью, а длинные документы перед эмбеддингом стоит резать на маленькие фрагменты (chunks), потому что один вектор не может честно представить десять страниц разнородного текста.

Разобранный пример. Представь базу знаний поддержки из 3 статей: A = "Сброс пароля", B = "Обновление платёжной карты", C = "Восстановление заблокированного аккаунта". Пользователь пишет "я забыл вход". Поиск по ключевым словам не находит ничего — ни в одной статье нет слов "забыл" или "вход". Семантический поиск кодирует запрос и получает косинусные оценки примерно A = 0.81, C = 0.74, B = 0.22. Он возвращает наверх A и C, потому что "забыл вход" семантически близко к "сбросу пароля" и "заблокированному аккаунту", и справедливо отправляет вниз несвязанную статью про оплату.

Где это используется?

• Поиск по базе знаний: Поиск релевантных статей поддержки, даже когда пользователи описывают проблемы своими словами
• Поиск по документации: Нахождение нужной страницы API-справочника по концептуальному вопросу
• Поиск продуктов: "Удобная обувь для долгих прогулок" находит "эргономичную обувь" и "ортопедические кроссовки"
• Кросс-языковой поиск: Запрос на английском находит семантически схожие документы на русском или французском
• Частая ловушка: слепые пятна эмбеддингов: Эмбеддинг-модели плохо справляются с редкими именами собственными, кодами продуктов и свежей терминологией — гибридный поиск (семантика + BM25) лучше обрабатывает такие случаи

Попробуйте сами!

Попробуй интерактивный пример ниже, чтобы сравнить поиск по ключевым словам и семантический поиск, и увидеть, как поиск по смыслу находит то, что упускают ключевые слова.