Мультимодальный RAG

Решение: Три архитектуры мультимодального RAG

Мультимодальный RAG расширяет обычный retrieval-augmented generation так, чтобы этап поиска умел находить и рассуждать про изображения, а не только текст. В текстовом RAG ты разбиваешь корпус на чанки, превращаешь каждый чанк в вектор с помощью модели эмбеддингов (embeddings), складываешь векторы в векторную базу данных и на запросе достаёшь ближайшие чанки, чтобы передать их в LLM. Проблема в том, что огромная часть реальных знаний живёт в диаграммах, таблицах, графиках, скриншотах и фотографиях. Если ты эмбедишь только окружающий текст, модель фактически слепа к этому содержимому. Мультимодальный RAG решает это, давая ретриверу способ представлять визуальную информацию напрямую.

Как это работает: три архитектуры

Первый подход использует совместные эмбеддинги (embeddings) текста и изображений из модели вроде CLIP: картинка кодируется сразу в вектор, который живёт в том же пространстве, что и текстовые эмбеддинги, поэтому текстовый запрос может найти подходящее изображение по сходству. Это быстро и отлично для «найди похожую картинку», но единственный вектор отбрасывает мелкие детали, поэтому плохо отвечает на конкретные вопросы о том, что внутри изображения. Второй подход — генерация LLM-описаний: vision-модель пишет текстовое описание каждого изображения (или таблицы), и ты эмбедишь этот текст обычным пайплайном. Теперь работает всё, что ищется словами, но достаётся только то, что описание упомянуло — визуальные нюансы теряются при «переводе». Третий подход — мульти-векторные модели позднего взаимодействия (late interaction), такие как ColPali, хранят векторы на уровне патчей и токенов для всей страницы и сопоставляют токены запроса с каждым патчем, сохраняя разметку и визуальную структуру ценой более крупного индекса.

Как выбрать и разбор примера

Выбирай архитектуру по типу запроса: CLIP — для поиска изображение-по-изображению, LLM-описания — когда пользователи задают текстовые вопросы и нужен дешёвый обычный текстовый индекс, ColPali — когда важна разметка документа (формы, научные PDF, слайды). Конкретно: представь PDF на 40 страниц, где на странице 12 есть столбчатый график выручки, а пользователь спрашивает «в каком квартале была максимальная выручка?». Текстовый RAG не находит ничего полезного, потому что ответ есть только в столбцах. Пайплайн с LLM-описаниями сработает только еслисгенерированная подпись уже сказала «Q3 — максимум». ColPali же достаёт саму страницу с графиком, сопоставляя токены запроса с визуальными патчами, а модель-генератор читает столбцы и отвечает. Компромисс: мульти-векторный индекс ColPali гораздо крупнее и медленнее в поиске, поэтому для маленькой галереи фото товаров CLIP — прагматичный выбор.

Где нужен мультимодальный RAG

• Техническая документация: Диаграммы и схемы наряду с текстовыми пояснениями, доступные для поиска как по визуальному сходству, так и по текстовым запросам.
• Медицинские записи: Рентгеновские снимки, МРТ в составе записей пациентов, обеспечивающие поиск по запросу «покажи случаи с похожими изменениями на рентгене грудной клетки».
• E-commerce: Фотографии товаров в сочетании с описаниями для визуального поиска: «найди похожие товары» или «красное платье с цветочным принтом».
• Юридический анализ: Договоры с печатями, подписями, рукописными пометками, влияющими на интерпретацию наряду с печатным текстом.

Попробуйте сами!

Изучи визуализацию ниже: как каждая архитектура обрабатывает документ с изображениями — от разбиения на чанки до поиска и генерации.