Multimodal CoT

Решение: Думай с диаграммой

Multimodal CoT расширяет рассуждения Chain-of-Thought, включая визуальные входы — изображения, графики и диаграммы. Вместо того чтобы сразу прыгать от картинки к ответу, модель сначала описывает словами, что именно она видит — объекты, подписи, числа и связи на изображении, — и только потом рассуждает пошагово до ответа. Это как решение задачи по геометрии: ты вслух проговариваешь чертёж, одновременно прорабатывая логику. Для этого нужна модель с поддержкой зрения (vision model), которая обрабатывает и текст, и изображения в одном контексте.

Как это работает

Самый надёжный рецепт — двухэтапный подход из оригинальной статьи. На первом этапе модель получает изображение и вопрос, и её просят выдать только обоснование (rationale) — привязанное к картинке описание вроде «Вижу схему с двумя последовательными резисторами и батареей 9В». На втором этапе этот текстовый rationale подаётся обратно вместе с исходным вопросом, и модель формулирует финальный ответ. Разделение важно, потому что оно заставляет визуальное извлечение произойти явно и «под запись»: ответ выводится из чёткого текстового резюме, а не из смутного беглого взгляда. Именно поэтому даже небольшие модели зрения (около 1B параметров в статье) обходят куда более крупные текстовые модели на бенчмарках с диаграммами, например ScienceQA.

Когда применять — и подводные камни

Бери Multimodal CoT, когда ответ реально зависит от визуальной детали: фигуры из научных задач, геометрия, графики и диаграммы, лабораторное оборудование, карты, формы, блок-схемы. Для чисто текстового вопроса обычный текстовый CoT проще и дешевле. Главный подводный камень — галлюцинации (hallucination) на этапе восприятия: модель может уверенно «прочитать» значение, которого нет, и каждый следующий шаг рассуждения унаследует эту ошибку. Снижай риск, запрашивая конкретные, проверяемые наблюдения (точные числа, подписи осей, цвета) и держа обоснование плотно привязанным к изображению. Конкретный пример: дай модели столбчатую диаграмму и спроси «в каком квартале была самая высокая выручка?». Прямая модель может угадать; с Multimodal CoT она сначала переписывает каждый столбец («Q1 ≈ 40, Q2 ≈ 55, Q3 ≈ 30, Q4 ≈ 60»), затем делает вывод «выше всего Q4» — и ты можешь проверить эту расшифровку и поймать ошибку.

Где это используется?

• Научные задачи: Диаграммы по физике, химические структуры
• Математика с чертежами: Геометрия, графики, координатные системы
• Анализ графиков: Понимание визуализаций данных
• Понимание документов: Формы, инфографика, блок-схемы

Попробуйте сами!

Используй интерактивный пример ниже, чтобы увидеть, как ИИ может рассуждать о задачах, комбинирующих изображения и текст.