Галлюцинации vision-моделей

Решение: Пять типов визуальных галлюцинаций

Галлюцинация — это любой ответ, который модель выдаёт как факт, хотя на самом деле он не подтверждается входными данными. Vision-модели не просто ошибаются — они уверенно выдумывают детали, выглядящие абсолютно правдоподобно. Модель может "видеть" кота, который на деле рисунок на подушке, путать лево и право, придумывать текст на частично закрытой вывеске или подставлять ожидаемое количество вместо реального подсчёта. Опасность в том, что модель никак не показывает неуверенность: выдуманный и верный ответ звучат с одинаковой уверенностью.

Почему так происходит

Vision-language-модель по сути предсказывает следующий токен на основе патчей изображения и твоего промпта. Её учат выдавать самое вероятное продолжение, а не сообщать откалиброванную уверенность. Когда пиксели неоднозначны — размытая вывеска, заваленная полка, перекрытый объект — самый сильный приор часто берётся из языковой статистики, а не из картинки. Фразу «дюжина яиц» модель видела куда чаще, чем реально их пересчитывала, поэтому опирается на этот приор. Тот же механизм, что позволяет ей бегло описать фото, заставляет её фантазировать, когда доказательств мало. Поэтому пять режимов отказа — объекты, атрибуты, пространственные, OCR и подсчёт — кучкуются именно там, где визуальный сигнал слабее всего.

Разбор примера

Покажи модели фото парковки с семью машинами и спроси «Сколько здесь машин?». Частая ошибка — быстрый круглый ответ вроде «около дюжины», игнорирующий реальную сцену. Лечат это принудительным заземлением: промпт «Посчитай каждую машину по очереди и назови её цвет, прежде чем дать итог. Если какая-то машина частично скрыта и ты не уверен — скажи об этом». Просьба перечислить доказательства и явно отметить неуверенность стабильно снижает галлюцинации подсчёта и объектов — не потому что модель поумнела, а потому что ты убрал короткий путь к правдоподобной догадке. Любой ответ «с одного взгляда» о количестве, тексте или лево/право считай непроверенным, пока он не заземлён.

Где это особенно важно

• Контроль качества: Обнаружение ложных дефектов в производстве — модель может "видеть" трещины, которые на самом деле тени
• Медицинская визуализация: Предотвращение ложных срабатываний: модель может галлюцинировать опухоли из артефактов или шума изображения
• Автономное вождение: Критическая безопасность: модель не должна галлюцинировать пешеходов или пропускать реальные препятствия
• Юридическая проверка документов: Предотвращение выдуманных пунктов или сумм — галлюцинированный текст в контрактах имеет юридические последствия

Попробуйте сами!

Исследуй галерею ниже: 5 типов визуальных галлюцинаций, как они выглядят на практике, и конкретные стратегии промптов для обнаружения и предотвращения каждого из них.