Chain of Verification

Решение: Двойная проверка как у бухгалтера

Chain of Verification (CoVe) — это техника промптинга, предложенная исследователями Meta AI в 2023 году, которая заставляет модель самостоятельно проверять свой черновой ответ до того, как выдать его как финальный. Вместо того чтобы доверять первому ответу, модель пишет черновик, формулирует короткий список проверочных вопросов, отвечает на каждый отдельно, а затем переписывает финальный ответ с учётом найденного. Это похоже на бухгалтера, который сверяет каждую строку отчёта с исходными чеками перед подписью, а не отдаёт первую посчитанную цифру.

Как это работает

Техника идёт в четыре шага. Сначала модель выдаёт базовый (baseline) ответ. Затем формулирует точечные проверочные вопросы, которые проверяют конкретные факты из этого ответа («В каком году основан X?», а не «Это верно?»). Третий шаг — самый важный: модель отвечает на эти вопросы независимо, в идеале не подглядывая в исходный черновик, чтобы не просто штамповать свои же утверждения. Наконец, она сравнивает независимые ответы с черновиком и исправляет всё, что не сходится. Именно независимость даёт CoVe силу: если проверка «заражена» первым ответом, модель склонна подтверждать свои собственные ошибки.

Когда использовать и на что смотреть

Бери CoVe для фактологических задач, где уверенный, но неверный ответ дорого стоит: проверка дат и имён, вопросы-списки («назови всех X»), извлечение данных и резюме, в которые нельзя добавлять новые факты. Техника снижает галлюцинации и хорошо сочетается с рассуждениями Chain-of-Thought. Цена вопроса — стоимость: ты платишь за несколько проходов модели вместо одного, и растёт задержка. К тому же CoVe не придумает знание, которого у модели не было: если модель просто не знает факт, проверка его не создаст — поэтому CoVe особенно хорош в паре с RAG, где на каждый проверочный вопрос можно ответить по найденным источникам. Разобранный пример: спрашиваешь «Какие политики родились в Нью-Йорке?», и модель выдаёт пять имён, два из них ошибочны. Дальше CoVe по очереди спрашивает «Где родился каждый из них?»; при независимой проверке две неверные записи не проходят проверку и удаляются, оставляя чистый, проверенный список.

Где это используется?

• Проверка фактов: Верификация утверждений в сгенерированном контенте
• Извлечение данных: Подтверждение точности извлечённой информации
• Резюмирование: Проверка, что резюме не вносит ошибок
• Ответы на вопросы: Валидация ответов по исходному материалу

Попробуйте сами!

Используй интерактивный пример ниже, чтобы увидеть, как проверочные вопросы помогают находить и исправлять ошибки в ответах ИИ.