Generate Knowledge

Решение: Мозговой штурм перед ответом

Generated Knowledge Prompting (генерация знаний) — это техника из двух шагов. Вместо того чтобы просить модель сразу ответить на сложный вопрос, ты сначала просишь её выписать факты, относящиеся к вопросу, и только потом просишь дать ответ — подставляя только что сгенерированные факты обратно в контекст. Это как мозговой штурм того, что ты уже знаешь, перед решением задачи, а не выпаливание первой пришедшей в голову мысли. Технику предложили Liu et al. (2022) для задач здравого смысла, где у модели нужные знания внутри есть, но она не вытаскивает их с первой попытки.

Как это работает

Языковая модель предсказывает текст токен за токеном, поэтому слова, которые она уже сгенерировала, становятся частью контекста для всего, что идёт дальше. Когда ты заставляешь модель сначала выписать релевантные факты, эти факты оказываются в окне контекста и задают условия для финального ответа — модель куда чаще рассуждает от прочных предпосылок, а не от поверхностной догадки. Это близко к технике Chain-of-Thought: обе работают за счёт того, что промежуточные рассуждения попадают в контекст до того, как модель зафиксирует ответ. Разница в акценте — Chain-of-Thought выписывает шаги рассуждения, а Generated Knowledge выносит вперёд фактические утверждения. В отличие от RAG, здесь нет внешней базы данных или системы поиска: знания берутся из собственных параметров модели, поэтому техника дешёвая, но ограничена тем, что модель выучила при обучении.

Когда применять — и где подводные камни

Бери её для вопросов на здравый смысл, науку и эрудицию, где модель скорее всего знает ответ, но отвечает невнимательно. Главный подводный камень — это галлюцинации: если на первом шаге сгенерируется уверенный, но ложный «факт», то на втором шаге модель честно построит на нём неверный ответ. То есть техника улучшает извлечение уже имеющихся знаний, а не добавляет факты, которых у модели никогда не было. Для изменчивых или закрытых данных лучше использовать RAG. Разберём пример: спроси «Может ли рыба утонуть?» напрямую — и многие модели сразу скажут «нет». Попроси модель сначала сгенерировать знания: «Рыбы дышат, извлекая растворённый кислород из воды жабрами; в воде без кислорода они задыхаются» — и та же модель, читая собственную заметку, теперь отвечает «да, фактически — когда в воде не хватает кислорода».

Где это используется?

• Научные вопросы: Генерация релевантного научного фона
• Рассуждения здравого смысла: Превращение неявных знаний в явные
• Задачи на знания: Вспоминание релевантных фактов сначала
• Задачи на написание: Генерация исследования перед черновиком

Попробуйте сами!

Используй интерактивный пример ниже, чтобы увидеть, как генерация знаний сначала приводит к более информированным и точным ответам.