RLHF

Решение: RLHF — Учим модели тому, что предпочитают люди

После предобучения на текстах из интернета LLM может предсказывать следующий токен — но не знает, что делает ответ полезным, безопасным или честным. RLHF закрывает этот пробел: на основе человеческих оценок создаётся reward-модель, которая оценивает ответы, а затем LLM дообучается через PPO (Proximal Policy Optimization) для максимизации этой оценки. KL-дивергенция не позволяет модели уйти слишком далеко от предобученных знаний, предотвращая "reward hacking" — когда модель находит вырожденные способы получить высокий score.

RLHF на практике

• Alignment ChatGPT: RLHF превратил GPT-3 из автодополнения в ChatGPT. Статья InstructGPT (2022) показала, что модель на 1.3B с RLHF превосходила модель на 175B без RLHF по оценкам людей
• Обучение безопасности: RLHF учит модели отказывать в вредных запросах, избегать генерации токсичного контента и адекватно отвечать на чувствительные темы. Reward-модель учится понятию "безопасно" от аннотаторов
• Следование инструкциям: Предобученные модели часто игнорируют запросы на формат или растекаются. RLHF оптимизирует ответы, которые действительно следуют инструкциям: краткие по запросу, структурированные при запросе списков
• Частая ошибка: RLHF не учит модель новым знаниям — оно учит, какие существующие знания показывать. Предубеждения reward-модели из-за разногласий аннотаторов могут привести к подхалимскому поведению, когда модель соглашается с пользователем, даже если тот ошибается

Попробуйте сами!

Исследуй интерактивный пайплайн RLHF ниже: собери предпочтения, обучи reward-модель и посмотри, как PPO-оптимизация формирует поведение модели.