Fine-tuning vs Промптинг

Решение: Репетитор vs учебник

Дообучение (fine-tuning) — это продолжение обучения уже готовой языковой модели на небольшом сфокусированном датасете, чтобы она адаптировалась к твоей задаче, домену или стилю. Модель уже знает грамматику, факты и умеет рассуждать из исходного предобучения (pretraining); дообучение сдвигает её веса (weights) в сторону твоих паттернов — твоего тона, формата вывода, твоей терминологии. Представь, что тебе нужно изучить новый предмет. Прежде чем браться за дообучение, попробуй улучшить результаты с помощью промпт-инжиниринга. Если этого недостаточно, у тебя два основных пути:

• Учебник (prompting): читай главу перед каждым тестом. Быстро начать, но каждый раз перечитывать.
• Репетитор (fine-tuning): занимайся с учителем, пока не поймёшь. Требует времени вначале, но знания остаются.

Полный fine-tuning vs LoRA / PEFT

Полный fine-tuning обновляет все веса модели. Это даёт максимум контроля, но дорого: модели на 7 миллиардов параметров нужны десятки гигабайт памяти GPU только под состояние оптимизатора, а в итоге для каждой задачи приходится хранить полную копию модели. PEFT (Parameter-Efficient Fine-Tuning) решает это иначе: исходные веса замораживаются, а обучается лишь крошечный набор новых параметров. Самый популярный метод PEFT — LoRA (Low-Rank Adaptation): он вставляет небольшие обучаемые матрицы в каждый слой, так что настраивается меньше 1% параметров. QLoRA идёт дальше и грузит замороженную базовую модель в 4-битной квантизации, поэтому даже одна потребительская видеокарта может дообучить крупную модель. Полученный LoRA-адаптер весит всего несколько мегабайт — адаптеры можно переключать под разные задачи, не дублируя всю модель.

Когда выбирать fine-tuning, а когда prompting или RAG

Бери дообучение, когда нужен стабильный стиль, формат или поведение, которые промптом надёжно не задать — например, всегда выдавать строгий JSON, классифицировать обращения в поддержку или выдерживать единый голос бренда в тысячах запросов. Это ещё и снижает стоимость одного запроса, потому что инструкции зашиты в веса, а не повторяются в каждом промпте. Но для добавления свежих фактов дообучение не подходит. Чтобы дать модели знания, которые часто меняются, используй Retrieval Augmented Generation (RAG): храни документы в поисковой векторной базе данных, находи релевантные вопросу фрагменты через эмбеддинги и автоматически вставляй их в промпт. Обновить RAG — значит отредактировать документ; обновить дообученный факт — значит переобучить модель. Практическое правило: начни с prompting, добавь RAG для знаний, и дообучай только то поведение, до которого нельзя дойти промптом.

Конкретный пример: ты хочешь модель, которая превращает письма клиентов в структурированные тикеты с полями вроде priority, category и summary. Ты собираешь 500–1000 пар «письмо → тикет», оформляешь их как данные prompt/completion и дообучаешь через LoRA. Задача отрабатывает за час-два на одной GPU, и после этого модель выдаёт чистый JSON без длинного инструктивного промпта — дешевле и надёжнее на инференсе, чем один только prompting.

Типы файн-тюнинга

• Полный fine-tuning: переобучение всех весов. Максимальное качество, но дорого (нужно 8+ GPU)
• LoRA / QLoRA: обучение только маленьких адаптеров. Дёшево и быстро, 90% качества
• RLHF: обучение на человеческом фидбеке. Для обучения предпочтениям: быть полезным, а не вредным
• Instruction tuning: обучение следовать инструкциям. Превращает базовую модель в чат-бота

Попробуйте сами!

Ниже — дерево решений. Ответь на несколько вопросов о твоей задаче, и узнай, какой подход рекомендуется именно тебе!