Трансферное обучение

Решение: Революция трансферного обучения

До 2018 года создание NLP-системы означало обучение отдельной модели для каждой задачи. Анализ тональности? Обучи модель. Перевод? Обучи другую. Q&A? Ещё одну. Каждая требовала огромных размеченных датасетов и недель вычислений. Трансферное обучение (transfer learning) изменило всё. Ключевая идея: обучить одну большую модель на общей задаче (предсказание следующего токена), используя весь интернет как обучающие данные. Эта предобученная модель усваивает грамматику, факты, логику и здравый смысл — всё без человеческой разметки. Затем её адаптируют к конкретным задачам через дообучение (fine-tuning) (небольшой размеченный датасет, обновление весов) или промптинг (просто текстовые инструкции, без обновления весов). GPT-3 продемонстрировал, что при достаточном масштабе (175B параметров) модели могут следовать инструкциям промпта без какого-либо дообучения — способность, называемая обучением в контексте (in-context learning). Именно поэтому промпт-инженерия существует как дисциплина.

Трансферное обучение на практике

• Почему промптинг вообще работает: Когда вы пишете промпт "Переведи на французский", вы не учите модель французскому — она уже выучила его во время предобучения на мультиязычных веб-данных. Вы направляете существующие знания на конкретную задачу. Каждая техника в нашем разделе "Техники" (Chain-of-Thought, Few-Shot, RAG) работает, потому что модель уже имеет общие способности. Техники лишь направляют их
• Когда дообучать, а когда промптить: Дообучение побеждает промптинг, когда нужны: (1) специфическая терминология, которую модель не видела (медицина, юриспруденция), (2) единообразное форматирование для тысяч запросов, (3) максимальная точность на узкой задаче. Промптинг выигрывает, когда: (1) задача общего назначения, (2) нужна гибкость между задачами, (3) скорость запуска важнее предельной точности. RAG — золотая середина: дополнить промпт внешними знаниями без изменения весов
• Экономика фундаментальных моделей: Предобучение GPT-4, по разным оценкам, стоило более $100M. Но эта одна модель теперь обслуживает миллионы пользователей в тысячах задач через API. Стоимость на задачу стремится к нулю. До трансферного обучения каждая компания обучала свою модель для каждой задачи — анализ тональности, перевод, суммаризация — по $50K-$500K за модель. Фундаментальные модели перевернули экономику: обучи один раз, продавай доступ вечно. Именно поэтому существует экономика API
• Частая ошибка: Думать, что нужно дообучать для каждой задачи. Большинство разработчиков слишком рано берутся за дообучение. Попробуйте сначала промптинг — с техниками Chain-of-Thought, Few-Shot примерами и чёткими системными промптами современные фундаментальные модели справляются с 80-90% задач из коробки. Дообучение должно быть крайней мерой, когда промптинг стабильно не справляется, а не подходом по умолчанию

Попробуйте сами!

Исследуй интерактивную визуализацию ниже: сравни старую и новую парадигмы, посмотри, как предобучение создаёт фундаментальную модель, проследи три пути адаптации и узнай, какие способности появляются на разных масштабах.