Few-Shot Learning

Решение: Покажи, а не рассказывай

Few-shot промптинг означает дать модели несколько разобранных примеров задачи прямо в промпте, перед тем как просить её обработать новый ввод. Вместо того чтобы описывать правила словами, ты показываешь модели две-пять пар «вход → выход» и даёшь ей самой вывести закономерность (паттерн). Это как ввести в курс дела нового сотрудника через образцы работы, а не через 10-страничную инструкцию: и люди, и языковые модели часто учатся быстрее на демонстрациях, чем на абстрактных предписаниях. В отличие от Zero-Shot (совсем без примеров), few-shot учит через показ.

Механизм, который за этим стоит, называется обучением в контексте (in-context learning): модель не дообучается и не меняет свои веса, она просто строит следующее предсказание с опорой на всё, что уже есть в промпте, включая твои примеры. Поскольку примеры лежат в контекстном окне (context window), они направляют модель к нужному формату, тону и границе принятия решений для одного запроса, а затем исчезают, на сами веса модели они не влияют. Поэтому few-shot незаменим, когда нужна очень конкретная форма вывода (JSON-схема, фиксированный набор меток, определённый стиль текста), которую трудно точно описать словами. Он хорошо сочетается и с другими приёмами: для многошаговых рассуждений комбинируй его с Chain-of-Thought, чтобы каждый пример показывал не только итоговый ответ, но и сам ход рассуждения.

Компромиссы и разобранный пример

Главные издержки, это токены и смещение (bias). Каждый добавленный пример занимает место в контекстном окне, увеличивает задержку и стоимость, а модели чувствительны к порядку примеров и балансу классов: если показать четыре положительных отзыва, а потом один отрицательный, предсказания могут перекоситься в сторону «положительно». Решение, это отбор, а не количество: 3-5 разнообразных, правильно размеченных примеров, покрывающих сложные граничные случаи, обычно работают лучше, чем 20 случайных. Конкретно: чтобы классифицировать обращения в поддержку, можно показать «С карты дважды списали деньги» → Оплата, «Приложение падает при входе» → Баг и «Добавьте тёмную тему» → Запрос фичи. Получив новое обращение вроде «Меня списали после отмены», модель теперь надёжно выдаёт Оплата ровно в том однословном формате, который задали примеры, без всяких длинных инструкций.

Где это используется?

• Специальное форматирование: Конкретные форматы вывода, стили, структуры
• Специфичные задачи: Когда нужен профессиональный язык отрасли
• Классификация: Обучение категориям через примеры
• Трансформация данных: Преобразование данных из одного формата в другой

Попробуйте сами!

Используй интерактивный пример ниже, чтобы увидеть, как добавление примеров меняет вывод ИИ. Попробуй добавить больше примеров и посмотри, как улучшается распознавание паттернов.