Глоссарий терминов LLM

Процесс разбиения текста на меньшие единицы, называемые токенами, которые большие языковые модели могут понимать и обрабатывать. LLM используют алгоритмы вроде Byte-Pair Encoding (BPE) для разделения текста на подслова, что позволяет им обрабатывать любые слова, включая редкие или с ошибками.

Алгоритм субсловной токенизации, который начинает с отдельных символов и итеративно объединяет наиболее часто встречающиеся пары. Используется в GPT, Claude и большинстве современных LLM. BPE создаёт словарь распространённых подслов, балансируя размер словаря и способность представлять любой текст.

Векторные представления слов, предложений или документов в многомерном пространстве. Слова с похожими значениями располагаются близко друг к другу. Например, "король" и "королева" имеют похожие эмбеддинги. Типичные размерности варьируются от 768 (BERT) до 12,288 (GPT-4).

Механизм, позволяющий Трансформерам взвешивать важность разных частей входа при обработке каждого токена. Он вычисляет оценки сходства между векторами Query, Key и Value, чтобы определить, на какие токены фокусироваться. Multi-head attention позволяет модели обращать внимание на разные аспекты одновременно.

Вариант attention, при котором каждый токен в последовательности обращает внимание на все остальные токены той же последовательности. Это позволяет модели улавливать зависимости между любыми двумя позициями вне зависимости от расстояния. Self-attention — основной строительный блок архитектуры Transformer.

Архитектура нейронной сети, представленная в статье "Attention is All You Need" (2017). Трансформеры используют механизмы self-attention вместо рекуррентности или свёртки, что позволяет параллельную обработку и захват дальних зависимостей. Все современные LLM (GPT, Claude, Llama) основаны на архитектуре Трансформера.

Процесс использования обученной модели для генерации предсказаний или выходов на новых входах. Во время инференса модель обрабатывает вход через свои слои и производит токены по одному (авторегрессионная генерация). Скорость инференса зависит от размера модели, оборудования и техник оптимизации вроде KV-кеша.

Техника оптимизации, кеширующая векторы Key и Value от предыдущих токенов при авторегрессионной генерации. Без KV-кеша модель бы пересчитывала attention для всех предыдущих токенов на каждом шаге. Это значительно ускоряет инференс, но требует существенной памяти.

Параметр, контролирующий случайность выходного распределения модели. Температура 0 заставляет модель всегда выбирать наиболее вероятный токен (жадное декодирование). Более высокие значения (0.7-1.0) увеличивают случайность и креативность. Значения выше 1.0 делают вывод всё более случайным.

Метод сэмплирования (также называемый nucleus sampling), который рассматривает только наименьший набор токенов с совокупной вероятностью выше порога p. Например, top-p=0.9 рассматривает токены, покрывающие 90% вероятностной массы. Это динамически подстраивает пул кандидатов под форму распределения.

Техника для уменьшения размера модели и использования памяти путём представления весов с меньшим количеством битов. Распространённые форматы: FP16 (16-битная, ~50% размера), INT8 (8-битное, ~75% размера), INT4 (4-битное, ~87.5% размера). Квантизация позволяет запускать большие модели на потребительском железе с минимальной потерей качества.

Процесс дальнейшей тренировки предобученной модели на специфическом датасете для специализации под конкретную задачу или домен. Полный fine-tuning обновляет все веса модели, в то время как LoRA (Low-Rank Adaptation) обновляет только небольшое подмножество, делая процесс более эффективным.

Способность LLM выполнять задачи без каких-либо примеров в промпте. Вы просто описываете, что хотите, на естественном языке. Современные LLM вроде GPT-4 и Claude превосходно справляются с zero-shot задачами благодаря обширной предварительной тренировке на разнообразных данных.

Техника промптинга, когда вы даёте 2-8 примеров желаемого формата вход-выход перед реальной задачей. Модель учится паттерну из примеров и применяет его к новым входам. Больше примеров обычно улучшает производительность, но потребляет больше токенов.

Техника промптинга, когда вы просите LLM показать свои рассуждения пошагово перед финальным ответом. Исследования показывают, что CoT может улучшить точность на 30-50% в сложных задачах рассуждений. Два варианта: Zero-Shot CoT («Давай подумаем пошагово») и Few-Shot CoT (примеры с рассуждениями).

Улучшение Chain-of-Thought, при котором модель генерирует несколько цепочек рассуждений для одной задачи и выбирает наиболее частый ответ через голосование большинства. Это снижает влияние отдельных ошибок рассуждений и повышает надёжность на сложных задачах.

Фреймворк, расширяющий Chain-of-Thought путём исследования нескольких путей рассуждений, организованных как дерево. На каждом шаге модель генерирует несколько возможных мыслей, оценивает их и выбирает наиболее перспективные ветви для продолжения. Позволяет откат и стратегическое планирование.

Техника, при которой LLM используется для генерации, улучшения или оптимизации промптов для себя или другой модели. Модель выступает в роли промпт-инженера, создавая инструкции лучше, чем человек. Процесс может быть итеративным — модель улучшает промпты на основе качества вывода.

Техника, при которой модель анализирует свой собственный вывод, находит ошибки или области для улучшения и генерирует исправленный ответ. Этот цикл саморефлексии может повторяться несколько раз, прогрессивно улучшая качество ответа.

Стратегия промптинга, которая разбивает сложную задачу на серию более простых подзадач. Каждая подзадача решается по порядку, при этом решения предыдущих подзадач используются в последующих. Особенно эффективна для задач, требующих композиционного обобщения.

Техника, при которой модель генерирует исполняемый код (например, Python) для решения задачи вместо текстовых рассуждений. Код затем выполняется для получения точного ответа. Особенно эффективна для математических и логических задач.

Техника, при которой модель сначала генерирует черновой ответ, затем создаёт проверочные вопросы о своих утверждениях, отвечает на них независимо и пересматривает исходный ответ на основе проверки. Снижает галлюцинации и фактические ошибки.

Retrieval-Augmented Generation — техника, комбинирующая поиск информации с генерацией текста. Вместо того чтобы полагаться только на обучающие данные модели, RAG извлекает релевантные документы из базы знаний и включает их в промпт. Это снижает галлюцинации и позволяет LLM получать доступ к актуальной информации.

Техника, при которой сложная задача разбивается на серию простых вызовов LLM, где выход одного вызова подаётся на вход следующего. Каждый шаг может использовать отдельный промпт, модель или даже включать логику валидации. Позволяет строить надёжные пайплайны для сложных процессов.

Техники ограничения вывода LLM определённым форматом (JSON, XML, YAML и т.д.). Достигается через инструкции в промпте, few-shot примеры или API-функции вроде JSON mode. Необходимо для интеграции выводов LLM в программные системы, ожидающие структурированных данных.

Automatic Prompt Engineering — техника, при которой LLM автоматически генерирует, оценивает и выбирает оптимальные промпты для заданной задачи. Модель предлагает несколько кандидатов, тестирует их на примерах и выбирает лучший. Устраняет необходимость ручной настройки промптов.

Практика разработки и оптимизации текстовых промптов для получения желаемого поведения и вывода от LLM. Включает техники вроде назначения ролей, few-shot примеров, Chain-of-Thought, форматирования вывода и итеративного улучшения. Ключевой навык для эффективной работы с AI-моделями.

Специальный промпт, задающий поведение, роль и ограничения модели до начала взаимодействия с пользователем. Системные промпты обычно скрыты от пользователя и могут определять персону, формат вывода, правила безопасности и доменную экспертизу. Они сохраняются на протяжении всего разговора.

Максимальный объём текста (в токенах), который модель может обработать за один запрос, включая вход и выход. Современные модели поддерживают от 8K до 200K+ токенов. Большие контекстные окна позволяют обрабатывать длинные документы, но увеличивают стоимость и могут снижать точность на удалённой информации.

Организованное расположение элементов промпта для оптимальной работы модели. Ключевые компоненты: роль/персона, контекст/фон, инструкция/задача, входные данные, примеры, формат вывода и ограничения. Хорошо структурированные промпты стабильно превосходят неструктурированные.

Практика привязки ответов модели к конкретной, проверяемой информации, предоставленной в контексте. Заземлённая генерация снижает галлюцинации, требуя от модели основывать ответы на предоставленных документах, данных или фактах, а не только на параметрических знаниях.

Практика стратегического распределения ограниченного пространства контекстного окна между различными компонентами промпта (системный промпт, примеры, контекст, запрос, вывод). Эффективное управление бюджетом токенов гарантирует, что самая важная информация помещается в контекстное окно, оставляя достаточно места для генерации полного ответа.

Фреймворк промптинга, комбинирующий рассуждение (Reasoning) и действие (Acting) поочерёдно. Модель следует циклу: Мысль (анализ ситуации) → Действие (вызов инструмента) → Наблюдение (обработка результата) → повтор. Это основа большинства архитектур LLM-агентов.

Способность LLM генерировать структурированные вызовы предопределённых функций или API. Модель получает схемы функций (имя, параметры, описания), решает, когда их вызывать, и форматирует аргументы правильно. Это позволяет LLM взаимодействовать с внешними системами, базами данных и инструментами.

Фундаментальный паттерн выполнения AI-агента, при котором он повторно обрабатывает вход, рассуждает о следующем шаге, выполняет действие, наблюдает результат и решает, продолжать или остановиться. Цикл работает до завершения задачи или выполнения условия остановки.

Системы, позволяющие AI-агентам хранить и извлекать информацию за пределами текущего контекстного окна. Краткосрочная память использует контекст разговора, долгосрочная — внешнее хранилище (векторные базы, файлы). Память позволяет агентам сохранять состояние, учиться из прошлых взаимодействий и выполнять многосессионные задачи.

Архитектуры, в которых несколько специализированных AI-агентов работают вместе для решения сложных задач. Агенты могут иметь разные роли (исследователь, кодер, ревьюер), общаться через сообщения и координироваться через оркестратор. Позволяет решать задачи, слишком сложные для одного агента.

Способность AI-агента разбивать сложные задачи на управляемые подзадачи и создавать план выполнения. Планирование может быть предварительным (план-затем-выполнение) или динамическим (перепланирование по ходу). Продвинутое планирование включает самооценку и пересмотр плана на основе промежуточных результатов.

Паттерны проектирования и фреймворки для создания агентов на основе LLM. Распространённые архитектуры: ReAct (рассуждение + действие), MRKL (модульное рассуждение с доступом к инструментам), LATS (Language Agent Tree Search), подходы «планируй-и-решай». Каждая оптимизирует разные компромиссы между надёжностью, гибкостью и стоимостью.

Популярный open-source фреймворк для создания приложений на основе LLM. Предоставляет абстракции для цепочек (последовательных вызовов LLM), агентов (автономных систем с инструментами), памяти и поиска. Доступен на Python и JavaScript. Альтернативы: LlamaIndex, Haystack, Semantic Kernel.

Способность LLM взаимодействовать с внешними инструментами и сервисами для выполнения задач, выходящих за рамки генерации текста. Инструменты могут включать веб-поиск, выполнение кода, файловые операции, API-вызовы, запросы к базам данных и другое. Использование инструментов превращает языковую модель в агента.

Процесс координации нескольких AI-агентов, инструментов и процессов для выполнения сложных задач. Оркестратор управляет распределением задач, коммуникацией агентов, обработкой ошибок и агрегацией результатов. Может быть реализован как выделенный агент или программный движок процессов.

Уязвимость безопасности, при которой атакующий вставляет вредоносные инструкции в промпт для переопределения предназначенного поведения модели или системного промпта. Может быть прямой (ввод пользователя) или непрямой (скрытая во внешних данных, например, веб-страницах). Одна из главных проблем безопасности LLM-приложений.

Техники обхода встроенных ограничений безопасности и контентных фильтров LLM. Методы включают ролевые сценарии, гипотетические формулировки, манипуляции с токенами и многошаговую эскалацию. Понимание джейлбрейка необходимо для создания надёжных мер безопасности AI.

Когда LLM генерирует текст, который звучит правдоподобно и уверенно, но фактически неверен, выдуман или несовместим с предоставленным контекстом. Галлюцинации — неотъемлемое ограничение текущих LLM. Стратегии снижения включают RAG, grounding, chain-of-verification и снижение температуры.

Систематические предубеждения в выводе модели, отражающие дисбаланс, стереотипы или предвзятости в обучающих данных. Может проявляться как гендерная, расовая, культурная или политическая предвзятость. Борьба с предвзятостью требует разнообразных обучающих данных, оценочных бенчмарков и постоянного мониторинга.

Практика состязательного тестирования, при которой команда пытается найти уязвимости, режимы отказа и небезопасное поведение AI-системы. Red teaming включает создание граничных случаев, состязательных входов и креативных сценариев атак для стресс-тестирования мер безопасности модели перед развёртыванием.

Механизмы безопасности вокруг LLM-приложений для ограничения поведения модели и предотвращения вредного вывода. Включают валидацию входа, фильтрацию вывода, классификацию контента, ограничение частоты запросов и проверку человеком. Необходимы для продакшн-развёртываний LLM.

Использование LLM для автоматического написания, дополнения, рефакторинга или перевода программного кода. Современные модели могут генерировать код из описаний на естественном языке, исправлять баги, писать тесты и объяснять существующий код. Ключевые приложения: GitHub Copilot, Claude Code, Cursor.

Задача присвоения предопределённых категорий или меток тексту. LLM могут выполнять классификацию zero-shot (без примеров) или few-shot (с примерами). Распространённые применения: анализ тональности, категоризация тем, обнаружение спама и модерация контента.

Задача сжатия длинного текста в более короткую версию с сохранением наиболее важной информации. LLM отлично справляются как с экстрактивной суммаризацией (выбор ключевых предложений), так и с абстрактивной (генерация нового текста, передающего суть). Можно настроить длину, стиль и фокус.

Процесс извлечения структурированной информации из неструктурированного текста. Включает распознавание именованных сущностей (NER), извлечение связей, событий и пар ключ-значение. LLM могут выполнять эти задачи zero-shot с форматами структурированного вывода вроде JSON.

Подзадача извлечения информации, которая идентифицирует и классифицирует именованные сущности в тексте по предопределённым категориям: имена людей, организации, места, даты, денежные суммы и т.д. LLM могут выполнять NER zero-shot и обрабатывать сложные, вложенные или неоднозначные сущности.

Задача генерации точных ответов на вопросы на естественном языке. Может быть с открытым доменом (общие знания) или закрытым (на основе предоставленного контекста/документов). QA-системы с RAG комбинируют поиск с генерацией для более точных, обоснованных ответов.

Задача определения эмоционального тона или мнения, выраженного в тексте. Варьируется от простой полярности (позитивный/негативный/нейтральный) до детального анализа конкретных эмоций, аспектов или интенсивности. LLM обеспечивают нюансированный анализ тональности без специализированного обучения.

Использование LLM для создания синтетических данных: аугментация обучающих данных, генерация тестовых случаев, создание контента и симуляция. LLM могут генерировать разнообразные, реалистичные образцы данных, следующие заданным паттернам, ограничениям и распределениям.

Модель, способная совместно обрабатывать и рассуждать о визуальных (изображения) и текстовых данных. VLM могут описывать изображения, отвечать на вопросы о визуальном контенте и выполнять задачи, требующие понимания обеих модальностей. Примеры: GPT-4V, Claude Vision, Gemini.

Применение визуально-языковых моделей для интерпретации, описания и извлечения информации из изображений. Возможности включают обнаружение объектов, описание сцен, извлечение текста (OCR), анализ графиков/диаграмм и визуальный вопрос-ответ. Критично для обработки документов, доступности и модерации контента.

Optical Character Recognition — технология преобразования текста на изображениях, сканах документов или фотографиях в машиночитаемый текст. Современные LLM с возможностями vision выполняют OCR как часть анализа изображений, обрабатывая сложные макеты, рукописный текст и множество языков.

AI-агент, который общается через устную речь, комбинируя speech-to-text (STT), обработку языковой моделью и text-to-speech (TTS). Современные голосовые агенты поддерживают разговоры в реальном времени с естественным звучанием, распознаванием эмоций и очерёдностью реплик.

Способность AI-моделей анализировать и рассуждать о видеоконтенте, обрабатывая кадры, понимая временные связи и описывая действия и события. Текущие подходы обычно выбирают ключевые кадры и анализируют их с помощью визуально-языковых моделей.

AI-системы, способные обрабатывать и генерировать множество типов данных (модальностей), включая текст, изображения, аудио и видео. Мультимодальные модели могут понимать кросс-модальные связи и выполнять задачи, требующие рассуждений по нескольким типам данных одновременно.

Процесс выбора наиболее подходящей LLM для конкретного случая использования на основе сложности задачи, требований к задержке, бюджетных ограничений, требований к качеству и конфиденциальности данных. Часто включает бенчмаркинг нескольких моделей и рассмотрение компромиссов между возможностями и эффективностью.

Стандартизированные наборы данных и метрики для измерения и сравнения производительности LLM. Распространённые бенчмарки: MMLU (общие знания), HumanEval (генерация кода), GSM8K (математические рассуждения), HellaSwag (здравый смысл). Бенчмарки помогают в выборе модели, но не охватывают все аспекты реальной производительности.

Специализированная база данных для эффективного хранения, индексации и поиска многомерных векторных эмбеддингов. Используется в RAG-системах для поиска семантически похожих документов. Популярные варианты: Pinecone, Weaviate, Qdrant, ChromaDB, pgvector (расширение PostgreSQL).

Практика мониторинга и понимания поведения LLM-приложений в продакшне. Включает отслеживание промптов, ответов, задержки, использования токенов, стоимости, частоты ошибок и качества вывода. Инструменты вроде LangSmith, Helicone и Weights & Biases предоставляют специфичные для LLM функции наблюдаемости.

Стратегии и техники для снижения стоимости работы LLM-приложений. Включают кеширование промптов, роутинг моделей (использование дешёвых моделей для простых задач), сжатие промптов, пакетную обработку, кеширование ответов и оптимизацию использования токенов. Критично для масштабирования LLM-приложений.

Типовые архитектурные паттерны для интеграции LLM API в приложения. Включают потоковые ответы, группировку запросов, логику повторов с экспоненциальным откатом, ограничение частоты, очередь запросов и переключение на альтернативные модели. Обеспечивают надёжное и эффективное использование LLM API.

Стратегии и инфраструктура для развёртывания LLM-приложений в продакшне. Варианты включают облачных провайдеров API (OpenAI, Anthropic), self-hosted модели (vLLM, TGI), edge-развёртывание (ONNX, TensorRT) и гибридные подходы. Ключевые факторы: задержка, стоимость, конфиденциальность данных и доступность.

Временная задержка в LLM-приложениях между отправкой запроса и получением ответа. Ключевые метрики: Time to First Token (TTFT) и общее время генерации. Задержка зависит от размера модели, длины входа/выхода, нагрузки на сервер и сети. Техники оптимизации: стриминг, кеширование, меньшие модели.

Оптимизация, при которой провайдер модели кеширует вычисленные внутренние представления часто используемых префиксов промптов. При повторной отправке того же префикса кешированное вычисление переиспользуется, снижая задержку и стоимость. Поддерживается Anthropic, OpenAI и другими для системных промптов и общих префиксов.

Техника, при которой вывод модели отправляется клиенту токен за токеном по мере генерации, вместо ожидания полного ответа. Значительно улучшает воспринимаемую задержку и пользовательский опыт. Реализуется через Server-Sent Events (SSE) или WebSockets в большинстве LLM API.

Model Context Protocol — открытый стандарт, разработанный Anthropic, для подключения LLM к внешним источникам данных и инструментам. MCP предоставляет единый протокол для обнаружения инструментов, их вызова и доступа к данным, позволяя любому LLM-приложению подключаться к любому MCP-совместимому серверу.

Сервис, реализующий Model Context Protocol для предоставления инструментов, ресурсов и промптов LLM-приложениям. MCP-серверы могут обеспечивать доступ к базам данных, API, файловым системам или любым другим внешним возможностям. Могут быть локальными процессами или удалёнными сервисами.

Дочерний агент, порождённый основным (родительским) агентом для независимого выполнения конкретной подзадачи. Суб-агенты могут работать параллельно, иметь собственный доступ к инструментам и возвращать результаты родителю. Используются в Claude Code для параллелизации исследований, ревью кода и сложных многошаговых задач.

Пользовательский агент в Claude Code с настроенными системными промптами, доступом к инструментам и поведенческими инструкциями. Кастомные агенты определяются в директории .claude/agents/ и могут быть специализированы для задач вроде ревью кода, тестирования или документации. Расширяют базовые возможности агента доменными знаниями.

Shell-команды, настроенные на автоматическое выполнение в ответ на определённые события Claude Code (например, до/после вызова инструментов, при старте сессии). Хуки позволяют создавать кастомные процессы: автоформатирование, линтинг, уведомления и проверки безопасности без ручного вмешательства.

Переиспользуемые шаблоны промптов в Claude Code, вызываемые через слеш-команды (например, /commit, /review). Навыки инкапсулируют типовые процессы в одну команду, делая повторяющиеся задачи быстрее и более единообразными. Пользователи могут создавать кастомные навыки для своих нужд.

Markdown-файл в корне проекта, предоставляющий постоянные инструкции, соглашения и контекст для Claude Code во всех сессиях. Выступает как «память» проекта — содержит архитектурные решения, стандарты кода, важные пути и предпочтения в процессах.

Основной цикл выполнения Claude Code, при котором он читает контекст (файлы, разговор), рассуждает о следующем действии, использует инструменты (чтение/запись файлов, bash, поиск), наблюдает результаты и повторяет до завершения задачи. Каждая итерация называется «ход» (turn) и потребляет токены API.

Программный интерфейс, позволяющий запускать Claude Code как подпроцесс из скриптов и приложений. SDK позволяет автоматизировать генерацию кода, ревью и рефакторинг, интегрироваться в CI/CD-пайплайны и строить кастомные инструменты поверх возможностей Claude Code.

Набор инструментов, доступных Claude Code по умолчанию для взаимодействия с локальным окружением. Основные инструменты: Read (чтение файлов), Write (создание файлов), Edit (модификация файлов), Bash (выполнение команд), Glob (поиск файлов), Grep (поиск по содержимому), Task (порождение суб-агентов).