Архитектура Трансформера

Представьте это как конвейер фабрики по обработке языка:

• 1. Токенизация + Эмбеддинги: Текст разбивается на токены через токенизацию, и каждый токен становится числовым вектором (эмбеддингом) — как выдача каждому слову бейджа.
• 2. Позиционное кодирование: Поскольку модель обрабатывает все токены параллельно (а не по очереди), она не знает порядок слов! Позиционное кодирование решает это, добавляя к эмбеддингу каждого токена уникальный набор чисел, зависящий от его позиции. Представь нумерацию страниц в книге — без неё перемешанные страницы теряют смысл. Для каждой позиции (1-я, 2-я, 3-я…) генерируется специальный вектор и складывается с эмбеддингом токена. После этого модель знает, что «собака кусает человека» ≠ «человек кусает собаку».
• 3. Слои Self-Attention: Каждый токен «смотрит» на все остальные токены, чтобы понять контекст. Слово «замок» узнаёт, что речь о «дверном замке» (а не о «замке на горе»), обращая внимание на соседние слова вроде «дверь» и «ключ».
• 4. Слои прямого распространения (FFN): После того как attention выяснил связи между словами, слои FFN обрабатывают каждый токен независимо — как специалист, получивший сводку и анализирующий своё задание. Каждый FFN — это два линейных преобразования с функцией активации между ними («фильтр + усилитель»). Именно здесь живут факты и знания: примерно 2/3 параметров модели хранятся в слоях FFN. Например, факт «Париж — столица Франции» закодирован именно в этих весах.
• 5. Нормализация слоёв (Layer Norm): Между каждым этапом нормализация слоёв удерживает числа в здоровом диапазоне. Зачем это нужно? После множества умножений числа имеют тенденцию либо «взрываться» (→ бесконечность), либо «исчезать» (→ ноль), делая модель необучаемой. Layer Norm пересчитывает значения каждого токена так, чтобы среднее и разброс были стабильными — как термостат, поддерживающий нужную температуру. Без этого обучение глубоких сетей (96+ слоёв в GPT-4!) было бы невозможно. Современные Transformer-ы используют «Pre-Norm» — нормализация до attention и FFN, а не после.
• 6. Выход: предсказание следующего токена: После всех слоёв модель выдаёт распределение вероятностей по словарю — «следующее слово с вероятностью 90% — 'Париж', 5% — 'Лондон', ...». Шаги 3-5 повторяются много раз (слои уложены друг на друга).

Современные LLM вроде GPT-4 и Claude используют Transformer только с декодером — у них только «предсказывающая» половина исходной архитектуры, с каузальной маской, чтобы каждый токен видел только токены до него (не после).