Контекстное окно

Решение: Понять оперативную память

Окно контекста (context window) — это максимальное количество текста, которое LLM может обработать в одном запросе — его рабочая память. Представь это как оперативную память (RAM) компьютера: всё, что модели нужно активно учитывать — инструкции, вся история разговора, подтянутые документы и твой последний вопрос — должно поместиться в это единое фиксированное пространство. Размер измеряется в токенах (примерно ¾ слова в английском, в русском часто меньше), и управление бюджетом токенов — главный навык, чтобы оставаться в рамках лимита.

Как это работает на самом деле

У LLM нет памяти между запросами. На каждом ходе весь промпт целиком — системный промпт, все предыдущие сообщения и новый ввод — отправляется и перечитывается заново. Модель не «помнит» твой чат; это приложение заново проигрывает весь транскрипт каждый раз. Поскольку механизм внимания сравнивает каждый токен с каждым, вычислительная стоимость растёт примерно как квадрат длины — именно поэтому провайдеры ограничивают окно, а длинные промпты становятся медленными и дорогими. Когда транскрипт превышает лимит, приложению приходится что-то выбрасывать или сжимать — обычно сначала самые старые сообщения (FIFO), и поэтому ассистент «забывает», с чего начинался долгий разговор.

Компромиссы, ловушки и разбор примера

Большое окно — не всегда лучше. Тесты «игла в стоге сена» показывают, что модель лучше всего вспоминает то, что в самом начале и в самом конце контекста, и хуже всего — то, что в середине (эффект «потерялось в середине»). Поэтому набивать 200K токенов фоном может на деле ухудшить точность, раздув при этом стоимость и задержку (latency). Конкретно: представь PDF на 100 страниц (~70K токенов) плюс чат поддержки из 40 сообщений. Свалить всё это в один промпт — медленно, дорого и размывает сигнал. Вместо этого ты бы подтянул (retrieve) только 3–4 релевантных фрагмента, сжал старый чат в пару строк и держал сам вопрос пользователя ближе к концу — уместив ту же задачу в ~6K сфокусированных токенов. Стабильный, переиспользуемый контент (системный промпт, фиксированные инструкции) ставь в начало, чтобы кэширование промпта (prompt caching) могло дёшево переиспользовать его между ходами.

Управление контекстом

• Суммаризация: Сжатие старого разговора в резюме
• Выборочное включение: Включать только релевантные предыдущие сообщения
• RAG: Подтягивать релевантные документы динамически вместо хранения всего
• Чанкинг: Разбиение длинных документов на обрабатываемые части

Попробуйте сами!

Используй интерактивный пример ниже, чтобы увидеть, как лимиты окна контекста влияют на память ИИ, и изучить стратегии управления ими.