Prompt Caching

Решение: Prompt Caching — Запомни, не повторяй

Prompt caching — это функция на уровне API, которая сохраняет обработанный префикс промпта между запросами, чтобы модели не приходилось заново обрабатывать одни и те же токены каждый раз. Кэшируется только начало — никогда не середина и не конец. Anthropic даёт скидку 90% на кэшированные входные токены и единоразовую наценку 25% на тот запрос, который записывает кэш. OpenAI кэширует автоматически для промптов свыше 1024 токенов со скидкой 50%. У кэша есть TTL (time-to-live, время жизни) около 5 минут по умолчанию, и этот таймер сбрасывается при каждом попадании в кэш (cache hit) — поэтому активно используемый префикс остаётся «тёплым».

Как это работает под капотом

Когда трансформер обрабатывает твой промпт, он вычисляет промежуточные состояния внимания (attention) для каждого токена — это и есть KV-кэш (key-value cache). Обычно эти состояния выбрасываются после каждого запроса. Prompt caching хранит состояния для неизменного префикса в памяти, поэтому повторный запрос пропускает дорогую стадию «prefill» по этим токенам и продолжает с того места, где начинается новый контент. Именно поэтому сокращаются и стоимость, и задержка (latency) — модель выполняет строго меньше вычислений. Ключевое ограничение: кэшируемая часть должна быть побайтово идентичной и стоять в самом начале. Поменяй хоть один символ ближе к началу — дату, имя пользователя, переставленный пример — и префикс перестанет совпадать, кэш промахнётся, и ты заплатишь полную цену.

Когда применять (и разобранный пример)

Используй кэширование, когда каждый запрос начинается с большого стабильного блока: длинного системного промпта, набора few-shot примеров или справочных документов в RAG-пайплайне. Допустим, бот поддержки добавляет в начало системный промпт на 3000 токенов плюс 50 примеров тикетов, а в конец — только новое сообщение пользователя. Первый вызов — это запись кэша (за префикс платишь ~1.25x). Каждый вызов в следующие 5 минут переиспользует этот префикс за 10% цены, а короткий суффикс пользователя тарифицируется как обычно. На тысячах запросов в день экономия преобладает. Главная ошибка — структурная: всё статичное в начало, всё динамическое в конец. Если запрос пользователя или метка времени попадут в начало промпта, кэш никогда не сработает — а наценку за запись ты уже заплатил впустую.

Где применять Prompt Caching

• RAG со стабильным системным промптом: Кэшируйте системные инструкции + правила retrieval. Только запрос пользователя и чанки меняются. Идеально для Q&A-систем с большим объёмом
• Few-shot классификация: Кэшируйте 50-100 примеров классификации в префиксе. Каждый новый вход добавляется в конец. Идеально для маршрутизации тикетов или модерации контента
• Пакетная обработка: Обрабатывайте тысячи документов с одним промптом. Кэшируйте инструкции один раз, меняйте только документ. Огромная экономия при масштабе
• Частая ошибка: Размещение динамического контента перед статическим. Если запрос пользователя идёт перед системным промптом, каждый запрос имеет другой префикс и кэш не срабатывает. Всегда: [стабильный префикс] + [динамический суффикс]

Попробуйте сами!

Исследуйте интерактивную визуализацию ниже, чтобы увидеть, как кэширование влияет на стоимость, задержку и использование токенов в реальных сценариях.