Перейти к содержанию

Сжатие контекста

У каждой модели есть конечное окно контекста — сколько токенов она может принять за один вызов. В долгой сессии история перестаёт помещаться в окно: ответы становятся дороже, модель начинает терять детали, а в пределе запрос завершается ошибкой переполнения. Сжатие контекста решает это, сокращая то, что уходит модели, и не удаляя саму историю.

Режимы

Стратегия выбирается одним полем contextOptimization. Режимы взаимоисключающие — отдельные флаги не включают сжатие «поверх» выбранного режима.

Режим Что делает Когда подходит
none История передаётся целиком; при переполнении действует политика окна Короткие сессии, когда история важна дословно
sliding_window Старые сообщения выпадают из промпта по лимиту сообщений или токенов, без резюме Нужно просто уложиться в окно, пересказ не нужен
summarization Старая часть истории заменяется кратким резюме беседы Длинный диалог, где важно, о чём говорили и к чему пришли
compaction Старая часть истории заменяется рабочим состоянием по коду и проекту Долгая работа с файлами, командами и ошибками

Два основных режима сжатия — суммаризация и компактизация. Они отличаются не глубиной, а тем, что именно сохраняют.

Суммаризация

Суммаризация пересказывает беседу: о чём говорили, к каким выводам пришли, что осталось открытым и какие шаги намечены. Это режим для диалога, где важна смысловая нить, а не точные имена файлов.

Суммаризация запускается двумя способами:

  • по числу реплик пользователя с последнего резюме (summarizeAfterN, по умолчанию 10);
  • по заполнению окна модели (summarizeTokenThreshold, по умолчанию 50% окна) — если выбран триггер по токенам.

Компактизация

Компактизация сохраняет не пересказ, а рабочее состояние: точные пути к файлам, выполненные команды, тексты ошибок, принятые решения и следующий шаг. Это режим для долгой инженерной работы, где «мы говорили про авторизацию» бесполезно, а src/server/auth.ts и pnpm test — полезны.

Компактизация срабатывает только по токенам. Ориентир — порог compactionTokenThreshold (по умолчанию 85% окна), но резерв под сжатие всегда не меньше 16 000 токенов: фактический порог считается как окно − max((100 − pct)% окна, 16000), где pct — значение compactionTokenThreshold. Поэтому на небольших окнах сжатие начинается раньше 85%.

Дефолты

Значения по умолчанию для новых сессий:

Параметр По умолчанию Что означает
contextOptimization compaction Режим сжатия
summarizationKeepTokens 5000 Сколько последних токенов суммаризация оставляет дословно (0 — без хвоста)
compactionTokenThreshold 85 Порог компактизации, % окна модели
compactionKeepTokens 15000 Сколько последних токенов компактизация оставляет дословно
summarizeAfterN 10 Реплик пользователя с последнего резюме до запуска суммаризации
summarizeTokenThreshold 50 Порог суммаризации по токенам, % окна модели

Триггеры и хвост

  • Суммаризация срабатывает по числу реплик (режим messages) или по проценту окна (режим tokens).
  • Компактизация срабатывает только по токенам. При неизвестном окне модели (0) и при слишком маленьком окне, где резерв не помещается, автоматический триггер выключен. Сжатие при этом остаётся доступным вручную и при переполнении окна.
  • Триггер не сжимает историю в момент срабатывания: он ставит задачу, и сжатие выполняется отдельным служебным ходом перед следующим сообщением.
  • Хвост (summarizationKeepTokens / compactionKeepTokens) — последние токены истории, которые остаются дословно. Всё, что выше хвоста, уходит в резюме.
  • Закреплённые сообщения не отключаются: закрепление сильнее сжатия.
  • Резюме (при суммаризации и компактизации) подставляется в системный блок. Покрытые им сообщения скрываются из активного контекста, но не удаляются: история остаётся восстановимой, а резюме хранит ссылку на исходный диапазон.

Настройка

Значения по умолчанию задаются в config.yaml:

context:
  defaults:
    contextOptimization: compaction
    summarizationKeepTokens: 5000
    compactionTokenThreshold: 85
    compactionKeepTokens: 15000
    summarizeAfterN: 10
    summarizeTokenThreshold: 50

В интерфейсе это раздел Настройки → Управление контекстом → «Значения по умолчанию для новых сессий» (в серверном режиме — только для администратора).

То же самое доступно через API:

  • GET /api/v2/settings/context-defaults — текущие значения и источник, из которого они взяты;
  • PUT /api/v2/settings/context-defaults — частичный патч: переданные поля накладываются поверх конфига, остальные не меняются;
  • DELETE /api/v2/settings/context-defaults — сброс runtime-настроек к config.yaml и встроенным значениям.

Изменения применяются сразу и действуют на новые сессии — перезапуск не нужен. Существующие сессии не меняются: у них свои настройки, и явные значения сессии всегда приоритетнее значений инстанса. У этих параметров нет переменных окружения.

Что видно в интерфейсе

  • Когда сжатие срабатывает, в чате появляется индикатор «Сжатие контекста…».
  • При приближении к лимиту интерфейс предупреждает: «Контекст заполнен на N% — модель может терять качество».
  • В настройках сессии («Оптимизация контекста») можно сменить стратегию и посмотреть текущие параметры.
  • История не пропадает: скрытые сообщения остаются доступными, меняется только то, что получает модель.

Что дальше