Сжатие контекста¶
У каждой модели есть конечное окно контекста — сколько токенов она может принять за один вызов. В долгой сессии история перестаёт помещаться в окно: ответы становятся дороже, модель начинает терять детали, а в пределе запрос завершается ошибкой переполнения. Сжатие контекста решает это, сокращая то, что уходит модели, и не удаляя саму историю.
Режимы¶
Стратегия выбирается одним полем contextOptimization. Режимы
взаимоисключающие — отдельные флаги не включают сжатие «поверх» выбранного
режима.
| Режим | Что делает | Когда подходит |
|---|---|---|
none |
История передаётся целиком; при переполнении действует политика окна | Короткие сессии, когда история важна дословно |
sliding_window |
Старые сообщения выпадают из промпта по лимиту сообщений или токенов, без резюме | Нужно просто уложиться в окно, пересказ не нужен |
summarization |
Старая часть истории заменяется кратким резюме беседы | Длинный диалог, где важно, о чём говорили и к чему пришли |
compaction |
Старая часть истории заменяется рабочим состоянием по коду и проекту | Долгая работа с файлами, командами и ошибками |
Два основных режима сжатия — суммаризация и компактизация. Они отличаются не глубиной, а тем, что именно сохраняют.
Суммаризация¶
Суммаризация пересказывает беседу: о чём говорили, к каким выводам пришли, что осталось открытым и какие шаги намечены. Это режим для диалога, где важна смысловая нить, а не точные имена файлов.
Суммаризация запускается двумя способами:
- по числу реплик пользователя с последнего резюме (
summarizeAfterN, по умолчанию 10); - по заполнению окна модели (
summarizeTokenThreshold, по умолчанию 50% окна) — если выбран триггер по токенам.
Компактизация¶
Компактизация сохраняет не пересказ, а рабочее состояние: точные пути к
файлам, выполненные команды, тексты ошибок, принятые решения и следующий шаг.
Это режим для долгой инженерной работы, где «мы говорили про авторизацию»
бесполезно, а src/server/auth.ts и pnpm test — полезны.
Компактизация срабатывает только по токенам. Ориентир — порог
compactionTokenThreshold (по умолчанию 85% окна), но резерв под сжатие
всегда не меньше 16 000 токенов: фактический порог считается как
окно − max((100 − pct)% окна, 16000), где pct — значение
compactionTokenThreshold. Поэтому на небольших окнах сжатие начинается
раньше 85%.
Дефолты¶
Значения по умолчанию для новых сессий:
| Параметр | По умолчанию | Что означает |
|---|---|---|
contextOptimization |
compaction |
Режим сжатия |
summarizationKeepTokens |
5000 |
Сколько последних токенов суммаризация оставляет дословно (0 — без хвоста) |
compactionTokenThreshold |
85 |
Порог компактизации, % окна модели |
compactionKeepTokens |
15000 |
Сколько последних токенов компактизация оставляет дословно |
summarizeAfterN |
10 |
Реплик пользователя с последнего резюме до запуска суммаризации |
summarizeTokenThreshold |
50 |
Порог суммаризации по токенам, % окна модели |
Триггеры и хвост¶
- Суммаризация срабатывает по числу реплик (режим
messages) или по проценту окна (режимtokens). - Компактизация срабатывает только по токенам. При неизвестном окне модели
(
0) и при слишком маленьком окне, где резерв не помещается, автоматический триггер выключен. Сжатие при этом остаётся доступным вручную и при переполнении окна. - Триггер не сжимает историю в момент срабатывания: он ставит задачу, и сжатие выполняется отдельным служебным ходом перед следующим сообщением.
- Хвост (
summarizationKeepTokens/compactionKeepTokens) — последние токены истории, которые остаются дословно. Всё, что выше хвоста, уходит в резюме. - Закреплённые сообщения не отключаются: закрепление сильнее сжатия.
- Резюме (при суммаризации и компактизации) подставляется в системный блок. Покрытые им сообщения скрываются из активного контекста, но не удаляются: история остаётся восстановимой, а резюме хранит ссылку на исходный диапазон.
Настройка¶
Значения по умолчанию задаются в config.yaml:
context:
defaults:
contextOptimization: compaction
summarizationKeepTokens: 5000
compactionTokenThreshold: 85
compactionKeepTokens: 15000
summarizeAfterN: 10
summarizeTokenThreshold: 50
В интерфейсе это раздел Настройки → Управление контекстом → «Значения по умолчанию для новых сессий» (в серверном режиме — только для администратора).
То же самое доступно через API:
GET /api/v2/settings/context-defaults— текущие значения и источник, из которого они взяты;PUT /api/v2/settings/context-defaults— частичный патч: переданные поля накладываются поверх конфига, остальные не меняются;DELETE /api/v2/settings/context-defaults— сброс runtime-настроек кconfig.yamlи встроенным значениям.
Изменения применяются сразу и действуют на новые сессии — перезапуск не нужен. Существующие сессии не меняются: у них свои настройки, и явные значения сессии всегда приоритетнее значений инстанса. У этих параметров нет переменных окружения.
Что видно в интерфейсе¶
- Когда сжатие срабатывает, в чате появляется индикатор «Сжатие контекста…».
- При приближении к лимиту интерфейс предупреждает: «Контекст заполнен на N% — модель может терять качество».
- В настройках сессии («Оптимизация контекста») можно сменить стратегию и посмотреть текущие параметры.
- История не пропадает: скрытые сообщения остаются доступными, меняется только то, что получает модель.
Что дальше¶
- Ход, очередь и шаги — как сообщение проходит обработку.
- Конфигурация — параметры инстанса.
- Что нового в 0.13.4 — изменения релиза.