Маршрутизация и быстрые ответы¶

Synth обрабатывает каждый запрос в два слоя: сначала быстрые ответы — мгновенный ответ на простые запросы без вызова большой модели, затем маршрутизация — автоматический выбор модели для всего остального. Оба слоя настраиваются в интерфейсе.

Общий поток запроса¶

Запрос пользователя
   │
   ▼
┌─ Быстрые ответы ───────────────────┐
│  Классификация → каскад моделей    │
│  уверены? ───── да → готовый ответ │
│  нет ───────── fallback            │
└───────────────┬────────────────────┘
   │
   ▼
┌─ Маршрутизация ────────────────────┐
│  Классификация → выбор модели      │
└───────────────┬────────────────────┘
   │
   ▼
 LLM

Если быстрые ответы выключены — запрос сразу уходит в маршрутизацию.
Если выключена и маршрутизация — используется модель, выбранная в сессии.

0 токенов

Быстрые ответы отвечают, не вызывая большую модель, — это чистая экономия токенов и времени на простых репликах.

Быстрые ответы¶

Быстрые ответы обрабатывают простые запросы — приветствия, «да/нет», классификацию задач — мгновенно.

Классификация задачи¶

Первый шаг — определить класс запроса:

Класс	Примеры	Что дальше
small_talk	привет, спасибо, пока	Готовый ответ
classify	«почини баг», «напиши тесты», «что такое…»	Определение намерения: вопрос, команда, ревью, фикс, тест
enum_decision	да, нет, отменяю, планируй	Выбор варианта: да/нет/подтвердить/отменить/режим
llm_task	всё остальное	Запрос уходит в маршрутизацию

Классификация опирается на встроенные словари приветствий, намерений и вариантов ответа (русский и английский). Если запрос не попал ни в один класс, он считается обычной задачей для модели.

Каскад моделей¶

Для трёх «быстрых» классов запускается каскад — следующая ступень включается, только если предыдущая не уверена:

Правила — самый быстрый слой: сравнение со словарями, миллисекунды.
Эмбеддинги — семантическая классификация: понимает смысл, даже если нужных слов в словаре нет.
Микро-модель — маленькая локальная модель для структурированной классификации; используется редко.

Каждая ступень возвращает метку и уверенность (0–1). Если уверенность не ниже порога (по умолчанию 0.8), быстрые ответы дают готовый ответ. Иначе запрос уходит дальше.

Как работают эмбеддинги¶

Эмбеддинг-классификатор определяет намерение по смыслу, а не по словам:

Для каждой метки заранее готовится эталонный текст на языке сессии, который превращается в вектор — эмбеддинг.
Текст запроса превращается в вектор той же моделью, затем вычисляется косинусная близость с эталонами: 1 — почти идентичны, 0 — не связаны.
Побеждает метка с максимальной близостью. Если близость достаточная, метка принимается.

Настройка. В разделе «Быстрые ответы» есть блок «Embedding»: выбирается эмбеддинг-модель и провайдер. Если эмбеддинги недоступны, классификация работает по правилам, а сложные случаи уходят в fallback.