Перейти к содержанию

Провайдеры и модели

Synth поддерживает три типа провайдеров: openai, anthropic и ollama. Настроить провайдера можно тремя способами: переменными окружения, CLI или через веб-интерфейс. Провайдеры хранятся как JSON-файлы в {dataDir}/providers/.

Ключи — на сервере

Ключи провайдеров централизованы: в командном (серверном) режиме они хранятся только на сервере и не попадают к клиентам. Все LLM-вызовы идут через LLM Gateway с аудитом.

Типы провайдеров

Тип (--type) Для чего Примеры
ollama Локальные и бесплатные модели Qwen3, DeepSeek, Gemma
openai OpenAI-совместимые API OpenAI, LM-Studio, vLLM, Together, Groq
anthropic Anthropic-совместимые API Claude и совместимые сервисы

Ollama (локально)

Установите Ollama и загрузите модель:

ollama pull qwen3:14b

Примеры моделей, которые можно использовать локально:

Модель Команда для установки
Qwen3 14B ollama pull qwen3:14b
Qwen3.5 9B ollama pull qwen3.5:9b
DeepSeek Coder V2 16B ollama pull deepseek-coder-v2:16b
DeepSeek R1 14B ollama pull deepseek-r1:14b
Gemma 4 12B ollama pull gemma4:12b
Qwen2.5 Coder 1.5B ollama pull qwen2.5-coder:1.5b
Nomic Embed Text ollama pull nomic-embed-text:latest

OpenAI-совместимые

Подойдут OpenAI, LM-Studio, vLLM, Together, Groq и любой другой сервис с OpenAI-совместимым API. Нужны URL, API-ключ и имя модели.

Anthropic-совместимые

Claude и совместимые сервисы. Нужны URL, API-ключ и имя модели.

Настройка через переменные окружения

Все переменные провайдеров имеют префикс SYNTH_PROVIDER_<NAME>_, где <NAME> — имя провайдера в верхнем регистре.

export SYNTH_PROVIDER_OLLAMA_URL=http://localhost:11434/v1
export SYNTH_PROVIDER_OLLAMA_MODEL=qwen3:14b
export SYNTH_PROVIDER_OLLAMA_TYPE=ollama
export SYNTH_PROVIDER_OLLAMA_API_KEY=""

export SYNTH_PROVIDER_OPENAI_URL=https://api.openai.com/v1
export SYNTH_PROVIDER_OPENAI_API_KEY=sk-xxx
export SYNTH_PROVIDER_OPENAI_MODEL=gpt-4o
export SYNTH_PROVIDER_OPENAI_TYPE=openai

export SYNTH_PROVIDER_ANTHROPIC_URL=https://api.anthropic.com/v1
export SYNTH_PROVIDER_ANTHROPIC_API_KEY=sk-ant-xxx
export SYNTH_PROVIDER_ANTHROPIC_MODEL=claude-sonnet-4-20250514
export SYNTH_PROVIDER_ANTHROPIC_TYPE=anthropic

Настройка через CLI

# Добавить провайдера
synth config provider add \
  --name ollama --type ollama \
  --url http://localhost:11434/v1 \
  --model qwen3:14b

# Список провайдеров
synth config provider list

# Удалить провайдера
synth config provider delete ollama

Обязательные флаги: --name, --type (openai | anthropic | ollama). Опциональные: --url, --model, --api-key, --data-dir.

Настройка через веб-интерфейс

Провайдерами и моделями можно управлять в UI, в разделе «Провайдеры». Там же удобно проверить доступность модели и выбрать модель для сессии.

Что дальше