Настройка и запуск сервиса

Введение

В разделе Использование настраивается и запускается сервис проекта. Сервис обрабатывает запросы к навыкам модели через выбранную LLM. У каждого проекта может быть только один сервис.

Раздел состоит из трёх блоков:

• Конфигурация сервиса — выбор машины, LLM и параметров обработки.
• Состояние сервиса — текущий статус сервиса, его адрес и запуск.
• Логи — журнал работы сервиса.

Конфигурация сервиса

Машина и LLM

• Машина — целевая машина, на которой будет работать сервис проекта. Выберите её из выпадающего списка.
• LLM — языковая модель, через которую сервис будет отвечать на запросы.

Переключатель Вручную позволяет задать параметры модели самостоятельно, не выбирая её из списка.

Флажок Закрепить эту модель определяет, как сервис ведёт себя при замене модели на машине:

• Флажок снят (по умолчанию): сервис работает с той моделью, которая сейчас запущена в выбранной LLM. Если на машине модель заменят, сервис подхватит новую без перезапуска.
• Флажок установлен: сервис будет работать только с выбранной моделью. Если на машине её заменят, сервис не подхватит новую модель и остановится с ошибкой.

Закрепляйте модель, если для навыков проекта важно, чтобы запросы обрабатывала строго определённая модель.

Параметры модели

Блок Параметры модели (с LLM) заполняется автоматически после выбора LLM и содержит:

• Адрес модели — адрес, по которому сервис обращается к LLM.
• Авторизация — способ авторизации при обращении к модели (например, Не требуется).
• Движок — движок инференса, на котором запущена модель (например, vLLM).
• ID модели — идентификатор модели на движке.
• Поддержка изображений: модель принимает изображения. Без этого флага навыки с изображениями недоступны.
• Поддержка размышления: модель поддерживает режим размышления. Без этого флага навыки с размышлением недоступны.

Обработка изображений

Блок доступен, если модель поддерживает изображения:

• Разрешение изображения, МП — разрешение в мегапикселях, к которому приводятся изображения перед отправкой в модель.
• Выполнять апскейл — принудительное увеличение изображения до указанного разрешения, если исходное изображение меньше.

Состояние сервиса

Блок отображает текущее состояние сервиса проекта:

• Статус: отображается в правом верхнем углу блока.
• Этап — текущий этап запуска.
• Машина — машина, выбранная для сервиса.
• Адрес сервиса — адрес, по которому принимаются запросы к навыкам проекта.
• Последний запуск — дата и время последнего запуска сервиса.

Чтобы запустить сервис с заданной конфигурацией, нажмите Использовать.

Если нужно обучить собственную модель, нажмите Открыть редактор, чтобы перейти в редактор файнтюнинга .

Логи

В блоке Логи выводится журнал работы сервиса. Используйте его для диагностики, если сервис не запускается или завершается с ошибкой.

Что дальше

Когда сервис запущен, переходите к следующему шагу: тестированию .