Использование

В разделе Использование настраивается и запускается сервис проекта – NLP-сервер. Сервис принимает запросы к навыкам проекта и передаёт их выбранной LLM. У каждого проекта может быть только один сервис.

Пока сервис не запущен, навыки не обрабатывают запросы – ни из раздела Тестирование, ни от роботов Primo RPA.

Раздел состоит из трёх блоков:

• Конфигурация сервиса – машина, LLM и параметры обработки.
• Состояние сервиса – статус сервиса, его адрес, запуск и остановка, переход в редактор файнтюнинга.
• Логи – журнал работы сервиса.

Как запустить сервис

1. Убедитесь, что на целевой машине запущена LLM, которую будет использовать сервис: на странице машины у неё должен быть статус Запущена. Если подходящей LLM нет, добавьте и запустите её там.
2. В блоке Конфигурация сервиса выберите Машину и LLM (см. ниже). Чтобы подключить внешнюю LLM, включите переключатель Вручную и заполните параметры модели.
3. Нажмите Запросить данные и убедитесь, что машина видит модель (см. Запросить данные).
4. Решите, нужно ли закрепить модель за проектом, и при необходимости установите флажок Закрепить эту модель (см. Закрепить эту модель). Для модели, полученной файнтюнингом, закрепление обязательно.
5. При необходимости задайте параметры обработки изображений.
6. В блоке Состояние сервиса нажмите Использовать. В блоке отобразится пошаговый прогресс запуска.
7. Дождитесь статуса Работает. В блоке появятся строка «Сейчас работает» с названием модели и Адрес сервиса, по которому принимаются запросы к навыкам проекта.

Если запуск завершился ошибкой (статус Ошибка), причину можно посмотреть в блоке Логи.

Конфигурация сервиса

Машина и LLM

• Машина – целевая машина, на которой будет работать сервис проекта. Выберите её из выпадающего списка.

• LLM – языковая модель, через которую сервис будет отвечать на запросы. В списке перечислены LLM, добавленные на машины, с их статусом и устройством.

  Модель удобно выбирать в окне Выбор LLM: список сгруппирован по движку (Ollama, vLLM), есть поиск по имени, машине, движку или проекту и фильтры Все / Базовые / Файнтюнинг. Модели, полученные файнтюнингом, отмечены меткой ФТ с названием проекта.

Переключатель Вручную позволяет подключить внешнюю LLM по API, не выбирая её из списка: например, модель на собственном сервере организации или у внешнего провайдера. При включенном переключателе заполните параметры модели (см. ниже) и проверьте подключение кнопкой Запросить данные. Модель, заданная вручную, фиксируется: чтобы применить изменения, потребуется перезапуск сервиса.

Запросить данные

Кнопка Запросить данные в блоке параметров модели проверяет, что LLM действительно доступна, и получает с неё список моделей. Используйте её перед запуском сервиса:

• чтобы подключить внешнюю LLM (режим Вручную) – запросить модели с реального движка по указанному адресу и выбрать нужную;
• чтобы проверить доступ к собственной LLM – что модель отвечает по адресу и с указанной авторизацией.

Запрос выполняется не из браузера, а с выбранной Машины: агент целевой машины обращается к LLM по Адресу модели с заголовком из поля Авторизация. Поэтому проверка показывает, видит ли модель именно та машина, на которой будет работать сервис. Если машина не выбрана, запрос не выполняется.

Результат отображается значком рядом с кнопкой:

• зелёный значок – подключение есть. В подсказке указано число моделей, определённый движок и список идентификаторов моделей. Движок автоматически подставляется в поле Движок, а список моделей – в подсказки поля ID модели: выберите нужную модель из списка.
• значок предупреждения – подключиться не удалось или LLM не вернула ни одной модели. Текст ошибки – в подсказке значка. Проверьте адрес модели, авторизацию и доступность LLM с целевой машины.

Закрепить эту модель

Флажок Закрепить эту модель определяет, как сервис ведёт себя, если на машине заменят модель в выбранной LLM:

• Флажок снят (по умолчанию): сервис работает с той моделью, которая сейчас запущена в выбранной LLM. Если на машине модель заменят, сервис подхватит новую без перезапуска.
• Флажок установлен: сервис будет работать только с выбранной моделью. Если на машине её заменят, сервис не подхватит новую модель и перестанет принимать запросы до возврата модели или перенастройки.

Без закрепления замена модели на машине – например, другим пользователем или администратором – незаметно меняет поведение навыков проекта: на те же запросы начнёт отвечать другая модель. Закрепление защищает от этого: сервис лучше остановится с ошибкой, чем продолжит работу с другой моделью.

Закрепляйте модель, если для навыков проекта важно, чтобы запросы обрабатывала строго определённая модель:

• модель после файнтюнинга – обязательно. Она обучена под конкретную задачу и отвечает кодами классов из своего датасета, поэтому подмена модели радикально меняет ответы навыка;
• промышленные и тестовые контуры, где результат должен быть воспроизводимым.

Параметры модели

Блок Параметры модели (с LLM) заполняется автоматически после выбора LLM. В режиме Вручную блок называется Параметры модели, и поля заполняются вручную; Движок и ID модели удобно заполнить с помощью кнопки Запросить данные:

• Адрес модели – адрес, по которому сервис обращается к LLM.
• Авторизация – заголовок авторизации запроса к модели, например Bearer <ваш_api_key>. Если авторизация не нужна, оставьте поле пустым (Не требуется).
• Движок – движок инференса, на котором запущена модель (например, vLLM).
• ID модели – идентификатор модели на движке.
• Поддержка изображений: модель принимает изображения. Без этого флага навыки с изображениями недоступны.
• Поддержка размышления: модель поддерживает режим размышления. Без этого флага навыки с размышлением недоступны.

Обработка изображений

Блок доступен, если модель поддерживает изображения:

• Разрешение изображения, МП – разрешение в мегапикселях, к которому приводятся изображения перед отправкой в модель.
• Выполнять апскейл – принудительное увеличение изображения до указанного разрешения, если исходное изображение меньше.

Состояние сервиса

Блок отображает текущее состояние сервиса проекта:

• Статус – в правом верхнем углу блока: Остановлен, Запускается, Работает, Останавливается или Ошибка.
• Этапы запуска – пошаговый прогресс, пока сервис запускается или работает.
• Сейчас работает – модель, которая обрабатывает запросы.
• Машина – машина, выбранная для сервиса.
• Адрес сервиса – адрес, по которому принимаются запросы к навыкам проекта.
• Последний запуск – дата и время последнего запуска сервиса.

Кнопки:

• Использовать – запустить сервис с заданной конфигурацией.
• Очистить очередь запросов – у работающего сервиса: прервать все ожидающие и выполняющиеся запросы, они завершатся ошибкой.
• Остановить – остановить сервис.

Файнтюнинг

В нижней части блока расположена ссылка Открыть редактор – она открывает редактор файнтюнинга, в котором можно обучить собственную модель на своём датасете. Если сервис уже работает с моделью, полученной файнтюнингом, рядом указан проект, в котором её обучили.

Логи

В блоке Логи выводится журнал работы сервиса. Используйте его для диагностики, если сервис не запускается или завершается с ошибкой. Кнопки Скопировать и Скачать копируют лог в буфер обмена или скачивают его файлом.

Что дальше

Когда сервис запущен, перейдите в раздел Тестирование, чтобы проверить работу навыков.