Управление ключами маршрутизации
Ключ маршрутизации используется для решения NLP-задач и является обязательным параметром запроса к AI Server. С помощью ключа сервер выбирает модель с определенным навыком, которой требуется направить запрос на обработку.
Ключ маршрутизации важно знать разработчику RPA-проекта, чтобы правильно настроить запрос к AI Server.
Ключи маршрутизации по умолчанию
AI Server поставляется с предустановленными ключами маршрутизации, описание которых приведено в таблице.
| Ключ маршрутизации | Цель | Описание |
|---|---|---|
| nlp | NLP | Модель без настроенного навыка, которая ведет себя аналогично навыку Генерация |
| nlp-extraction | NLP | Модель с навыком Экстракция |
| nlp-generation | NLP | Модель с навыком Генерация |
| nlp-classification | NLP | Модель с навыком Классификация |
| nlp-summarization | NLP | Модель с навыком Суммаризация |
| nlp-ocr | NLP | Мультимодальная модель с навыком OCR |
Перечисленные ключи маршрутизации (кроме nlp-ocr) содержат файлы с контекстом, которые помогают модели обрабатывать запросы за счет предоставленных примеров запросов и ответов. Вы можете изменить этот файл при выборе навыков в NLP-проекте или во время тестировании навыка с данным ключом, или при создании запроса робота с данным ключом.
Управление ключами маршрутизации
Управление ключами маршрутизации осуществляется на странице Настройки ➝ Ключи маршрутизации.
Администратор может добавить ключ маршрутизации, изменить, удалить из системы.
Добавить ключ маршрутизации
- Перейдите в раздел Настройки ➝ Ключи маршрутизации.
- Нажмите кнопку Добавить ключи маршрутизации.
- В открывшейся форме укажите параметры:
- Имя* — название будущего ключа маршрутизации.
- Описание — дополнительная информация о ключе. Описание отобразится в таблице ключей под названием вашего ключа.
- Цель* — ключевая задача модели. Доступные значения:
NLP— модель должна решать NLP-задачи: обрабатывать текст на естественном языке или текст из изображений.Экспертная система— в настоящее время не используется.
- Навык — выберите из выпадающего списка навык NLP-модели. Доступные значения:
Классификация— ответ на запрос из заранее определенного списка вариантов ответов.Суммаризация— краткое изложение текста с ацентом на определенные темы.Экстракция— извлечение из текста информации по заданным ключам поиска.Генерация— создание текста на основе заданного контекста или начального ввода.OCR— обработка текста из входного изображения. Навыком OCR могут обладать только мультимодальные модели.
- Файл с контекстом (.json) — содержимое файлов с контекстом подсказывает модели, как ей следует работать с запросами. Чтобы добавить файл с контекстом, нажмите значок загрузки.
- LLM-движок — LLM-ядро, которое обеспечивают работу моделей на целевой машине. Доступные значения:
vLLM— подходит для вычислений на графической карте или высокопроизводительном CPU.Ollama— модель на этом движке возможно запускать на низкопроизводительной целевой машине.llama-cpp-python— подходит для вычислений на графической карте или высокопроизводительном CPU.
- Нажмите Сохранить.
Изменить ключ маршрутизации
В ключе маршрутизации нельзя изменить название, цель и навык, которые были указаны при создании.
- Перейдите в раздел Настройки ➝ Ключи маршрутизации.
- В таблице типов найдите нужную запись и нажмите значок ☰ для вызова меню действий.
- Выберите Редактировать.
- Измените необходимые свойства.
- Нажмите Сохранить.
Удалить ключ маршрутизации
- Перейдите в раздел Настройки ➝ Ключи маршрутизации.
- В таблице типов найдите нужную запись и нажмите значок ☰ для вызова меню действий.
- Выберите Удалить.
- Подтвердите действие.