Тестирование навыков модели

Введение

Тестовые запросы позволяют проверять работу навыков без участия роботов Primo RPA.

Во вкладке Тестирование можно отправлять запросы и сразу видеть ответы, которые получила бы роботизированная система при выполнении той же операции. Если результат отличается от ожидаемого, параметры запроса помогают уточнить настройки навыка и повысить качество обработки.

Вкладка Тестирование становится доступной после запуска модели на целевой машине.
Интерфейс включает две области:

• Область ввода запроса
• Область отображения ответа (появляется после отправки запроса)

Параметры, которые влияют на ответ модели

• Ключи ответа. Дополнительные параметры, которые подсказывают модели, какие данные нужно извлечь или на что сделать акцент в ответе. Их значения задаются произвольно и зависят от конкретной NLP-задачи. Например, при экстракции данных из договора ключами могут быть сумма, дата, номер договора и т.д.

• Системный промпт. Инструкция, которая задаёт базовое поведение модели: её роль, задачи, тон, язык общения и формат ответа. Промпт определяет, как модель будет вести себя по умолчанию.

• Файл контекста. Структурированный json-файл с примерами запросов и ответов (few-shot prompting). Модель опирается на эти примеры, чтобы точнее понимать задачу и формировать более релевантные ответы. Контекст создаётся индивидуально для каждого навыка, поскольку примеры должны отражать реальную специфику того, что модель будет обрабатывать.
  Общая структура файла контекста (.json):

  • Секция input — пример текста, который может быть отправлен в запросе для определенного навыка.
  • Секция keys — ключи ответа или темы (в зависимости от навывка), которые помогут модели сосредоточиться на наиболее релевантной информации в тексте запроса.
  • Секция output — пример ответа, который подскажет модели корректный вариант обработки текста, а также стиль изложения (более или менее формальный) и форматирование.

• Файл контекста. Помогает модели выдавать более точные и релевантные ответы. В поставке Server AI уже включён базовый набор контекстов для каждого навыка, и вы можете адаптировать их под свои задачи.
  При необходимости вы также можете создавать собственные файлы, заменять их для выбранного навыка или задавать отдельный контекст прямо в тестовом запросе.

• Температура. Управляет степенью случайности в ответах модели и влияет на распределение вероятностей токенов. Низкие значения делают ответы более стабильными и предсказуемыми, высокие увеличивают разнообразие и вариативность.
  При низкой температуре модель выбирает наиболее вероятные токены. При высокой температуре модель допускает больший разброс и использует слова, которые реже встречались в её обучающих данных.

  ℹ️

  Токен — это базовая единица текста в LLM (в среднем одно русское слово составляет примерно два токена)

• Минимальный порог. Порог вероятности выбора токенов в ответе. Чем выше порог, тем наиболее вероятные токены модель возьмет в ответ, исключая из выборки редкие или неуместные токены.
  Параметры температуры и минимального порога работают в связке. Сначала отбирается диапазон вероятных токенов в соответствии с температурой, а затем токены дополнительно фильтруются по минимальному порогу.
  С их помощью вы можете снизить эффект галлюцинаций в ответах модели — когда ответ, который кажется на первый взгляд правдоподобным, на самом деле является неверным или бессмысленным.

• Длина ответа. Предельное количество токенов, которые модель может генерировать при ответе. Длина может указываться по запросно. За использование токенов не взимается дополнительная оплата.

Запрос

Чтобы отправить тестовый запрос, укажите следующие параметры:

• Навык — способность языковой модели.
• Текст для обработки — входной текст для обработки. На текущий момент отсутствует возможность прикреплять файл документа. Максимальная длина текста регулируется параметром Размер контекстного окна, который вы установили при конфигурации модели.
• Файл для обработки — загружаемый документ (изображение или PDF), который модель использует как входные данные для выполнения задачи.
• Ключи ответа — специфичные для каждой NLP-задачи параметры. Допускается несколько ключей.
• Длина ответа — максимальная длина ответа модели в токенах. Для русского языка 1 слово ~ 2 токена. По умолчанию установлено значение 256.

Расширенные параметры:

• Температура — значение параметра влияет на креативность ответа модели. По умолчанию 0.0 — оптимальное значение для корректных результатов.
• min_p — дополнительный параметр, который определяет порог выбора токенов в ответе, где 0 — любой токен, 1 — самый вероятный. По умолчанию 0.1 — оптимальное значение для корректных результатов.
• Файл с контекстом (.json) — возможность переопределить файл контекста для ключа маршрутизации. Например, добавить в файл дополнительные примеры данных и посмотреть, как будет изменяться поведение модели.
• Системный промпт — возможность переопределить поведение модели с указанным навыком на системном уровне. Например, изменить язык ответа (в этом случае язык также должен быть изменен в файле контекста).

В завершение нажмите Отправить, чтобы получить ответ от модели.

Ответ

Ответ модели отобразится рядом с запросом. Данные ответа можно скопировать или обновить.

Ответ может быть в текстовом формате, например, для навыка генерации, или в виде .json, например, для экстракции, когда информация извлекается по заданным ключам ответа. Если по указанному ключу модель нашла несколько значений, она отобразит все значения для данного ключа.

Как уменьшить количество ошибок в ответах модели

В ситуациях, когда вам требуется более точный и логичный ответ, используйте следующие способы:

• Прописывайте все ключи ответа, а также лучше формулируйте запрос при использовании навыка генерации. Чем больше подробностей, тем лучше модель поймет, что от неё хотят.
• Формируйте файлы контекста под задачи организации. Когда модель отвечает с опорой на составленный контекст, она может использовать эту информацию для более точных ответов. Укажите в файле контекста как можно больше информации, которая ей может пригодиться.
• Ограничьте свободу модели. Отрегулируйте параметры температуры и минимального порога так, чтобы уменьшить шанс неправильного или выдуманного ответа. Например, для снижения галлюцинаций установите температуру 0.1 и повысьте значение в минимальном пороге.

Что дальше

Следующий шаг — подготовить RPA-проект в Primo RPA Studio, который будет взаимодействовать с AI Server и целевыми машинами.

Для разработки проекта установите в Primo RPA Studio библиотеку Primo.AI.Server:

• Primo.AI.Server  — описание пакета для Primo RPA Studio под Windows.