Тестирование

Раздел представляет собой веб-интерфейс для работы с публичным API. Действуют те же правила и ограничения, что и при использовании API напрямую.

На странице Тестирование вы можете без участия роботов Primo RPA оценить, как ваша модель справляется с задачей распознавания или классификации. Если результат обработки документа окажется неудовлетворительным, следует исправить ошибки в разметке и повторно обучить модель, чтобы избежать проблем при промышленной эксплуатации модели.

Для чего нужен раздел

• Проверить качество работы модели на новых примерах.
• Сравнить несколько моделей и оценить точность распознавания.
• Убедиться, что модель корректно извлекает нужные поля до того, как вы начнёте использовать её в продуктивных процессах.
• Сохранить эталонные документы и после каждого изменения настроек проверять, не ухудшилось ли распознавание.

Структура страницы

Страница состоит из трёх областей:

• слева – панель Файлы с тестовыми файлами и прогонами;
• в центре – изображение выбранной страницы документа с найденными полями;
• справа – панель Распознанные данные с результатом распознавания.

Панель Файлы можно свернуть кнопкой в её заголовке.

Запуск процесса

1. В разделе Использование необходимо активировать нужную модель. После этого она становится доступна для тестирования.

2. В разделе Тестирование нажмите Добавить файлы внизу панели Файлы. В открывшемся окне выберите Тип модели (ключ маршрутизации конфигурации), загрузите изображения и нажмите Распознать:
   

   ⚠️

   Загрузка многостраничных документов допускается только в форматах PDF/TIFF. Результат будет разбит по страницам.

Загруженные файлы появятся в блоке Прогоны панели Файлы. Пока запрос обрабатывается, доступна кнопка Отмена. Она прерывает выполнение запроса, не дожидаясь результата.

Тестовые файлы и эталоны

Тестовый файл – это документ, для которого сохранён эталон: проверенный результат распознавания. Сохраните файл прогона как тестовый, чтобы сравнивать с эталоном распознавание после каждого изменения модели или её настроек.

Чтобы сохранить эталон:

1. Выберите файл в блоке Прогоны и проверьте результат на панели Распознанные данные. При необходимости исправьте значения полей вручную.
2. Нажмите Сохранить как эталон внизу панели. Файл появится в блоке Тестовые файлы с меткой Эталон есть.

Тестовые файлы хранятся отдельно для каждого ключа маршрутизации: выберите нужный в списке над блоком Тестовые файлы. Если для ключа ещё нет тестовых файлов, в блоке отображается подсказка «Тестовых файлов нет: сохраните файл прогона, чтобы сравнивать распознавание с эталоном».

Действия с тестовым файлом:

• Прогнать – распознать файл заново текущей конфигурацией;
• Показать эталон – открыть данные эталона;
• Скачать тестовый файл;
• Удалить.

Чтобы распознать несколько файлов сразу, отметьте их флажками и нажмите Прогнать выбранные. Если ни один файл не отмечен, кнопка называется Прогнать все и запускает распознавание всех тестовых файлов ключа.

Результаты распознавания тестовых файлов попадают в блок Прогоны. Если у файла есть эталон, распознавание сравнивается с ним:

• переключатель Расхождения с эталоном на панели результата подсвечивает поля, значения которых отличаются от эталона;
• кнопка Принять как новый эталон заменяет эталон текущим результатом;
• метрики распознавания (средний CRA – посимвольная точность, Word Accuracy, Exact Match, суммарное расстояние Левенштейна) отображаются по файлу и по всем прогонам с эталоном.

Если результат совпадает с эталоном, внизу панели выводится «Совпадает с эталоном – сохранять нечего».

Результат

На панели Распознанные данные выводятся результаты распознавания по каждому полю, а также показатель качества распознавания:

• если точность распознавания/классификации меньше 0,2, то значение отображается красным;
• если точность распознавания/классификации находится в диапазоне 0.2-0.79, то значение отображается оранжевым;
• Если точность выше 0,8, значение отображается зелёным. Это считается высоким уровнем уверенности распознавания.

Вид панели переключается кнопками под её заголовком:

• Данные – список полей с распознанными значениями;
• json – ответ сервера целиком;
• Дифф – построчное сравнение ответа с эталоном. Кнопка Только отличия скрывает совпадающие строки.

Виды json и Дифф можно развернуть кнопкой Во весь экран.

Переключатель Неуверенные символы подсвечивает места, в которых модель не уверена, и позволяет просматривать их по очереди. Если при распознавании страница была выровнена, рядом отображается угол поворота.

Значения полей можно исправить вручную. Если значения правили, в видах json и Дифф отображается отметка «Поле правили руками» и кнопка Сбросить правки, которая возвращает значения в том виде, в котором их прислал сервер.

Результат можно скачать в формате json или скопировать в буфер обмена. Значения копируются в виде:

• строковых пар имя поля: значение для структурированных документов;
• текста из поля unifiedText для неструктурированных документов.