Словарь

В данном разделе вы познакомитесь с базовыми понятиями, которые используются в Primo RPA AI Server.

Ключевыми понятиями в контексте работы сервиса являются обучение (training) и инференс (inference).

Общие понятия

IDP

IDP — data science-ядро с нейронными сетями и OCR. Предназначено для интеллектуальной обработки документов. Размещается на специальным образом настроенной машине (целевой машине). IDP входит в поставку Primo RPA AI Server.

Bounding Box

Bounding Box — описывающий прямоугольник. Встроенный инструмент для разметки данных, который минимально охватывает объект на изображении. Bounding box используется для обозначения местоположения и размера объекта на изображении.

Агент

Агент — приложение, входящее в состав Primo RPA AI Server. Устанавливается на целевой машине для взаимодействия с сервером, служит для управления процессами обучения моделей и процессами инференса.

Аннотация

Аннотация — используется при разметке изображений для задач компьютерного зрения (CV) в моделях детекции. Это процесс маркировки (или разметки) объектов на изображениях, которые модель должна научиться детектировать. Аннотация включает в себя указание местоположения (локализация объектов) и классов объектов на изображении. Основная цель аннотации — предоставить модели обучающие данные, которые помогут ей научиться идентифицировать и локализовать различные объекты на новых изображениях.

Базовая модель

Базовая модель — заранее предобученная модель нейронной сети, готовая извлекать определенные свойства из изображений.

Датасет

Датасет — набор изображений документов, который используется для обучения и тестирования модели. Датасет обычно состоит из изображений и аннотаций, описывающих местоположение и классы объектов (поля в документах) на изображениях. В сервисе используются обучающий и тестовый датасеты.

Инференс

Инференс — процесс использования обученной модели для предсказания на новых данных. В контексте обнаружения объектов инференс включает определение классов объектов и их местоположений на изображении.

Модель

Модель — математическая структура, обученная на основе данных для решения конкретных задач. В контексте Primo RPA AI Server модель решает задачу детекции объектов — анализирует изображения, чтобы обнаружить, классифицировать и локализовать искомые объекты.

Обучение

Обучение — процесс тренировки модели на обучающей выборке данных для оптимизации параметров нейронной сети (например, весов модели и нейронов смещения). В ходе обучения сеть постепенно улучшает свои предсказания, минимизируя ошибки.

Обученная модель

Обученная модель — модель, которая прошла процесс обучения и теперь может использоваться для инференса (предсказания) на новых данных. Обученная модель имеет настроенные веса и параметры, оптимизированные в ходе тренировки.

Поле

Поле — область изображения, содержащая интересующий объект для обнаружения и распознавания моделью.

Разметка данных

Разметка данных — процесс присвоения меток набору данных для обучения моделей. Например, для решения задачи распознавания изображений модель обучают на большом датасете, на каждом изображении которого проставлены метки. Метки указывают, объекты какого класса присутствуют на изображении.

Регион

Регион — поле, координаты которого модель обнаружила на изображении.

Схема разметки

Схема разметки — объект системы, который хранит заданные пользователем поля для разметки изображений датасета.

Целевая машина

Целевая машина — физическая или виртуальная машина c установленным агентом и IDP. На целевой машине производится обучение модели и инференс.

Понятия процесса обучения

Average precision (AP)

Average precision — средняя точность. Метрика, используемая для оценки качества модели обнаружения объектов. Рассчитывается как среднее значение точности для различных уровней полноты.

Batch Size

Batch Size — размер пакета. Количество изображений, одновременно проходящих через модель при единовременном обновлении градиента. Увеличение размера пакета помогает ускорить обучение, но требует больше памяти.

Learning Rate (LR)

Learning Rate — скорость обучения. Определет размер шага, с которым обновляются параметры модели во время обучения. LR влияет на скорость сходимости и качество итоговой модели.

Max iterations

Max iterations — максимальное количество итераций, за которое обучается модель. Одна итерация включает один шаг обновления параметров модели на основе одной или нескольких партий данных (batch size).

Model Weights

Model Weights — веса модели. Параметры, которые модель рассчитывает в процессе обучения. Веса модели сохраняются и используются при инференсе для предсказания на новых данных.

Num workers

Num workers — количество потоков, используемых для загрузки данных. Увеличение числа потоков помогает ускорить обучение, особенно при использовании больших датасетов.

Аугментация

Аугментация — методика искусственного увеличения обучающих данных при помощи модификации уже имеющихся. Для этого к исходным изображениям применяются такие изменения, как поворот, изменение яркости, добавление шума и другие. Аугментация помогает улучшить обобщающую способность модели, предотвращая переобучение.

Переобучение

Переобучение — ситуация, когда модель слишком хорошо запоминает обучающие данные, но плохо обобщает новые данные. Переобученная модель имеет высокую точность на обучающем наборе, но низкую точность на тестовом наборе.

Эпоха

Эпоха — один полный проход через весь набор обучающих изображений. Во время одной эпохи модель видит каждую картинку в обучающем наборе данных один раз.

Понятия процесса инференса

Обобщение

Обобщение — способность модели успешно предсказывать новые данные. Хорошо обобщающая модель успешно справляется с задачей на различных наборах данных, а не только на тех, которые использовались для обучения.

Локализация

Локализация — процесс определения точного местоположения объекта на изображении путем предсказания координат описывающего прямоугольника (bounding box), окружающего объект.

Детекция объектов

Детекция объектов — обнаружение объектов. Процесс идентификации и локализации объектов на изображении. Система не только определяет, что на изображении находится объект определенного класса (например, поле «Наименование поставщика» в документе), но и указывает его точное местоположение.

Тестирование

Тестирование — процесс оценки точности обученной модели на отдельном наборе данных (тестовом датасете), который не использовался для обучения. Тестирование помогает определить, насколько хорошо модель может предсказывать новые данные.