Инструкция по началу использования модели

Шаг 0. Подготовка

В разделе Использование отображаются только модели, которые были успешно обучены в разделе Обучение. Перед началом убедитесь, что нужная модель действительно успешно обучена.

Если нужно добавить в проект модель, перенесённую из другого проекта, используйте функцию Импорт модели:

1. Нажмите Импорт модели внизу каталога моделей:
   
2. Укажите Название, загрузите файл модели и файл схемы разметки.
3. Нажмите Импортировать.

После импорта модель появится в каталоге и будет доступна для настройки и использования так же, как модели, обученные в системе.

Шаг 1. Выбор модели

1. Выберите модель из раздела Каталог моделей
   
2. Нажмите Использовать, чтобы перейти к настройке.

Дополнительно при нажатии на три точки доступны опции: Скачать, Удалить, Автотест (см. раздел Автотест):

Шаг 2. Настройка параметров использования

В открывшейся форме Конфигурации доступны поля:

Шаг 3. Дополнительные параметры

Описание параметров приведено в таблице ниже:

Шаг 4. Привязка полей к ViT или Tesseract

В блоке Настройки распознавания текста доступны:

• Tesseract — классический движок OCR.

• ViT — механизм Vision Transformer для извлечения текста с помощью LLM. Дополнительно для ViT указывается:

  • ViT-модель — модель, использование которой на конкретной Целевой машине управляется в разделе Машины -> AI Текст.
    Для механизма Vision Transformer подходит только мультимодальная модель (поддерживающая обработку изображений)

  • Адрес модели — URL запроса (например: https://10.0.0.99:5002/api/NLP/process/...)

  • Кол-во параллельных запросов — сколько параллельных запросов может обрабатывать LLM.
    Обычно без потери производительности это число колеблется в пределах 1-5.

  • Системный промпт — базовая инструкция модели (“You are a highly accurate program for digitizing images”). Выбранное значение далее в Редакторе полей будет фигурировать как Общий.

  • Запрос к модели — конкретный запрос, который модель будет обрабатывать для извлечения текста из фрагмента изображения.
    Варианты выбора:

    • Без заголовка: если модель обучена на разметке, где область выделения поля не включает его заголовок.
    • С заголовком: если модель обучена на разметке, где область выделения поля включает его заголовок.
    • Ручной: если значение отличается.

    Выбранное значение далее в Редакторе полей будет фигурировать как Общий.

    ⚠️

    Запрос к модели и системное сообщение целесообразно формулировать на английском языке, т.к. большинство используемых моделей обучались преимущественно на англоязычных текстах, и лучше его интерпретируют.

Перетаскивайте нужные поля между колонками, чтобы указать, какой механизм OCR будет извлекать данные для конкретного поля.

• Выбор Tesseract перенесет вычисления на CPU (при наличии GPU) и подходит для простых полей без особых требований к качеству распознавания. При наличии ViT, выберите часть полей к распознаванию через Tesseract, чтобы разгрузить GPU.
• Выбор ViT повысит качество обработки текста, особенно если детализировать запрос к модели для конкретного поля. Но механизм требователен к ресурсам. Время обработки 1 поля на самых производительных CPU составит десятки секунд.

Выбор механизма OCR следует производить на начальном этапе проекта. При наличии GPU рекомендуется использовать механизм ViT.

При нажатии кнопки Открыть редактор открывается интерфейс настройки распознавания. За подробным описанием работы редактора см. статью Настройка полей в редакторе SmartOCR.

Автотест

Автотест — встроенный инструмент для быстрой проверки качества обученной модели. Он автоматически разворачивает модель на выбранной целевой машине, выполняет тестовые запуски и выводит ключевые метрики точности.

Для запуска автотеста:

1. У нужной модели нажмите на три точки:
   
2. Выберите опцию Автотест.
3. Укажите целевую машину, на которой будет выполняться тест.
4. Нажмите Начать автотест.

Результаты
После завершения теста отображаются основные показатели точности:

• AP (Average Precision) — средняя точность модели при разных порогах IoU (Intersection over Union).
• AP50, AP75 — точность при фиксированных порогах IoU 0.50 и 0.75.
• APS, APM, APL — точность на маленьких (s), средних (m) и больших (l) объектах.

Что дальше

Следующий шаг — Настройка полей в редакторе “Настройки распознавания полей” .