Управление шаблонами моделей
Last updated
Was this helpful?
Last updated
Was this helpful?
Шаблон модели (или базовая модель) — это заранее предобученная модель нейронной сети, готовая извлекать определенные свойства из изображений. Без шаблона модели невозможно:
обучить собственную модель для обработки OCR-запросов;
сконфигурировать большую языковую модель для обработки NLP-запросов.
Пользователь выбирает ту или иную базовую модель, когда выполняет настройки в проектах Умного OCR или NLP.
Администратор управляет базовыми моделями на странице Настройки > Шаблоны моделей. Здесь он имеет право добавлять шаблоны моделей, скачивать файлы загруженных шаблонов, удалять неиспользуемые шаблоны, изменять названия и описание шаблонов моделей.
Система поставляется с предустановленными шаблонами модели для компонентов Умный OCR и AI Текст. При использовании шаблона из поставки не потребуется совершать никаких дополнительных настроек на странице Настройки ➝ Шаблоны моделей.
В поставку AI Server входят:
base-SmartOCR-01 — базовая модель для компонента Умный OCR, которая подходит как для обучения моделей-классификаторов, так и для моделей, занимающихся распознаванием данных в документах.
base-LLM-01 (Vllm) — базовая LLM-модель, которая работает на движке Vllm. Способна быстро и точно обрабатывать запросы, но требовательна к аппаратным характеристикам целевой машины. Эту базовую модель следует использовать на машине с графической картой или высокопроизводительном CPU.
base-LLM-02 (Llama) — базовая LLM-модель, которая работает на движке Llama. Её можно запускать на низкотребовательной целевой машине с CPU. Не поддерживает работу с GPU.
base-LLM-03 (Vllm) — базовая LLM-модель, которая работает на движке Vllm. Данную модель следует использовать на машине с графической картой или высокопроизводительном CPU.
Используйте в проектах шаблон из поставки, если у вас нет потребности добавлять свой шаблон.
Перейдите в раздел Настройки ➝ Шаблоны моделей.
Нажмите кнопку Добавить шаблон модели. Откроется форма вида:
В поле Название укажите название будущего шаблона модели.
В поле Описание добавьте краткую информацию о назначении шаблона.
В поле Тип проекта выберите значение из списка:
Умный OCR — проект, который предназначен для обработки сканов документов с помощью сверточных нейросетей.
AI Текст — проект для решения задач с помощью больших языковых моделей.
Если вы выбрали тип проекта AI Текст, то дополнительно укажите:
Тип — разновидность компонента. Доступные значения:
NLP — модель решает задачи, в которых требуется обрабатывать текст на естественном языке (например, на русском, английском).
Экспертная система — в настоящий момент не используется. Значение добавлено для будущих версий.
Движок — тип движка, на котором должна работать базовая модель. Доступные значения:
Vllm — для вычислений на графической карте или высокопроизводительном CPU.
Llama — для вычислений на CPU. В настоящий момент не поддерживается для GPU.
Перетащите в область для загрузки свой ZIP-архив с файлом шаблона модели. Файл(-ы) требуется упаковать в архив самостоятельно.
Нажмите Сохранить.
Перейдите в раздел Настройки ➝ Шаблоны моделей.
В таблице шаблонов моделей найдите нужную запись и нажмите значок ☰ для вызова меню действий.
Выберите пункт Скачать.
Дождитесь окончания скачивания ZIP-архива с файлом шаблона.
Перейдите в раздел Настройки ➝ Шаблоны моделей.
В таблице шаблонов моделей найдите нужную запись и нажмите значок ☰ для вызова меню действий.
Выберите пункт Редактировать.
Для изменения будут доступны только параметры:
название;
описание.
Нажмите Сохранить.
Важно. Не удаляйте Базовую модель, чтобы не нарушать работу системы.
Перейдите в раздел Настройки ➝ Шаблоны моделей.
В таблице шаблонов моделей найдите нужную запись и нажмите значок ☰ для вызова меню действий.
Выберите пункт Удалить.
Подтвердите действие.
