Операции управления

Администратор имеет право:

• добавлять шаблоны моделей;
• скачивать файлы загруженных шаблонов;
• удалять неиспользуемые шаблоны;
• изменять названия и описание шаблонов моделей.

Файл шаблона модели

Инструмент загрузки шаблонов моделей позволяет загружать пользовательские модели всех типов. Файлы моделей для загрузки должны быть .zip-архивами с определенным содержимым (в зависимости от типа модели):

• Для шаблонов моделей Умный OCR в архиве должен быть .pkl-файл (двоичный формат файла, используемый для сериализации объектов Python) с моделью (например, CNN-модель ResNet-50)
• Для базовых моделей AI Текст:
  • Для движка vLLM в архиве должен быть данные модели в HuggingFace (pytorch), в том числе Safetensors-файлы модели, метаданные, файлы конфигурации.
  • Для движка Ollama архив должен содержать единственный файл модели в формате GGUF. См. инструкцию по извлечению GGUF-файла и других данных Ollama-моделей.

Добавить шаблон модели

1. Перейдите в раздел Настройки ➝ Шаблоны моделей.

2. Нажмите кнопку Добавить шаблон модели. Откроется форма вида:

   

3. В поле Название укажите название будущего шаблона модели.

4. В поле Описание добавьте краткую информацию о назначении шаблона.

5. В поле Тип проекта выберите значение из списка:

   • Умный OCR — проект, который предназначен для обработки сканов документов с помощью сверточных нейросетей.
   • AI Текст — проект для решения задач с помощью больших языковых моделей.

6. Если вы выбрали тип проекта AI Текст, то дополнительно укажите:

   • Движок — тип движка, на котором должна работать базовая модель. Доступные значения:
     • vLLM — для инференса неквантизованных моделей в формате HuggingFace (pytorch).
     • Ollama — для инференса моделей в формате GGUF.

7. Если вы выбрали движок Ollama, то дополнительно укажите:

• Шаблон — шаблон промпта модели.
• Параметры — параметры модели.
  Для извлечения шаблона и параметров модели используйте инструкцию инструкцию или воспользуйтесь справочной информацией из библиотеки на сайте Ollama . Некорректное заполнение этих полей существенно влияет на работу модели.

1. Перетащите в область для загрузки свой ZIP-архив с файлом шаблона модели. Файл(-ы) требуется упаковать в архив самостоятельно.
2. Нажмите Сохранить.

Скачать шаблон модели

1. Перейдите в раздел Настройки ➝ Шаблоны моделей.
2. В таблице шаблонов моделей найдите нужную запись и нажмите значок ☰ для вызова меню действий.
3. Выберите пункт Скачать.
4. Дождитесь окончания скачивания ZIP-архива с файлом шаблона.

Редактировать шаблон модели

1. Перейдите в раздел Настройки ➝ Шаблоны моделей.
2. В таблице шаблонов моделей найдите нужную запись и нажмите значок ☰ для вызова меню действий.
3. Выберите пункт Редактировать.
4. Для изменения будут доступны только параметры:
   • название;
   • описание.
5. Нажмите Сохранить.

Удалить шаблон модели

1. Перейдите в раздел Настройки ➝ Шаблоны моделей.
2. В таблице шаблонов моделей найдите нужную запись и нажмите значок ☰ для вызова меню действий.
3. Выберите пункт Удалить.
4. Подтвердите действие.