Skip to Content

Операции управления

Администратор имеет право:

  • добавлять базовые модели: скачивать их из HuggingFace или Ollama либо загружать файл вручную;
  • скачивать файлы загруженных моделей;
  • изменять названия и описание базовых моделей;
  • загружать и удалять файл сопоставления ответов модели (mapping.json);
  • удалять файлы моделей с целевых машин и из хранилища сервера;
  • удалять неиспользуемые базовые модели.

Все операции выполняются на странице Настройки ➝ Базовые модели.

Добавить базовую модель

  1. Нажмите кнопку Добавить базовую модель. Откроется окно Добавление базовой модели:

    Окно Добавление базовой модели

  2. Выберите источник модели:

    • Загрузить из HuggingFace – модель в формате safetensors для движка vLLM. Сервер скачает её по ссылке или названию репозитория.
    • Загрузить из Ollama – модель в формате gguf для движка Ollama. Сервер скачает её по названию модели в реестре.
    • Загрузить файл вручную – zip-архив с моделью, который вы загружаете сами. Подходит и для Умного OCR.
  3. Нажмите Продолжить и заполните форму выбранного источника (см. ниже).

Загрузить из HuggingFace или Ollama

Форма загрузки модели из HuggingFace

Форма Загрузка модели из HuggingFace и форма Загрузка модели из Ollama устроены одинаково. Поля Формат и Движок заполнены автоматически по выбранному источнику и не редактируются: safetensors и vLLM для HuggingFace, gguf и Ollama для Ollama.

  1. В поле Ссылка или название модели укажите модель:
    • для HuggingFace – название репозитория или ссылку на него, например Qwen/Qwen3-8B или https://huggingface.co/Qwen/Qwen3-8B;
    • для Ollama – название модели с тегом или ссылку на страницу модели, например qwen3:8b или https://ollama.com/library/qwen3.
  2. Нажмите Запросить данные. Сервер получит из реестра сведения о модели и заполнит поля формы:
    • Название – название, под которым модель появится в списке базовых моделей. Его можно изменить.
    • Описание.
    • Манифест – только для Ollama: шаблон промпта и параметры модели в формате Modelfile (TEMPLATE, PARAMETER).
    • Параметры, млрд – количество параметров модели в миллиардах.
    • Размер модели, ГБ и Доступно, ГБ – размер файлов модели и свободное место в хранилище сервера. Поля только для чтения.
    • флажки Рассуждение и Обработка изображений – возможности модели. Проверьте их: от флажков зависит, с какими навыками и в каких сценариях можно использовать модель.
  3. Нажмите Сохранить.

Сервер начнёт скачивать модель. Пока идёт скачивание, в столбце Размер файла таблицы базовых моделей отображается прогресс. После завершения появится уведомление «Модель «…» скачана и добавлена в хранилище». Если скачать модель не удалось, в столбце Размер файла отобразится метка Ошибка загрузки: наведите на неё курсор, чтобы увидеть причину.

Чтобы прервать скачивание, откройте меню действий модели и выберите Отменить загрузку. Шаблон модели останется в таблице с отметкой об отмене.

Особые случаи:

  • Если модель с той же ссылкой уже добавлена, форма покажет предупреждение «Эта модель уже добавлена как «…»».
  • Если на сервере меньше свободного места, чем занимает модель, сохранить форму нельзя. Освободите место или удалите ненужные модели.
  • Если сервер не может подключиться к реестру, в форме отображается ошибка «Нет связи с реестром моделей» с адресом реестра и текстом ошибки.
ℹ️

Для загрузки из HuggingFace и Ollama серверу AI Server нужен доступ в интернет к реестрам моделей. Адреса реестров, токен доступа к HuggingFace (для закрытых репозиториев), таймауты и каталог временных файлов задаются в секции ExternalModelRegistries файла /app/Primo.AI/Api/volumes/conf/Api/appsettings.ProdLinux.json. Если сервер работает в закрытом контуре, используйте ручную загрузку файла.

Загрузить файл вручную

Форма Создать базовую модель предназначена для загрузки собственного архива модели.

Файлы моделей для загрузки должны быть .zip-архивами с определенным содержимым (в зависимости от типа модели):

  • Для базовых моделей Умный OCR в архиве должен быть .pkl-файл (двоичный формат файла, используемый для сериализации объектов Python) с моделью (например, CNN-модель ResNet-50).
  • Для базовых моделей AI Текст:
    • Для движка vLLM в архиве должны быть данные модели в формате HuggingFace (PyTorch), в том числе Safetensors-файлы модели, метаданные, файлы конфигурации.
    • Для движка Ollama архив должен содержать единственный файл модели в формате GGUF. См. инструкцию по извлечению GGUF-файла и других данных Ollama-моделей.
  1. Перетащите свой ZIP-архив с файлом модели в область Файл или кликните по ней, чтобы выбрать файл. Файл(-ы) требуется упаковать в архив самостоятельно.

    Если вы разместите файл модели на целевых машинах сами, установите флажок Я самостоятельно загружу модель на целевую машину. Тогда загружать файл в форме не нужно: в хранилище сервера модели не будет, а в столбце Название файла таблицы отобразится «Модель отсутствует в общем хранилище». Идентификатор файла модели после сохранения отображается в форме редактирования (поле Идентификатор файла).

  2. В поле Название укажите название будущей модели.

  3. В поле Описание добавьте краткую информацию о назначении модели.

  4. В поле Тип проекта выберите значение из списка:

    • Умный OCR – модель для обработки сканов документов с помощью сверточных нейросетей.
    • AI Текст – модель для решения задач с помощью больших языковых моделей.
  5. Если вы выбрали тип проекта AI Текст, то дополнительно укажите:

    • Движок – тип движка, на котором должна работать базовая модель:
      • vLLM – для инференса неквантизованных моделей в формате HuggingFace (PyTorch).
      • Ollama – для инференса моделей в формате GGUF.
    • флажки Обработка изображений и Рассуждение – возможности модели.
    • Для движка Ollama дополнительно заполните поля Шаблон (шаблон промпта модели) и Параметры (параметры модели). Для vLLM эти поля недоступны: параметры зашиты в метаданные модели.

    Для извлечения шаблона и параметров модели используйте инструкцию или воспользуйтесь справочной информацией из библиотеки на сайте Ollama . Некорректное заполнение этих полей существенно влияет на работу модели.

  6. Нажмите Сохранить.

Меню действий модели

Действия с моделью вызываются значком ☰ в столбце Действия таблицы базовых моделей. Набор пунктов зависит от состояния модели:

ПунктКогда доступенЧто делает
РедактироватьвсегдаОткрывает форму редактирования модели (см. ниже)
СкачатьвсегдаСкачивает файл модели
Добавить сопоставлениевсегдаЗагружает файл mapping.json с сопоставлением ответов модели (см. ниже)
Удалить сопоставлениеесли сопоставление загруженоУдаляет загруженный вручную mapping.json
Отменить загрузкупока модель скачивается из HuggingFace или OllamaПрерывает скачивание
Удалить с целевых машинесли файл модели есть на целевых машинахУдаляет файл модели с целевых машин
Удалить из центра управленияесли файл модели есть в хранилище сервераУдаляет файл модели из хранилища сервера
УдалитьвсегдаУдаляет базовую модель

Редактировать базовую модель

  1. В меню действий модели выберите Редактировать.

  2. Измените параметры. Для изменения доступны:

    • Название;
    • Описание;
    • для моделей на движке Ollama – Шаблон и Параметры.

    Тип проекта, движок и возможности модели после создания не меняются. В форме также отображается Идентификатор файла модели с кнопкой копирования. Если модель добавлена с флажком Я самостоятельно загружу модель на целевую машину, в форме отображается предупреждение о том, что файла модели нет на сервере.

  3. Нажмите Сохранить.

Скачать базовую модель

  1. В меню действий модели выберите Скачать.
  2. Дождитесь окончания скачивания ZIP-архива с файлом модели.

Сопоставление ответов модели

Сопоставление – это файл mapping.json, по которому постпроцессинг заменяет ответ модели, полученной файнтюнингом, на название класса из датасета. Обычно сопоставление берётся из процесса файнтюнинга модели. Загрузить его вручную нужно, если модель перенесена на окружение, где процесса её файнтюнинга нет, – например, на другой сервер AI Server. Файл mapping.json можно скачать в редакторе файнтюнинга кнопкой Скачать mapping.json.

  • Чтобы загрузить файл, выберите в меню действий Добавить сопоставление и укажите файл mapping.json. Если сопоставление уже было загружено, оно будет заменено.
  • Чтобы удалить загруженный файл, выберите Удалить сопоставление и подтвердите действие. Постпроцессинг вернётся к сопоставлению из процесса файнтюнинга, если он есть на этом окружении.

Загруженное сопоставление можно скачать по ссылке Скачать в столбце Сопоставление таблицы.

Удалить файл модели с целевых машин

Чтобы освободить место на целевых машинах, выберите в меню действий Удалить с целевых машин и подтвердите действие. Файл модели будет удалён с целевых машин. В общем хранилище сервера модель останется, и её можно будет передать на машины заново.

Удалить файл модели из хранилища сервера

Чтобы освободить место на сервере, выберите в меню действий Удалить из центра управления и подтвердите действие. Файл модели будет удалён из общего хранилища сервера. На целевых машинах, где модель уже есть, она продолжит работать, но передать её на новые машины будет нельзя.

Удалить базовую модель

⚠️

Не удаляйте базовые модели из поставки, чтобы не нарушать работу системы.

  1. В меню действий модели выберите Удалить.
  2. Подтвердите действие.