Управление моделями на целевой машине

Каждая целевая машина может использоваться для компонентов AI Текст и Умный OCR в зависимости от способа развертывания системным администратором:

• Если машина используется только для AI Текста, то карточка машины позволит управлять используемой на ней LLM-моделью.
• Если машина используется только для Умного OCR, то карточка машины позволит наблюдать за тем, как машина используется в проектах на данный момент.

На рисунке отмечены:

• 1 — Область с общей информацией о целевой машине.
• 2 — Область конфигурации и запуска LLM-модели компонента AI Текст.
• 3 — Область, которая отражает, как машина используется в проектах компонента Умный OCR.

Область с общей информацией о машине

• Статус активности машины:

  • разблокирована — машина удерживает лицензию агента и готова к запуску процессов обучения/инференса в Умном OCR или к запуску LLM-модели в AI Тексте.
  • заблокирована — машина была заблокирована. Это значит, что она освободила лицензию агента и на ней невозможно запустить обучение/инференс в Умном OCR или запустить модель в AI Тексте.

• Доступность машины: использует подключение к сети или нет.

• Наличие действующей лицензии агента: на каждой целевой машине установлен агент, который требует лицензии. Агенты управляет моделью: запускают, настраивают, останавливают, отправляют запросы от сервера. Если отправить запрос на машину без лицензии, то такой запрос завершится ошибкой.

Область AI Текст

Здесь вы можете сконфигурировать и запустить LLM-модель для обработки NLP-запросов. Визуально область делится на блоки: текущее состояние, проекты, конфигурация.

Текущее состояние

Содержит информацию о статусе использования LLM-модели, также позволяет изменить этот статус с помощью кнопок управления.

1. Статус — текущее состояние использования модели. Для статуса Ошибка можно просмотреть всплывающую подсказку с детальной информацией, которая отображается при наведении курсора.
2. Стадии запуска модели. Отображаются после нажатия на кнопку Запустить.
3. Кнопки управления:
   • Запустить — запускает LLM-модель на машине.
   • Остановить — позволяет остановить запущенную модель.

Проекты

Содержит список проектов типа Задачи NLP, навыки которых обслуживаются текущей моделью. Каждое название проекта представляет собой ссылку, которая ведет на страницу проекта.

Конфигурация

Позволяет сконфигурировать бездействующую модель для запуска. Конфигурацию модели нельзя изменять во время запуска на машине или выполнения NLP-запросов.

Параметры конфигурации:

1. Выбор базовой модели — выберите тип базовой модели из выпадающего списка. По умолчанию доступны следующие типы:

   • base-LLM-01 (vLLM, 8B) — текстовая модель, которая входит в комплект поставки для движка vLLM. Имеет 8 миллиардов параметров.
   • base-LLM-02 (Ollama, 8B) — текстовая модель, которая входит в комплект поставки для движка Ollama. Имеет 8 миллиардов параметров. Может запускаться на низкопроизводительной машине.
   • base-LLM-03 (vLLM, 7B) — текстовая модель входит, которая в комплект поставки для движка vLLM. Имеет 7 миллиардов параметров.
   • base-LLM-04 (vLLM, multimodal, 7B) — мультимодальная модель, которая входит в комплект поставки для движка vLLM. Умеет работать как с текстовой информацией, так и с изображениями документов. Имеет 7 миллиардов параметров.
   • base-LLM-05 (llama-cpp-python, 27B) — текстовая модель, которая входит в комплект поставки для движка llama-cpp-python. Имеет 27 миллиардов параметров и была специально оптимизирована для инференса с квантизованными весами.
   • base-LLM-06 (vLLM, multimodal, 7B) — мультимодальная модель, которая входит в комплект поставки для движка vLLM. Рекомендуется для обработки изображений, а также как движок распознавания ViT для Умного OCR.
   • base-LLM-07 (vLLM, 8B) — текстовая модель, которая входит в комплект поставки для движка vLLM. Дополнительно обучалась на фактах русской культуры и истории.

2. Размер контекстного окна — предельное количество токенов (текстовых единиц), которые могут быть указаны во входном тексте для обработки. Одно слово на русском языке ~ 2 токена. По умолчанию 4096.

3. Выбор устройства — тип устройства, который используется на целевой машине с сервером LLM. Доступные значения:

   • CPU — значение по умолчанию. Центральный процессор, выполняющий основные операции и управляющий работой компьютера.
   • CUDA — архитектура CUDA позволяет использовать графический процессор (GPU) от NVIDIA для повышения производительности параллельных вычислений. CUDA представляет собой набор инструментов и библиотек для работы с графическим процессором.

   Если вы выбрали CPU, дополнительно установите:

   • Кол-во используемых CPU — количество ядер CPU, которые будет использовать контейнер с выбранным движком для генерации ответов.

   Если вы выбрали CUDA, дополнительно установите:

   • Кол-во используемых GPU — количество видеокарт. Если модель не помещается в VRAM одной GPU, используйте несколько видеокарт.
   • Загруженность видеокарты — процент использования памяти видеокарты.
   • Кол-во памяти от хоста — если модель не помещается в VRAM одной GPU, оставьте часть слоев LLM на хосте.

Как запустить модель на машине

Сконфигурируйте модель и нажмите Запустить. Начнется автоматический процесс запуска — он займет некоторое время:

• Дождитесь, когда напротив всех стадий запуска будут проставлены галочки — это означает, что модель успешно запустилась и готова к работе.

Когда все стадии запуска завершились успешно, вы увидите только один статус — Готова принимать запросы.

Ошибка при запуске модели:

Если процесс запуска завершился ошибкой, то вместо статуса Готова принимать запросы, вы увидите индикатор ошибки. Наведите курсор на индикатор, чтобы просмотреть текст ошибки.

Как остановить модель:

Вам может понадобиться остановить LLM-модель, чтобы выключить машину или изменить конфигурацию модели. Для этого нажмите кнопку Остановить и дождитесь полной остановки модели – ее статус сменится с Запущена на Бездействует.

Что дальше

Теперь вы можете перейти к настройке проектов Задач NLP или Умного OCR.