Управление моделями на целевой машине

Каждая целевая машина в системе может быть задействована под разные задачи в зависимости от того, как системный администратор выполнил развертывание:

• Машина для AI Текста: позволяет управлять жизненным циклом и конфигурировать инференс LLM-модели на конкретном узле.
• Машина для Агентских систем: открывает доступ к управлению исполнителями конвейеров агентских систем и RAG-серверами.
• Машина для Умного OCR: позволяет обучать и выполнять инференс CV-моделей. В данном разделе при этом осуществляется мониторинг за процессами, позволяя наблюдать за тем, как ресурсы машины распределяются между проектами распознавания в текущий момент.

На рисунке выше отмечены:

• 1 — Область с общей информацией о целевой машине.
• 2 — Область конфигурации и запуска LLM-модели компонента AI Текст.
• 3 — Область, которая отражает, как машина используется в проектах компонента Умный OCR.

Область с информацией о машине

• Статус активности машины:

  • разблокирована — машина удерживает лицензию агента и готова к запуску процессов обучения/инференса в Умном OCR или к запуску LLM-модели в AI Тексте.
  • заблокирована — машина была заблокирована. Это значит, что она освободила лицензию агента и на ней невозможно запустить обучение/инференс в Умном OCR или запустить модель в AI Тексте.

• Доступность машины для сервера: находится в сети или нет.

• Наличие действующей лицензии агента: на каждой целевой машине установлен агент, который требует лицензии. Агенты управляет моделью: запускают, настраивают, останавливают, отправляют запросы от сервера. Если отправить запрос на машину без лицензии, то такой запрос завершится ошибкой.

Виджет мониторинга ресурсов машины

В верхней панели интерфейса отображается компактный виджет с текущей загрузкой машины: CPU, GPU, RAM, VRAM и Диск. При клике виджет разворачивается в панель Ресурсы машины, где показаны:

• Подробные показатели загрузки для текущей машины и её статусные метки.
• Список остальных целевых машин с их адресом и теми же статусными метками, чтобы быстро увидеть, какие машины сейчас доступны, без перехода на страницу Просмотр целевых машин.

Данные в виджете обновляются автоматически (отметка времени вида «обновлено несколько секунд назад»), также доступна кнопка ручного обновления.

Область AI Текст

Эта область предназначена для конфигурации и запуска больших языковых моделей, NLP-обработки и работы агентских систем. Она разделена на четыре блока: LLM, NLP, Исполнитель агентских систем и RAG-сервер.

• LLM
  Языковые модели (движки инференса), развернутые на машине. Запущенная LLM используется как источник инференса для конфигураций NLP, как ViT-механизм для Умного OCR или в конвейере Агентских систем.

• NLP
  Отдельные конфигурации, которые обрабатывают NLP-запросы. Каждая подключается к одной из LLM-моделей машины (или к внешнему LLM-провайдеру) и настраивается независимо.

• Исполнитель агентских систем
  Позволяет исполнять и тестировать конвейеры проектов Агентских систем.

• RAG
  Позволяет наполнять собственную или внешнюю векторную БД (postgres + pgVector) данными на основе базы знаний, документов и т.д. Используется в конвейерах проектов Агентских систем.

Текущее состояние

При выборе в списке конкретной LLM-модели, NLP-конфигурации, исполнителя агентских систем или RAG отображается блок Текущее состояние — статус этого компонента и кнопки управления.

• Статус: показывает текущий режим использования («Запущена», «Бездействует», «Ошибка»). Если компонент находится в статусе «Ошибка», при наведении курсора на иконку вопроса отобразится всплывающая подсказка с детальной технической информацией.
• Стадии запуска: после нажатия кнопки «Запустить» отображается пошаговый прогресс инициализации, каждая стадия отмечается галочкой по мере завершения. Набор стадий зависит от типа компонента, например:
  • для NLP-конфигурации: Запуск, Подготовка хранилища, Конфигурация NLP-сервера, Запуск NLP-сервера, Запуск инференса модели;
  • для Исполнителя агентских систем: Запуск, Подготовка хранилища, Запуск LFX-сервера, Готов к исполнению;
  • для RAG: Запуск, Подготовка хранилища, Кэширование rerank-модели, Кэширование embed-модели, Запуск postgres-сервера, Запуск RAG-сервера, RAG-сервер запущен.
• Кнопки управления: кнопка «Запустить» активирует модель/сервер, а кнопка «Остановить» прекращает выполнение текущего процесса.

Проекты

Отдельным блоком отображается список проектов, чьи навыки обслуживаются выбранной LLM-моделью, NLP-конфигурацией или другим компонентом. Каждое название проекта является кликабельной ссылкой, которая ведет на страницу этого проекта.

Конфигурация

Конфигурировать можно только бездействующую модель. Настройки нельзя изменять, если модель/сервер уже исполняется.

Для LLM

На одной машине можно развернуть несколько LLM: каждая добавляется через + Добавить LLM и настраивается независимо.

Параметры конфигурации:

1. Выбор базовой модели: выберите тип базовой модели из выпадающего списка. По умолчанию доступны следующие типы:

   Название модели	Движок / Размер	Тип	Описание
   base-LLM-06-7b-gguf-q8	Ollama, 7B	Мультимодальная	Квантование GGUF q8. Поддерживает текст и изображения, используется как ViT (ранее: base-LLM-05).
   base-LLM-06-7b-safetensors-fp16	vLLM, 7B	Мультимодальная	Формат safetensors fp16. Рекомендуется для работы с изображениями и ViT (ранее: base-LLM-06).
   base-LLM-07-8b-safetensors-fp16	vLLM, 8B	Текстовая	Формат safetensors fp16. Дополнительно обучена на фактах русской культуры (ранее: base-LLM-07).
   base-LLM-06-7b-gguf-fp16	Ollama, 7B	Мультимодальная	Поддерживает изображения (ММ).
   base-LLM-08-27b-gguf-q4_k_m	Ollama, 27B	Мультимодальная	Квантование q4_k_m. Поддержка изображений (ММ).
   base-LLM-09-30b-gguf-q4_k_m	Ollama, 30B	ММ + Reasoning	Квантование q4_k_m. Оптимизирована под рассуждения.
   base-LLM-11-30b-gguf-q4_k_m	Ollama, 30B	Мультимодальная	Распознавание изображений и ViT для Умного OCR.
   base-LLM-12-35b-gguf-q4_k_m	Ollama, 35B	ММ + Reasoning	Распознавание изображений. Поддерживает рассуждения.
   base-LLM-12-35b-safetensors-nfvp4	vLLM, 35B	ММ + Reasoning	Формат safetensors. Распознавание изображений и ViT для Умного OCR. Поддерживает рассуждения.
   base-LLM-13-26b-gguf-q4_k_m	Ollama, 26B	ММ + Reasoning	Распознавание изображений. Поддерживает рассуждения.
   base-LLM-12-35b-safetensors-4bit	vLLM, 35B	ММ + Reasoning	Формат safetensors. Распознавание изображений и ViT для Умного OCR. Поддерживает рассуждения.
   base-LLM-14-27b-gguf-q4_k_m	Ollama, 27B	ММ + Reasoning	Распознавание изображений. Поддерживает рассуждения.
   base-LLM-14-27b-safetensors-4bit	vLLM, 27B	ММ + Reasoning	Формат safetensors. Распознавание изображений и ViT для Умного OCR. Поддерживает рассуждения.
   ft-base-0.6b-fp16	vLLM, 0.6B	Для FT	Компактная базовая модель для файнтюнинга.
   ft-base-2b-fp16	vLLM, 2B	Для FT	Компактная базовая модель для файнтюнинга.

2. Размер контекстного окна — предельное количество токенов (текстовых единиц), которые могут быть указаны во входном тексте для обработки. Одно слово на русском языке ~ 2 токена. По умолчанию 4096.

3. Выбор устройства — тип устройства, который используется на целевой машине с сервером LLM. Доступные значения:

   • CPU — значение по умолчанию. Центральный процессор, выполняющий основные операции и управляющий работой компьютера.
   • CUDA — архитектура CUDA позволяет использовать графический процессор (GPU) от NVIDIA для повышения производительности параллельных вычислений. CUDA представляет собой набор инструментов и библиотек для работы с графическим процессором.

   Если вы выбрали CPU, дополнительно установите:

   • Кол-во используемых CPU — количество ядер CPU, которые будет использовать контейнер с выбранным движком для генерации ответов.

   Если вы выбрали CUDA, дополнительно установите:

   • Кол-во используемых GPU — количество видеокарт. Если модель не помещается в VRAM одной GPU, используйте несколько видеокарт.
   • Загруженность видеокарты — процент использования памяти видеокарты.
   • Кол-во памяти от хоста: если модель не помещается в VRAM одной GPU, оставьте часть слоев LLM на хосте.

Для NLP

На одной машине можно запустить несколько NLP-конфигураций параллельно: каждая добавляется через + Добавить NLP и настраивается независимо.

Параметры конфигурации:

1. LLM: выберите, какая модель будет обрабатывать запросы этой NLP-конфигурации:
   • по умолчанию доступен выпадающий список LLM, в котором перечислены LLM-модели, уже запущенные на машинах системы (в списке указывается название модели и машина, на которой она развернута);
   • переключатель Вручную позволяет вместо выбора из списка подключить внешний LLM-провайдер напрямую по API. При включенном переключателе становятся доступны поля:
     • Адрес модели — URL-адрес, по которому доступен внешний LLM;
     • Авторизация — заголовок авторизации запроса к внешнему LLM (например, Bearer <ваш_api_key>). Поле не обязательно к заполнению;
     • Движок — тип API внешнего LLM-провайдера (например, vLLM);
     • ID модели — идентификатор модели у внешнего провайдера;
     • Поддержка изображений: включите, если внешняя модель поддерживает обработку изображений;
     • Поддержка размышления: включите, если внешняя модель поддерживает режим размышления.
2. Разрешение изображения, МП — параметр разрешения изображения (в мегапикселях) для NLP-запросов.
   • Рядом расположен флаг Выполнять апскейл: если включён, изображения меньше заданного разрешения увеличиваются (апскейлятся) до него перед обработкой; если выключен, такие изображения обрабатываются в исходном размере.

Файнтюнинг

Сворачиваемый блок на карточке NLP-конфигурации отображает список дообученных моделей, полученных на основе этой конфигурации. Если ни одна модель ещё не обучена, вместо списка отображается текст «Модели не обучаются».

Для исполнителя агентских систем

• Ограничивать CPU — переключатель, включающий ограничение процессорных ресурсов, выделяемых контейнеру исполнителя. При включении задайте:
  • количество используемых ядер CPU;
  • номер ядра, начиная с которого будут выделяться ядра.

Если переключатель выключен, контейнеру доступны все ядра машины.

Для RAG

Embed- и Rerank-модели

• Embed-модель — модель для создания векторных представлений текста, выбирается из выпадающего списка.
• Rerank-модель — модель для повторного ранжирования результатов поиска, выбирается аналогично.

Для каждой модели отдельно задайте Выбор устройства:

• CPU: укажите Кол-во используемых CPU (число ядер, выделяемых для инференса модели).
• CUDA: укажите Кол-во используемых GPU (если модель не помещается в VRAM одной видеокарты), Загруженность видеокарты (процент используемой памяти) и Кол-во памяти от хоста (для слоёв, не поместившихся в VRAM).

Postgres-сервер

Для хранения и управления индексами данных используется база данных Postgres. Два сценария подключения:

1. Автоматическое развертывание: включите переключатель «Запустить postgres сервер», система самостоятельно инициализирует локальный экземпляр БД с необходимыми параметрами.
2. Внешняя база данных: при выключенном переключателе вручную заполните БД (название базы), Хост (сетевой адрес), Порт, Имя пользователя и Пароль.

Логирование

В нижней части блоков AI Текст предусмотрен раздел для работы с логами, который позволяет отслеживать технические процессы в реальном времени.

Вы можете просмотреть логи для следующих компонентов:

• LLM: Журнал работы языковой модели.
• NLP: Журнал работы NLP-конфигурации.
• RAG: Логи системы поиска и генерации ответов на основе внешних данных.
• Исполнитель агентских систем: Журнал выполнения агентских конвейеров.

В интерфейсе доступны кнопки для быстрого копирования содержимого логов в буфер обмена и скачивания лога в виде файла.

Как запустить и остановить модель

Сконфигурируйте модель и нажмите Запустить: начнется пошаговая инициализация (см. Стадии запуска выше). Когда все стадии отмечены галочками, статус сменится на Готова принимать запросы. Если запуск завершился ошибкой, вместо этого статуса появится индикатор ошибки. Наведите на него курсор, чтобы увидеть текст.

Чтобы остановить LLM-модель или NLP-конфигурацию (например, для выключения машины или изменения настроек), нажмите Остановить и дождитесь смены статуса с Запущена на Бездействует.

Область OCR

Отображает список проектов Умного OCR, в которых используется целевая машина, в том случае, если:

• это целевая машина с компонентом OCR;
• это единая целевая машина для AI Текста и OCR.

В противном случае область с проектами OCR будет свернута.

Что дальше

Перейдите к настройке проекта с типом Задачи NLP.