Перед установкой
В этом разделе приведены общие сведения о программных компонентах для группы целевых машин с NLP и системные требования к таким машинам.
Общие сведения
Компоненты Primo.AI.Api и их связи с NLP-компонентом AI Текст приведены на схеме ниже:
Группа целевых машин NLP — набор из 4 сервисов, обеспечивающих работу LLM-модели в рамках NLP-задач. Состоит из Logics-сервера с агентом и LLM-ядра с агентом.
Агент Logics-сервера — self-hosted веб-приложение, REST API. Управляет Logics-сервером, а также агентом LLM-ядра. Лицензируется (требует 1 лицензии на Агента Primo RPA AI Server). Выполнено как NET8-приложение, которое размещено на той же физической или виртуальной машине-хосте, что и контейнер Logics-сервера.
Logics-сервер — python-приложение, логическая обвязка вокруг LLM-ядра. Размещено в отдельном docker-контейнере на той же физической или виртуальной машине-хосте, что и его агент Logics-сервера.
Агент LLM-ядра — self-hosted веб-приложение, REST API. Управляет LLM-ядром. Выполнено как NET8-приложение, которое размещено на той же физической или виртуальной машине-хосте, что и контейнер LLM-ядра.
LLM-ядро — python-приложение, обеспечивающее работу LLM-модели. Тип ядра определяется полем Движок в Портале. Размещено в отдельном docker-контейнере на той же физической или виртуальной машине-хосте, что и агент LLM-ядра.
Группа целевых машин NLP может представлять из себя как единственную физическую или виртуальную машину с 2 docker-контейнерами и 2 агентами, так и располагаться на 2 разных машинах. При этом наибольшие требования к производительности предъявляет машина с LLM-ядром. Не рекомендуется размещать на машине с LLM-ядром другие ресурсоёмкие приложения. Групп целевых машин NLP может быть много. Все группы целевых машин NLP должны быть настроены одинаково, и на каждой целевой машине должен быть развернут агент. Версии ОС на целевых машинах могут отличаться.
Порт 44392, указанный на схеме выше, используется при настройке конфигурационных файлов агента и открытия портов на файерволе (в том числе аппаратном в сети организации).
Для настройки группы целевых машин NLP нужна чистая машина с ОС Linux (обязательно с последними обновлениями). На машину необходимо скопировать папку с комплектом поставки. Это может быть любая папка, но для определенности пусть будет папка /srv/samba/shared/install*.
Для настройки группы целевых машин NLP требуется последовательно выполнить все шаги настоящего руководства.
*Сетевая папка, доступная с машины, на которой размещен комплект поставки.
Системные требования
Для группы целевых машин NLP следует использовать рабочие станции под управлением Astra Linux, к которой предъявляются требования из таблицы ниже.
| Параметр | Машина с Logics-сервером | Машина с LLM-ядром (только Ollama) | Машина с LLM-ядром (CPU, кроме Ollama) | Машина с LLM-ядром (GPU, кроме Ollama) |
|---|---|---|---|---|
| CPU | 4 ядра | 2 ядра | 2 ядра (AVX512) | 8 ядер |
| RAM | 8 ГБ | 16 ГБ | 32 ГБ | 32 ГБ |
| HDD | 50 ГБ | 250 ГБ | 250 ГБ | 250 ГБ |
| GPU | - | Опционально: NVIDIA (≥ 16 ГБ, CUDA toolkit ≥ 12.1) | - | NVIDIA (≥ 24 ГБ, Compute Capability ≥ 8.0, CUDA toolkit ≥ 12.1) |
Мультимодальные модели (обработка изображений) на текущий момент доступны только с LLM-ядром vLLM.
Перед установкой компонентов целевой машины c LLM-ядром vLLM/llama-cpp-python проверьте наличие инструкций AVX512 процессора.
Проверить наличие инструкций AVX2/AVX512 можно командой:
grep avx /proc/cpuinfoЕсли в выводе содержатся только AVX2-инструкции, обработка запросов моделью будет замедлена в разы, или, в зависимости от модели, невозможна. Если в выводе отсутствуют даже AVX2-инструкции, работа с LLM-моделями будет невозможна.
Что дальше
Выполните установку Docker на каждую целевую машину из группы:
После чего можете переходить к установке агента.