Установка агента LLM-ядра

Файлы из комплекта поставки

Скопируйте на целевую машину файлы, приведенные в таблице ниже — они находятся в комплекте поставки Primo RPA AI Server. Остальное ПО должно быть предустановлено в Astra Linux.

Файл	Описание
`distr/Agent.NlpEngine-linux.zip`	Дистрибутив агента LLM-ядра

Установка агента

Настройка учетной записи

Для работы агента создайте группу primo-ai и учетную запись agent.


sudo groupadd primo-ai


sudo useradd -g primo-ai -m -s /bin/bash agent

Установка и настройка агента

Разверните файлы агента на целевой машине. Файл Agent.NlpEngine-linux.zip должен находиться в каталоге /srv/samba/shared/install:


sudo mkdir -p /app/Primo.AI /app/Primo.AI/Agent.NlpEngine /app/Primo.AI/Agent.NlpEngineData


sudo unzip /srv/samba/shared/install/Agent.NlpEngine-linux.zip -d /app/Primo.AI/Agent.NlpEngine


sudo chmod -R 771 /app/Primo.AI/Agent.NlpEngine /app/Primo.AI/Agent.NlpEngineData


sudo chown -R agent:primo-ai /app/Primo.AI/Agent.NlpEngine /app/Primo.AI/Agent.NlpEngineData /app/Primo.AI/Agent.NlpEngine

Установите агент как службу и настройте автозапуск:


sudo cp /app/Primo.AI/Agent.NlpEngine/Primo.AI.Agent.NlpEngine.service /etc/systemd/system/


sudo systemctl daemon-reload


sudo systemctl enable /etc/systemd/system/Primo.AI.Agent.NlpEngine.service

В конфигурационном файле appsettings.ProdLinux.json укажите:

UserName — логин учетной записи агента.
Password — пароль от учетной записи агента.
Адрес Primo.AI.Api и его компонентов.


 	"Api": {
    		"UserName": "agent",
    		"Password": "Xxxxxxxxxxxx",

    		"AuthBaseUrl": "https://primo-ai-api-server:44392",
    		"ApiBaseUrl": "https://primo-ai-api-server:44392",
    		"InferenceBaseUrl": "https://primo-ai-api-server:44392",
    		"LogsBaseUrl": "https://primo-ai-api-server:44392",
  },

Укажите соответствующие имена образа и контейнера LLM-движка в ключе NlpProcess > EnginesDockerRun > Xxxxx:


      "EnginesDockerRun": {
         "Vllm": {
            "ImageName": "primo-rpa/ai-server-vllm-cpu:1.25.4.1", // для GPU имя образа отличается
            "ContainerName": "vllm",
            "Port": 8000, 
	        "Subnet": "agent_ai" // объявляется в docker-compose-файле logics-сервера
         },
         "LlamaCppPython": {
           "ImageName": "primo-rpa/ai-server-llama-cpp-python-cpu:1.25.4.1", // для GPU имя образа отличается
           "ContainerName": "llama",
           "Port": 8003,
           "Subnet": "agent_ai" // объявляется в docker-compose-файле logics-сервера
         },
         "Ollama": {
           "ImageName": "primo-rpa/ai-server-ollama:1.25.4.1",
           "ContainerName": "ollama",
           "Port": 8004, 
           "Subnet": "agent_ai", // объявляется в docker-compose-файле logics-сервера
           "PostRunCommands": [
             "ln {modelFilePath} {blobFilePath}",
             "ollama create {modelId} -f {modelMetaFilePath}",
             "ollama run {modelId}"
           ]
         }
      }

Если LLM-ядро расположено на отдельной от Logics-сервера машине, создайте подсеть agent_ai вручную:


docker network create -d bridge agent-ai

Запустите службы:


sudo systemctl start Primo.AI.Agent.NlpEngine

Проверьте статус службы:


sudo systemctl status Primo.AI.Agent.NlpEngine

Просмотрите журнал службы:


sudo journalctl -u Primo.AI.Agent.NlpEngine

Настройка правила брандмауэра ufw

Для разрешения доступа к API агента выполните команду:


sudo ufw allow 5005/tcp

Что дальше

Выполните установку LLM-ядра на текущей машине.

LLM-ядро