Системные требования
Машина AI Server
Для сервера требуется машина под управлением Astra Linux 1.7+.
| Параметр | Рекомендуемые |
|---|---|
| CPU | x86/x64, 8 ядер (AVX2+) |
| RAM | 8 ГБ |
| Хранилище | 200 ГБ (ОС + базовые данные приложений) Дополнительно: + ~1-2 ГБ для обучения 1 модели; + ~1 ГБ в сутки при обработке 1000 изображений |
Целевая машина с Умным OCR
Описание программных компонентов для целевой машины с Умным OCR вы можете просмотреть здесь.
Для целевой машины с Умным OCR требуется рабочая станция под управлением Astra Linux 1.7+.
| Параметр | Минимальные | Рекомендуемые | Высокопроизводительные |
|---|---|---|---|
| CPU | Intel Core i5 / AMD Ryzen 5 | Intel Core i7/i9 / AMD Ryzen 7/9 | Intel Xeon / AMD EPYC |
| Кол-во физических ядер на 1 агента | 4 (возможно замедление обучения модели) | 8 | 16 |
| RAM | 8 ГБ | 32 ГБ | 64 ГБ |
| Хранилище | 1 ТБ HDD (OS + Data) | 2 ТБ SSD | 2 ТБ NVMe SSD или RAID |
| GPU | - | NVIDIA GPU семейства Ampere (compute capability > 8.0) VRAM > 16 | NVIDIA GPU семейства Ampere (compute capability > 8.0). Например, RTX 3090 |
| CUDA Toolkit | - | > 12.1 | не ниже 12.1 |
Целевая машина с AI Текстом
Для компонента AI Текст используется понятие группа целевых машин — набор сервисов, которые обеспечивают работу LLM-модели в рамках выполнения NLP-задач. В набор сервисов входят Logics-сервер с агентом и LLM-ядро с агентом, которые могут:
- Представлять из себя единственную физическую/виртуальную машину с двумя docker-контейнерами и двумя агентами.
- Располагаться на двух разных машинах — на первой размещается Logics-сервер с агентом сервера; на второй LLM-ядро с агентом LLM-ядра.
Наибольшие требования к производительности предъявляет машина с LLM-ядром, поэтому не рекомендуется размещать на ней другие ресурсоемкие приложения.
Производительность машины с LLM-ядром, которая использует GPU, выше в 30-40 раз.
Для группы целевых машин должны использоваться рабочие станции под управлением Astra Linux. Версии ОС на машинах могут отличаться. Групп машин может быть много, но все группы должны быть настроены одинаково. Минимальные требования к группе машин представлены в таблице ниже.
В таблице указаны требования к Logics-серверу в случае, если он устанавливается на отдельную от LLM-ядра машину. Если Logics-сервер размещен на одной машине с LLM-ядром, требования суммируются.
| Параметр | Машина с Logics-сервером | Машина с LLM-ядром (только Ollama) | Машина с LLM-ядром (CPU, кроме Ollama) | Машина с LLM-ядром (GPU, кроме Ollama) |
|---|---|---|---|---|
| CPU | 4 ядра | 2 ядра | 2 ядра (AVX512) | 8 ядер |
| RAM | 8 ГБ | 16 ГБ | 32 ГБ | 32 ГБ |
| HDD | 50 ГБ | 250 ГБ | 250 ГБ | 250 ГБ |
| GPU | - | Опционально: NVIDIA (≥ 8 ГБ, CUDA toolkit ≥ 12.1) | - | NVIDIA (≥ 24 ГБ, Compute Capability ≥ 8.0, CUDA toolkit ≥ 12.1) |
Единая целевая машина с Умным OCR и AI Текстом
Для единой целевой машины требуется рабочая станция под управлением Astra Linux 1.7+. Минимальные требования к единой машине представлены в таблице:
| Параметр | CPU (только Ollama) | GPU (только Ollama) | CPU (кроме Ollama) | GPU (кроме Ollama) |
|---|---|---|---|---|
| CPU | 16 ядер | 14 ядер | 24 ядра / 48 виртуальных ядер (AVX512) | 16 физических ядер / 32 виртуальных ядра |
| RAM | 32 ГБ | 48 ГБ | 64 ГБ | 64 ГБ |
| HDD | 2 ТБ SSD | 2 ТБ SSD | 2 ТБ SSD | 2 ТБ SSD |
| GPU | - | NVIDIA (≥ 8 ГБ, CUDA toolkit ≥ 12.1) | - | NVIDIA (≥ 24 ГБ, Compute Capability ≥ 8.0, CUDA toolkit ≥ 12.1) |
Примечание по экономии лицензий агентов. При установке целевой машины Умного OCR через Docker, агент внутри контейнера будет использовать отдельную лицензию. Если необходимо установить компоненты целевых машин Умного OCR и NLP на одну машину, чтобы оптимизировать количество лицензий на агентов, воспользуйтесь вариантами установки целевой машины Умного OCR без Docker.