Системные требования
Машина сервера
Для сервера требуется машина под управлением Astra Linux 1.7+ со следующими параметрами:
| Параметр | Рекомендуемые |
|---|---|
| CPU | x86/x64, 8 ядер (AVX2+) |
| RAM | 8 ГБ |
| Хранилище | 200 ГБ (ОС + базовые данные приложений) Дополнительно: + ~1-2 ГБ для обучения 1 модели; + ~1 ГБ в сутки при обработке 1000 изображений |
Целевая машина с Умным OCR
Примечание. Описание программных компонентов для целевой машины с Умным OCR вы можете просмотреть здесь.
Для целевой машины с Умным OCR требуется рабочая станция под управлением Astra Linux 1.7+.
| Параметр | Минимальные | Рекомендуемые | Высокопроизводительные |
|---|---|---|---|
| CPU | Intel Core i5 / AMD Ryzen 5 | Intel Core i7/i9 / AMD Ryzen 7/9 | Intel Xeon / AMD EPYC |
| Кол-во физических ядер на 1 агента | 4 (возможно замедление обучения модели) | 8 | 16 |
| RAM | 8 ГБ | 32 ГБ | 64 ГБ |
| Хранилище | 1 ТБ HDD (OS + Data) | 2 ТБ SSD | 2 ТБ NVMe SSD или RAID |
| GPU | - | NVIDIA GPU семейства Ampere (compute capability > 8.0) VRAM > 16 | NVIDIA GPU семейства Ampere (compute capability > 8.0). Например, RTX 3090 |
| CUDA Toolkit | - | > 12.1 | не ниже 12.1 |
Целевая машина с NLP
Группа целевых машин NLP — это набор сервисов, обеспечивающих работу LLM-модели в рамках выполнения NLP-задач.
В набор входят 4 сервиса, Logics-сервер с агентом и LLM-ядро с агентом, которые могут:
- Представлять из себя единственную физическую/виртуальную машину с двумя docker-контейнерами и двумя агентами.
- Располагаться на двух разных машинах — на первой размещается Logics-сервер с агентом сервера; на второй LLM-ядро с агентом LLM-ядра.
Наибольшие требования к производительности предъявляет машина с LLM-ядром, поэтому не рекомендуется размещать на ней другие ресурсоёмкие приложения. Производительность машины с LLM-ядром, которая использует GPU, выше в 30-40 раз.
Для группы целевых машин следует использовать рабочие станции под управлением Astra Linux. Версии ОС на целевых машинах могут отличаться. Групп целевых машин NLP может быть много, но все группы должны быть настроены одинаково. Подробные требования к группе машин представлены в таблице ниже.
В таблице указаны требования к Logics-серверу в случае, если он устанавливается на отдельную от LLM-ядра машину. Если Logics-сервер размещен на одной машине с LLM-ядром, требования суммируются.
| Параметр | Машина с Logics-сервером | Машина с LLM-ядром (CPU) | Машина с LLM-ядром (CPU), модель base-LLM-04 | Машина с LLM-ядром (GPU) |
|---|---|---|---|---|
| CPU | 4 ядра | 2 ядра (AVX512) | 12 ядер (AVX512) | 8 ядер |
| RAM | 8 ГБ | 32 ГБ | 32 ГБ | 32 ГБ |
| HDD | 50 ГБ | 250 ГБ | 250 ГБ | 250 ГБ |
| GPU | - | - | - | NVIDIA с памятью не менее 20 ГБ, поколение Compute Capability не ниже 8.0 |
| CUDA toolkit | - | - | - | не ниже 12.1 |
Единая целевая машина с Умным OCR и NLP
Для единой целевой машины требуется рабочая станция под управлением Astra Linux 1.7+.
| Параметр | CPU | GPU |
|---|---|---|
| CPU | 24 физических ядра / 48 виртуальных ядер (AVX512) | 16 физических ядер / 32 виртуальных ядра |
| RAM | 64 ГБ | 64 ГБ |
| HDD | 2 ТБ SSD | 2 ТБ SSD |
| GPU | - | NVIDIA с памятью не менее 20 ГБ, поколение Compute Capability не ниже 8.0 |
| CUDA toolkit | - | не ниже 12.1 |
Примечание по экономии лицензий агентов. При установке целевой машины Умного OCR через Docker, агент внутри контейнера будет использовать отдельную лицензию. Если необходимо установить компоненты целевых машин Умного OCR и NLP на одну машину, чтобы оптимизировать количество лицензий на агентов, воспользуйтесь вариантами установки целевой машины Умного OCR без Docker.