AI Server 1.26.8.0

Улучшения

Машины

• Добавлен виджет мониторинга за ресурсами машины.
• Реализован запуск нескольких LLM на одной машине.
• Обновлён интерфейс страницы Машины.
• Добавлено предупреждение при остановке используемой LLM-конфигурации.
• Добавлено отображение списка LLM-конфигураций на карточке машины.
• Добавлена новая модель в каталог моделей.

NLP

• Реализована поддержка внешних LLM в настройках NLP.
• Разделены процессы NLP-сервера и LLM-ядра на агенте.
• Реализована привязка проекта к конкретному NLP-серверу.
• Добавлена поддержка нескольких параллельных NLP-конфигураций на агенте.
• Добавлен индикатор активности модели на странице Тестирование.
• Добавлена индикация выгрузки модели из GPU в обычную память (offload warning).
• Добавлен флаг Выполнять апскейл в настройки NLP.
• Добавлено определение ориентации изображения в NLP-запросе.
• Кратно увеличена скорость генерации токенов на производительных моделях за счёт оптимизации внутренних взаимодействий в режиме стриминга.
• Оптимизирована синхронизация навыков с Целевыми машинами.

Умный OCR

• Добавлен флаг Выполнять апскейл в настройки распознавания.
• Оптимизировано использование внешних LLM в ViT-механизме.
• Добавлена проверка результатов OCR с определением слов, которые могли быть распознаны с ошибкой, и уровня уверенности по каждому полю.
• Улучшено распознавание структуры таблиц, включая границы ячеек, строки и слабо заметные разделители.
• Добавлено определение цвета печатей, штампов и подписей.
• Ускорена работа Tesseract при обработке документов.
• Уменьшен размер образов сервиса распознавания.

RAG

• Добавлен API для создания, изменения и удаления документов RAG с учётом прав доступа.
• Добавлена поддержка полнотекстового поиска PostgreSQL для всех языков.

API

• Реализован обратный вызов оркестратора по готовности запроса.

Модели

• Добавлена vLLM-версия модели base-LLM-12-35b-safetensors-nfvp4 в каталог моделей.

Пакетная обработка

• Добавлено автоматическое исправление ошибок распознавания, связанных с похожими буквами кириллицы и латиницы.
• Добавлена возможность удалять строки в любом месте таблицы, в том числе с конца.
• Добавлена проверка количества строк и столбцов в таблицах.
• Исправлен выбор значения поля при объединении нескольких страниц в один документ.
• Исправлена потеря полей без текстового значения, например печатей.
• Исправлена ошибка при получении файла документа из пакета при несовпадении его заголовка с настройками.
• Исправлено отображение пустых значений для полей, которые не удалось извлечь.
• Добавлена защита от зависания отдельных шагов обработки.
• Исправлено зависание распознавания при одновременной обработке нескольких файлов.
• Добавлена автоматическая очистка ответов модели от лишней Markdown-разметки.

Исправления

Инференс

• Исправлено зависание запросов в очереди при отмене или ошибках обработки.
• Исправлено переполнение очереди запросов в Мониторинге.
• Сокращено время ожидания ошибки при невозможности запуска LLM.
• Обновлены параметры запуска LLM.
• Исправлено определение цвета печатей на цветных бланках и обработка ячеек с печатями и подписями в Умном OCR.
• Исправлена обработка изображений в RAG.
• Исправлена работа дообученных моделей в NLP.

Инструкция по обновлению AI Server

Обновление 1.26.6.4 → 1.26.8.0 — ограничивается вариантом установки через Docker.