AI Server 1.26.8.3
Новый функционал
- Добавлены параметры модели для внешней LLM: Обработка изображений (
ImageProcessing) и Рассуждение (Thinking). Позволяют явно указать, поддерживает ли подключённая внешняя модель vision-запросы и режим рассуждений — ранее эти возможности были доступны только для встроенных моделей.
Улучшения
- Оптимизирована обработка изображений в NLP: снято минимальное ограничение на размер изображения (
VISION_MIN_IMAGE_PIXELS), что устраняет принудительное увеличение мелких изображений и повышает скорость обработки. - Реализован единый механизм прогрева и оценки токенов для всех LLM-движков за прокси.
- Добавлена поддержка авторизации при работе с LLM через API-ключ (
LLM_API_KEY).
Инструкция по обновлению AI Server
Last updated on