AI Текст
AI Текст — программный компонент, который при помощи больших языковых моделей позволяет решать задачи обработки естественного языка (Natural Language Processing, NLP).
Модель умеет понимать, анализировать и создавать произвольный текст на естественном языке — привычном «человеческом» языке, таком как русский или английский. Способности языковой модели выполнять различные NLP-задачи называются навыками. Количество навыков модели определяется спектром задач, с которыми она работает.
Навыки LLM-моделей
Ниже перечислены предустановленные навыки, которые входят в поставку AI Server и могут использоваться как в базовой конфигурации, так и корректироваться при помощи примеров входных и выходных данных.
Классификация. Модель анализирует входной текст и относит его к одной из известных категорий. Например, вы можете определить, является ли электронное письмо запросом на поддержку, жалобой или предложением. Классификация входящих писем позволит автоматически направлять корреспонденцию в соответствующие отделы.
Экстракция. Модель извлекает из текста информацию по заданным ключам поиска. Ищите ключевые данные в отчетах, договорах, заявках, чтобы быстро оценить ситуацию или выявить распространенные проблемы клиентов.
Суммаризация. Модель кратко излагает текст с акцентом на указанные темы. Вы можете сократить длинные документы без потери ключевой информации и уменьшить время на их анализ. Также навык может использоваться для автоматической обработки резюме, где модель обобщит вывод по каждому кандидату.
Генерация. Модель создает текст на основе заданного описания. Навык может применяться для создания маркетинговых статей или основы для учебных материалов.
Особенности компонента AI Текст
Для защиты чувствительных данных из документов AI Server поддерживает работу в закрытом контуре. Таким образом, для использования моделей нет необходимости подключаться к интернету.
Модели не требуют дополнительного обучения — AI Server поставляется с базовыми LLM-моделями, которые достаточно сконфигурировать и запустить на целевой машине.
Конфигурация навыков обработки текста производится с помощью файла контекста (json). В файл помещают примеры входных и выходных данных, отформатированные в зависимости от решаемой задачи.
Сконфигурированные навыки возможно протестировать до начала использования модели — в интерфейсе AI Server есть удобный инструмент для отправки тестовых запросов и просмотра результатов.
Для использования модели роботами в пакет Primo.AI.Server вошли элементы, способные создавать NLP-запросы. Высокопроизводительный LLM-движок обеспечивает быструю обработку параллельных запросов.
Для использования модели через API доступна спецификация, описанная по стандарту Open API.
Горизонтально масштабировать обработку запросов возможно за счет запуска модели на нескольких целевых машинах с NLP-компонентом.
При получении ответов от модели не взимается плата за токены — достаточно лицензии на сервер и целевые машины с NLP-компонентом.
Дополнительно
Подробную информацию о составе NLP-компонента и его установке на целевую машину (или группу машин) смотрите здесь.
Last updated