Работа с типом проекта NLP-задачи

Введение

Тип проекта NLP-задачи используется для обработки данных с помощью больших языковых моделей (LLM). Такие проекты подходят для работы как с текстом на естественном языке, так и с изображениями документов, где необходимо распознавать текст.

Терминология

• Целевая машина — объект AI Server, который в контексте компонента AI Текст представляет собой физическую или виртуальную машину (или группу машин) с набором сервисов. Сервисы обеспечивают работу модели и состоят из NLP-сервера с агентом и LLM-движка с агентом.

  Агенты управляет моделью: запускают, настраивают, останавливают, отправляют запросы от сервера. Чтобы модель целевой машины была готова обслуживать навыки и обрабатывать NLP-запросы, ее требуется предварительно сконфигурировать и запустить  на машине.

• Базовая модель — это предобученная на большом количестве данных модель, которая работает на определенном LLM-движке и запускается на целевой машине. Базовые модели входят в комплект поставки LLM-движка, или получены в результате файнтюнинга.

  ℹ️

  При необходимости могут быть добавлены вручную  администратором.

• LLM-движок — это LLM-ядро, которое обеспечивает работу модели на целевой машине. На текущий момент в AI Server доступны следующие движки:

• Ollama — модель на этом движке возможно запускать на низкопроизводительной целевой машине.

• vLLM — модель на этом движке требуется запускать на машине с графической картой или высокопроизводительном CPU.

• Навык — это способность языковой модели выполнять определенные задачи, связанные с обработкой текста или изображения. Навыки модели работают в связке с сущностями:

• Ключ маршрутизации — уникальный ключ , с помощью которого сервер определяет, каким навыком должен быть обработан поступивший запрос к модели. Все ключи маршрутизации из поставки имеют предустановленный Файл с контекстом (.json).

• Файл контекста — json-файл с примерами запросов и ответов, который подсказывает модели, как работать с запросами. Контекст помогает модели генерировать более релевантные и точные ответы.

• Системный промпт — определяет на системном уровне поведение модели. Для каждого навыка предзадан промт по умолчанию, в котором прописана роль, задачи и формат ответа модели. Вы имеете право переопределить текст промпта.

• Файнтюнинг — дополнительное обучение предварительно обученной модели на пользовательском датасете для адаптации под конкретные задачи и улучшения качества ответов.

Основные разделы проекта

На странице проекта отображаются четыре ключевых раздела. Каждый отвечает за свою часть настройки и работы модели.

Модели

В разделе  отображается список доступных моделей LLM.

После выбора модель становится активной для выполнения всех навыков проекта.

Навыки

В разделе  настраиваются конкретные задачи, которые будет выполнять модель.

Можно создавать один или несколько навыков; модель будет выполнять их по выбранному ключу маршрутизации.

Использование

Раздел  отображает, какие машины доступны для использования в проекте.

В этом разделе можно выбрать оптимальное оборудование для выполнения запросов в рамках бизнес-процесса.

При обработке запроса учитывается, какие модели запущены на выбранных в проекте машинах в момент выполнения запроса. Несовместимые машины использованы не будут. Если на всех выбранных машинах модель не соответствует модели проекта и не совместима с ней, запросы обработаны не будут.

Критерий определения совместимости: используемая модель должна обладать всеми возможностями, что и модель проекта. Например, если модель проекта требует обработки изображений, а используемая на машине модель не мультимодальная, то она считается несовместимой.

Тестирование

Раздел  предназначен для ручной проверки навыков проекта. На этой странице осуществляется Промпт-инжиниринг – процесс подбора промптов, файлов контекста, параметров запросов для использования в навыках.

После отправки запрос будет обработан по выбранным параметрам.