Работа с типом проекта NLP-задачи

Введение

Тип проекта NLP-задачи используется для обработки данных с помощью больших языковых моделей (LLM). Такие проекты подходят для работы как с текстом на естественном языке, так и с изображениями документов, где необходимо распознавать текст.

Терминология

• Целевая машина — объект AI Server, который в контексте компонента AI Текст представляет собой физическую или виртуальную машину (или группу машин) с набором сервисов. Сервисы обеспечивают работу модели и состоят из NLP-сервера с агентом и LLM-движка с агентом.

  Агенты управляет моделью: запускают, настраивают, останавливают, отправляют запросы от сервера. Чтобы модель целевой машины была готова обслуживать навыки и обрабатывать NLP-запросы, для неё требуется предварительно настроить и запустить сервис проекта .

• Базовая модель — это предобученная на большом количестве данных модель, которая работает на определенном LLM-движке и запускается на целевой машине. Базовые модели входят в комплект поставки LLM-движка, или получены в результате файнтюнинга.

  ℹ️

  При необходимости могут быть добавлены вручную  администратором.

• LLM-движок — это LLM-ядро, которое обеспечивает работу модели на целевой машине. На текущий момент в AI Server доступны следующие движки:

• Ollama — модель на этом движке возможно запускать на низкопроизводительной целевой машине.

• vLLM — модель на этом движке требуется запускать на машине с графической картой или высокопроизводительном CPU.

• Навык — это способность языковой модели выполнять определенные задачи, связанные с обработкой текста или изображения. Навыки модели работают в связке с сущностями:

• Ключ маршрутизации — уникальный ключ , с помощью которого сервер определяет, каким навыком должен быть обработан поступивший запрос к модели. Все ключи маршрутизации из поставки имеют предустановленный Файл с контекстом (.json).

• Файл контекста — json-файл с примерами запросов и ответов, который подсказывает модели, как работать с запросами. Контекст помогает модели генерировать более релевантные и точные ответы.

• Системный промпт — определяет на системном уровне поведение модели. Для каждого навыка предзадан промт по умолчанию, в котором прописана роль, задачи и формат ответа модели. Вы имеете право переопределить текст промпта.

• Файнтюнинг — дополнительное обучение предварительно обученной модели на пользовательском датасете для адаптации под конкретные задачи и улучшения качества ответов.

Основные разделы проекта

На странице проекта отображаются три ключевых раздела. Каждый отвечает за свою часть настройки и работы модели.

Навыки

В разделе  настраиваются конкретные задачи, которые будет выполнять модель. Можно создавать один или несколько навыков; модель будет выполнять их по выбранному ключу маршрутизации.

Использование

В разделе  настраивается и запускается собственный сервис проекта (один на проект). Здесь выбирается машина и модель (LLM), которую будет использовать сервис, отображается его текущее состояние и логи, а также отсюда открывается редактор файнтюнинга.

Тестирование

Раздел  предназначен для ручной проверки навыков проекта. На этой странице осуществляется Промпт-инжиниринг – процесс подбора промптов, файлов контекста, параметров запросов для использования в навыках.

После отправки запрос будет обработан по выбранным параметрам.