Выбор модели и настройка ее навыков

Создайте проект с типом NLP-задачи.

После создания проекта автоматически откроется страница настройки. Ваша цель — настроить навыки большой языковой модели и привязать их к одной или нескольким целевым машинам, на которых она будет использоваться.

На рисунке отмечены:

• 1 — Вкладка Настройка, которая по умолчанию открывается при переходе в NLP-проект и содержит настройки проекта.
• 2 — Вкладка Тестирование, которая позволяет отправлять тестовые запросы на целевую машину с запущенной моделью. На вкладке можно просматривать ответы и корректировать поведение модели при необходимости. Вкладка недоступна, пока не выполнены настройки в областях 3-4.
• 3 — Область, где выбираются целевые машины для обслуживания навыков модели.
• 4 — Область выбора навыков, которыми должна обладать модель. Навыки определяют, какие NLP-задачи будет способна решать модель.

Общая информация

Навыки, которые вы назначите модели, обслуживаются целевой машиной, на которой запущена базовая LLM-модель.

• Целевая машина — логическая сущность в AI Server, которая в контексте компонента AI Текст представляет собой физическую или виртуальную машину сервера (или группу машин) с набором сервисов. Сервисы обеспечивают работу LLM-модели и включают в себя: Logics-сервер с агентом и LLM-движок с агентом. Агенты управляет моделью: запускают, настраивают, останавливают модель, отправляют запросы от сервера. Чтобы модель целевой машины была готова обслуживать навыки и обрабатывать NLP-запросы, ее требуется предварительно сконфигурировать и запустить на машине.
• Базовая модель — это предобученная на большом количестве данных модель, которая работает на определенном LLM-движке и запускается на целевой машине. Базовые модели входят в комплект поставки LLM-движка, а также, при желании, могут быть добавлены вручную администратором.
• LLM-движок — это LLM-ядро, которое обеспечивает работу модели на целевой машине. На текущий момент в AI Server доступны следующие движки:
  • Ollama — модель на этом движке возможно запускать на низкопроизводительной целевой машине.
  • vLLM — модель на этом движке требуется запускать на машине с графической картой или высокопроизводительном CPU.
  • llama-cpp-python — модель на этом движке требуется запускать на машине с графической картой или высокопроизводительном CPU.
• Навык — это способность языковой модели выполнять определенные задачи, связанные с обработкой текста или изображения. Навыки модели работают в связке с ключом маршрутизации, файлом контекста и системным промптом.
  • Ключ маршрутизации — уникальный ключ, с помощью которого сервер определяет, каким навыком должен быть обработан поступивший запрос к модели. Все ключи маршрутизации из поставки имеют предустановленный Файл с контекстом (.json).
  • Файл контекста — json-файл с примерами запросов и ответов, который подсказывает модели, как ей работать с запросами. Контекст помогает модели генерировать более релевантные и точные ответы.
  • Системный промпт — позволяет на системном уровне определить поведение модели. Для каждого навыка предзадан промт по умолчанию, в котором прописана роль, задачи и формат ответа модели. Вы имеете право переопределять промпт.

Область выбора навыков

Чтобы добавить навык модели:

1. Нажмите Добавить навык.

2. Из списка навыков выберите значение:

   • Классификация — ответ на запрос из заранее определенного списка вариантов ответов.
   • Суммаризация — краткое изложение текста с акцентом на определенные темы.
   • Экстракция — извлечение из текста информации по заданным ключам поиска.
   • Генерация — создание нового текста по заданным параметрам.
   • OCR — распознавание текста на изображении. С этим навыком могут работать только мультимодальные модели.

3. В параметре Ключ маршрутизации укажите название ключа для маршрутизации запросов. Ключ должен быть уникальным для каждого навыка.

4. После выбора ключа автоматически подставится Файл с контекстом (.json), если он был предустановлен для этого ключа. Доступные действия (отображаются в виде значков):

   • загрузить файл — в случае, если он не был предустановлен;
   • скачать файл для просмотра;
   • заменить предустановленный файл другим файлом;
   • отредактировать файл с контекстом, который вы загрузили вместо предустановленного файла;
   • восстановить предустановленный файл в случае, если вы его заменили.

   

5. В поле Системный промпт отображается текстовая инструкция, определяющая базовое поведение модели. При нажатии карандаша вы сможете просмотреть текст инструкции или переопределить его. Если текст был изменен, но вы захотели вернуться к промпту по умолчанию, нажмите значок круговой стрелки

   

Дополнительные навыки добавляются аналогично действиям выше.

Область выбора целевых машин

В проекте можно использовать одну или несколько целевых машин для обслуживания навыков модели. Для выполнения запросов машина должна иметь активную лицензию агента, быть разблокированной и доступной — иметь подключение к сети.

Чтобы привязать проект к нужной машине, включите параметр Использовать в проекте.

Что дальше

Перейдите на вкладку Тестирование, чтобы проверить качество ответов модели.