Выбор модели и настройка файнтюнинга

Описание

alt Раздел показывает доступные модели и их характеристики, а также содержит блок для перехода к файнтюнингу. Здесь можно просмотреть каталог моделей и сравнить их возможности.

Назначение модели

В разделе Модели отображается список доступных больших языковых моделей (LLM).

ℹ️

В списке не отображаются модели, полученные в результате файнтюнинга в других проектах.

Каждая модель имеет свои характеристики: тип движка, размер, возможности (рассуждение или обработка изображений) и параметры квантизации.

Выбор базовой модели

В поставке AI Server доступны модели:

Название модели	Движок / Размер	Тип	Описание
`base-LLM-01-7b-safetensors-fp16`	vLLM, 7B	Текстовая	Формат safetensors fp16. Обновлённая версия (ранее: `base`-`LLM`-`01`).
`base-LLM-01-7b-gguf-q8`	Ollama, 7B	Текстовая	Квантование `GGUF q8`. Оптимизирована для слабых машин (ранее: `base-LLM-02`).
`base-LLM-06-7b-gguf-q8`	Ollama, 7B	Мультимодальная	Квантование `GGUF q8`. Поддерживает текст и изображения, используется как ViT (ранее: `base-LLM-05`).
`base-LLM-06-7b-safetensors-fp16`	vLLM, 7B	Мультимодальная	Формат `safetensors fp16`. Рекомендуется для работы с изображениями и ViT (ранее: `base-LLM-06`).
`base-LLM-07-8b-safetensors-fp16`	vLLM, 8B	Текстовая	Формат `safetensors fp16`. Дополнительно обучена на фактах русской культуры (ранее: `base-LLM-07`).
`base-LLM-06-7b-gguf-fp16`	GGUF FP16, 7B	Мультимодальная	Поддерживает изображения (ММ).
`base-LLM-08-27b-gguf-q4_k_m`	27B	Мультимодальная	Квантование `q4_k_m`. Поддержка изображений (ММ).
`base-LLM-09-30b-gguf-q4_k_m`	30B	Reasoning	Квантование `q4_k_m`. Оптимизирована под рассуждения.
`base-LLM-06-32b-gguf-q4_k_m`	32B	Мультимодальная	Оптимизирована под обработку изображений.
`base-LLM-10-4b-gguf-fp16`	4B	Для FT	Компактная модель для файнтюнинга.

Файнтюнинг моделей

alt

Файнтюнинг позволяет адаптировать базовую языковую модель под конкретную задачу (в релизе 1.25.11 под задачу классификации)

Для использования выберите нужную модель и нажмите Перейти редактор:

alt

Настройка параметров модели

В данном разделе отображаются параметры:

Параметр	Описание
Базовая модель	Выбор модели, на основе которой выполняется обучение. ℹ️ В большинстве задач используйте модель `base-LLM-10-4b-gguf-fp16`, которая предлагается по умолчанию.
Наименование модели	Название обученной модели, которое появится в списке готовых моделей после завершения файнтюнинга. При запуске использования модели в разделе Машины будет отображаться указанное имя.
Целевая машина	Сервер, на котором выполняется балансировка датасетов и файнтюнинг (дообучение) модели.

Настройка параметров датасета

Этот раздел позволяет подготовить данные для обучения модели и задать правила формирования тренировочного и тестового наборов.

Основные шаги

Загрузите Excel-файл.
Выберите лист Excel в параметре sheet_name. Обработка будет выполняться только с указанной вкладки.
Укажите столбец с данными (input_col), которые соответствуют запросу к модели
Укажите целевую колонку (output_col). Это столбец с корректными метками, по которым модель обучается классифицировать данные.

Автоматически рассчитанные параметры

После загрузки файла система формирует датасеты и отображает:

n_train — количество строк в тренировочной выборке;
n_test — количество строк в тестовой выборке.

Дополнительные настройки

Чтобы изменить или уточнить параметры датасета, откройте режим редактирования (кнопка с карандашом). Здесь доступны:

input_col — столбец таблицы с текстом, который необходимо классифицировать;
output_col — список выходных столбцов. Например, [“Департамент”, “Отдел”] ;
balance_classes — максимальное количество записей в классе (null - без ограничения);
min_train_count — 2, минимальное количество примеров для каждого класса;
rare_to_test_only — отправлять редкие классы только в тест;
remove_long_numeric_tokens — true/false удалять длинные числовые последовательности (номера счетов, телефонов, если они не имеют значения в данной задаче);
max_input_chars — максимальная длина входного текста;
unknown_fill_value — значение для неизвестных меток.

Настройка параметров файнтюнинга

ℹ️

Для пошаговой инструкции перейдите на страницу .

Раздел содержит параметры, которые определяют поведение модели во время обучения:

Параметр	Описание
Максимальная длина последовательности	Количество токенов, которые модель может принять за один пример. • 512 — короткие тексты (запросы, фразы, классификация). • 1024–2048 — длинные описания. Увеличение длины увеличивает использование VRAM GPU.
r-Ранг LoRA-адаптера	Определяет размерность обучаемых матриц поверх базовой модели. • 16 — баланс скорости и качества. • 32 — лучше качество, медленнее дообучение. • 8 — быстрее, качество ниже.
α-коэффициент LoRA-адаптера	Вес влияния обучаемых LoRA-слоёв. Используйте `α=r` (ранг) или `α=2r`(веса обучаемых слоев получают большее влияние).
Размер батча	Количество примеров, обрабатываемых за шаг. Чем больше размер, тем стабильнее обучение, но меньше чувствительность. • 8 — при недостатке памяти. • 16 — оптимально для 7B моделей. • 32 — если хватает GPU.
Количество шагов для аккумуляции градиентов	Увеличивает эффективный батч без роста VRAM. Пример: если `batch` равен 16, а `grad_accum` равен 2, то итоговый батч будет 32
Коэффициент прогрева	Доля эпохи для плавного увеличения learning rate. Обучение в этот начальный период происходит с пониженными значениями LR, что помогает избежать “взрыва” градиентов.
Количество эпох	Сколько раз модель проходит весь датасет. С увеличением растет точность на обучающем датасете, но появляется риск снижения обобщающих способностей (снижение точности на новых данных).
Квантизация	Степень квантизации модели после завершения обучения: • `q4_k_m` - базовая • `q5_k_m` - оптимальное качество/размер • `q6_k` - высокое качество • `q8_0` - высокое качество, большой размер
Learning rate	Скорость обновления весов модели.
Шаблон запроса	Определяет шаблон запроса, который используется при обучении модели. Содержит изменяемую и неизменяемую часть: в изменяемой части при необходимости можно указать контекст, который поможет модели при обучении. неизменяемая часть содержит плейсхолдеры, куда будут вставляться данные из датасета (запрос и предполагаемый ответ модели). Вместе изменяемая и неизменяемая части формируют реальный запрос к модели. После обучения модели, указанный шаблон автоматически подставляется в системное сообщение в навыке Файнтюнинг.

Доступные действия

В нижней части панели находятся кнопки управления:

Сбалансировать — собрать на основе Excel-файла датасеты с учётом указанных параметров.
Скачать архив — загрузить итоги балансировки. Содержат таблицы и графики с распределением классов и другие технические данные..

Результат настройки

Раздел отображает все завершённые и активные сессии файнтюнинга модели.

Таблица результатов

Для каждой сессии отображаются:

time — дата и время запуска обучения.
ver — версия обученной модели.
model — базовая модель, на которой выполнялся файнтюнинг.
epochs — число эпох обучения.
GB — использованная видеопамять.
embs — количество обученных и замороженных эмбеддингов.
lora — конфигурация LoRA (rank / слои).
acc — точность классификации на тестовой выборке.
loss — итоговая функция потерь.
f1_macro — F1-метрика (macro), если доступна.

Блок Результат

Здесь отображается качество работы модели на тестовой выборке:

Всего ошибок — количество примеров, где модель предсказала неверный класс.
Всего галлюцинаций — ответы, не соответствующие заданному формату.
Точность (accuracy) — процент правильных ответов.

Также доступна кнопка Скачать mapping.json, содержащая соответствие между классами и внутренними идентификаторами модели.

Расшифровка результатов файнтюнинга

Этот раздел помогает быстро понять, какие классы предсказываются хуже всего, и какие примеры требуют доработки датасета.

При нажатии Подробнее открывается таблица с детальным анализом каждого тестового примера.

Для каждого промпта отображается:

Промпт — исходный текст.
Ключи — ключи ответа, использованные в задаче.
Что ожидали — правильный класс из обучающих данных.
Что получили — фактический ответ модели.
Ошибка / галлюцинация — пометка, если предсказание неверное или нарушает формат.

После успешной настройки и обучения

готовая модель отображается с пометкой ФТ (Fine-Tuned);
в разделе Навыки автоматически создаётся новый навык, который наследует системный промпт и формат ответа базового навыка, и использует обученную ФТ-модель.

Что дальше

Когда модель выбрана, переходите к следующему шагу: созданию и настройке навыков .