Пошаговое руководство

Настоящее руководство по шагам опишет базовый алгоритм для обучения языковой модели.

1. Перейдите в раздел Проекты.
2. Создайте проект AI Текст -> Задачи NLP.
3. В разделе Модели перейдите в редактор Файнтюнинга (Файнтюнинг моделей” -> Перейти в редактор)
4. Выберите базовые параметры:
   • Базовая модель: выберите любую доступную модель из списка. Модели сгруппированы по провайдеру (например, vLLM, Ollama) и типу задачи (например, Текст, Изображения / текст).
   • Наименование модели: укажите, как будет называться модель.
   • Целевая машина: выберите машину со свободной GPU.
5. Сбалансируйте датасет.
   • Загрузите xlsx-файл с данными, содержащими запрос к модели и правильный ответ на него.
   • Сконфигурируйте балансировку: нажмите на иконку карандаша, укажите input_col (имя столбца с запросом к модели), output_col (имя столбца с ответом модели) и sheet_name (имя листа, на котором находятся эти два столбца). Остальные значения можно оставить стандартными.
   • Нажмите Сбалансировать
   • Дождитесь результатов балансировки.
6. Укажите параметры файнтюнинга. Для первого попытки можно оставить стандартные значения.
7. Нажмите Запустить.
8. Дождитесь завершения процесса.
   • Оцените параметры, указанные в таблице: acc (точность), loss (потери), f1_macro (отражает точность без учета веса класса).
   • Оцените Результат - процент ошибок, галлюцинаций.
9. Если результаты процесса неудовлетворительные, измените параметры и повторите процесс.
   • Получите 2-ю, 3-ю и последующие версии модели, пока не достигните целевых показателей
   • Менять можно как исходный несбалансированный датасет, параметры балансировки, базовую модель, параметры файнтюнинга, включая шаблон запроса и квантизацию
   • Сравнивайте результаты между собой бегло по таблице
   • Выбирайте запись в таблице, чтобы детально оценить версию модели
10. Когда получены потребные показатели модели, нажмите “+” (добавить в каталог).
11. Дождитесь добавления модели в каталог.
12. Вернитесь в раздел Модели проекта.
13. Выберите модель с меткой “ФТ”.
14. Перейдите в раздел Навыки.
15. Создайте навык Файнтюнинг.
16. Перейдите в раздел Использование.
17. Выберите наиболее подходящую по конфигурации машину.
18. Перейдите в раздел Машины.
19. Выберите модель по имени, указанному в п.3, и нажмите кнопку Использовать.
20. Вернитесь в проект.
21. Перейдите в раздел Тестирование.
22. Вставьте в поле Текст для обработки любое значение запроса к модели, которое нужно обработать (например, из столбца input_col в несбалансированном датасете).
23. Нажмите кнопку Отправить и дождитесь ответа модели.
24. Убедитесь, что модель генерирует ответ в виде кода, который затем преобразуется в класс из предоставленного датасета (столбец output_col).
25. При необходимости вернитесь к процессу файнтюнинга модели, чтобы получить более высокие показатели точности.
26. Удалите лишние модели из хранилища на Целевой машине, нажав соответствующую иконку в Редакторе файнтюнинга.