Пакетный запуск (Batch Run)

Описание

Компонент Batch Run последовательно запускает языковую модель для каждой строки одного текстового столбца в таблице (DataFrame), а затем возвращает новую таблицу с исходным текстом и ответами LLM.

Результирующая таблица содержит следующие столбцы:

• text_input: Исходный текст из входного DataFrame.
• model_response: Ответ модели для каждой входной строки.
• batch_index: Порядковый индекс обработки строк в DataFrame (начиная с 0).
• metadata (опционально): Дополнительная информация о процессе обработки.

Использование в потоке

Если передать результат Batch Run в компонент Parser, вы сможете использовать переменные в шаблоне парсинга для обращения к ключевым полям, таким как {text_input} и {model_response}.

Шаги настройки

1. Соедините любой компонент языковой модели с портом Language model компонента Batch Run.

2. Подключите выход DataFrame от другого компонента (например, Read File с CSV-файлом) к входу DataFrame компонента Batch Run.

3. В поле Column Name компонента Batch Run введите имя столбца из вашей таблицы, который содержит текст для обработки.

   • Например, если вы хотите извлечь текст из столбца name, введите name в это поле.

4. Подключите выход Batch Results компонента Batch Run к входу DataFrame компонента Parser.

5. Настройте системное сообщение (опционально):

   • В меню заголовка Batch Run нажмите Controls, включите параметр System Message.
   • Введите инструкцию для LLM (например: «Создай визитную карточку для каждого имени»).

6. В поле Template компонента Parser введите шаблон для обработки новых колонок (text_input, model_response, batch_index).

   • Пример шаблона: record_number: {batch_index}, name: {text_input}, summary: {model_response}.

Тестирование

Чтобы проверить результат, выберите компонент Parser, нажмите Run component, а затем Inspect output для просмотра итоговой таблицы.

Вы также можете подключить компонент Chat Output к парсеру, чтобы увидеть результат в Playground.

Параметры компонента

Некоторые параметры по умолчанию скрыты в визуальном редакторе. Вы можете изменить все параметры через меню Controls (Управление) в заголовке компонента.