Селектор LLM (LLM Selector)

Описание

Компонент LLM Selector направляет запросы к наиболее подходящей языковой модели (LLM) на основе спецификаций моделей OpenRouter.

Как это работает

Подключение моделей: Для использования в потоке вы подключаете несколько компонентов языковых моделей к LLM Selector.
Роль судьи (Judge LLM): Одна из моделей назначается «судьей». Она анализирует входящие сообщения, чтобы понять контекст оценки, и выбирает наиболее подходящую модель из доступного пула подключенных LLM.
Маршрутизация и ответ: «Судья» перенаправляет запрос выбранной модели, которая обрабатывает входные данные и возвращает сгенерированный ответ.

Пример использования

В типичном потоке может быть три компонента языковых моделей:

Один служит судьей.
Два других составляют пул моделей для маршрутизации.

Компоненты ввода и вывода создают единый чат-интерфейс, где пользователь отправляет сообщение и получает ответ, даже не подозревая о том, что за кулисами произошел автоматический выбор оптимальной модели.

component22

Параметры компонента

Некоторые параметры по умолчанию скрыты в визуальном редакторе. Вы можете изменить все параметры через меню Controls (Управление) в заголовке компонента.

Название (Name)	Отображаемое имя	Описание (Info)
`models`	Language Models	Входной параметр. Подключите выходы нескольких компонентов Language Model, чтобы создать пул моделей. «Судья» (`judge_llm`) выбирает модель из этого пула при маршрутизации запросов. Первая подключенная модель становится моделью по умолчанию в случае проблем с выбором или маршрутизацией.
`input_value`	Input	Входной параметр. Входящий запрос, который будет направлен модели, выбранной «судьей».
`judge_llm`	Judge LLM	Входной параметр. Подключите выход одного компонента Language Model, который будет выполнять роль «судьи» для маршрутизации запросов.
`optimization`	Optimization	Входной параметр. Установите предпочтительную характеристику для выбора модели: `quality` (максимальное качество), `speed` (минимальное время ответа), `cost` (самая экономичная модель) или `balanced` (равный вес для всех характеристик). По умолчанию: `balanced`.
`use_openrouter_specs`	Use OpenRouter Specs	Входной параметр. Определяет, нужно ли запрашивать спецификации моделей через OpenRouter API. Если `false`, «судье» предоставляется только название модели. По умолчанию: Включено (`true`).
`timeout`	API Timeout	Входной параметр. Время ожидания (в секундах) для API-запросов, выполняемых роутером. По умолчанию: 10.
`fallback_to_first`	Fallback to First Model	Входной параметр. Использовать ли первую LLM из пула models в качестве резервной, если маршрутизация до выбранной модели не удалась. По умолчанию: Включено (`true`).