Языковая модель (Language Model)

Описание

Компоненты языковых моделей в Langflow генерируют текст, используя указанную большую языковую модель (LLM). Эти компоненты принимают такие входные данные, как сообщения чата, файлы и инструкции, для генерации текстового ответа.

Langflow включает в себя базовый компонент Language Model, который имеет встроенную поддержку многих LLM. Кроме того, вместо базового компонента Language Model вы можете использовать любую дополнительную языковую модель.

Использование компонентов языковых моделей в потоках

Используйте компоненты языковых моделей в любом месте потока, где требуется работа LLM.

Чат (Chat)

Один из самых распространенных вариантов использования — создание чат-ботов.

• Настройка: Добавьте базовый компонент Language Model, введите API-ключ и выберите провайдера. Если нужного провайдера нет в списке, используйте дополнительные модели из раздела Bundles.
• Системное сообщение: В меню Controls заголовка компонента включите параметр System Message.
• Инструкции: Подключите компонент Prompt Template к входу System Message, чтобы задать роль ИИ (например: «Ты эксперт по географии»).
• Ввод/Вывод: Подключите компоненты Chat Input и Chat Output для взаимодействия с пользователем.
• Тестирование: В Playground задайте вопрос (например: «Какая столица у штата Юта?»), чтобы сравнить ответы разных моделей.

Драйверы (Drivers)

Некоторые компоненты используют LLM для выполнения действий, а не для прямого ответа в чат.

• Примером является компонент Smart Transform, который готовит данные для дальнейшей обработки.
• Чтобы компонент работал как драйвер, он должен принимать входной тип LanguageModel, а выходной тип самой языковой модели должен быть переключен на LanguageModel.

Агенты (Agents)

Если вы не хотите использовать встроенные модели компонента Agent, можно подключить внешнюю модель:

• Добавьте компонент языковой модели и настройте его.
• Измените тип выхода модели с Model Response на Language Model.
• В компоненте Agent установите Model Provider в значение Connect other models и соедините порты.

Параметры компонента

Некоторые параметры по умолчанию скрыты в визуальном редакторе. Вы можете изменить все параметры через меню Controls (Управление) в заголовке компонента.