LLM
Описание
Компонент LLM служит для непосредственной работы с большими языковыми моделями.. Он позволяет подключать как собственные LLM (vLLM/Ollama), так и подключаться к моделям, которые управляются через AI Server.
Основные параметры
| Параметр | Описание |
|---|---|
| Input | Основной запрос пользователя или текст, который необходимо обработать (промпт). |
| System Message | Системное сообщение для передачи модели. Здесь определяются правила игры: контекст, роль ИИ и ограничения, которые управляют логикой ответов. |
| Target Machine | Выберите целевую машину AI Server, чтобы значение поля LLM API URL заполнилось автоматически. Если вы работаете с внешней LLM, проигнорируйте поле. |
| LLM API URL | Базовый URL-адрес API-сервера LLM. |
| Temperature | Регулятор творческого подхода модели. Значение 0.10 (Precise) минимизирует случайность, делая ответы максимально предсказуемыми и точными. |
Выходные данные
- Model Response: сгенерированный текстовый ответ от модели.
- Language Model: ссылка на используемую конфигурацию или объект модели для передачи в последующие блоки (если требуется контекст).