Подключение к LLM

В разделе «Подключение к LLM» можно создать собственное подключение к большой языковой модели, а также посмотреть настройки уже сохранённых и преднастроенных подключений. Сохранённое подключение выбирается в настройках сценария, после чего его можно использовать в LLM узле и в смысловых условиях перехода.

Настройки подключения к LLM

Что настраивается

ПолеНазначение
НазваниеИмя подключения. Под этим именем оно будет видно в настройках сценария.
Адрес и модельURL-адрес сервиса, через который идёт подключение к модели, и название используемой модели.
Тип провайдераФормат подключения к модели. Выбирается из доступного списка.
Секретный токенСекретный ключ доступа к модели. После сохранения его нельзя посмотреть.
ТемператураНасколько творчески отвечает модель, значение от 0 до 100. При значении 0 или близком к нему модель отвечает максимально точно и предсказуемо. При более высоких значениях начинает фантазировать: выбирает более редкие и неожиданные слова и формулировки.
РолиПорядок ролей сообщений, если это предусмотрено формой.

Создание подключения

  1. Откройте раздел AI, выберите «Подключение к LLM» и нажмите Добавить.
  2. Заполните название, адрес и модель, тип провайдера и секретный токен.
  3. Проверьте температуру и роли, затем нажмите Сохранить.

Выбор подключения в сценарии

  1. Откройте нужный сценарий, перейдите в меню Настройки и выберите вкладку AI.
  2. Выберите подключение в поле LLM узлов.
  3. При необходимости назначьте подключение для остальных ролей: поиска, маршрутизации и смысловых условий.
  4. Нажмите Применить, затем сохраните и опубликуйте сценарий.
Разные модели для разных ролейКаждой роли в настройках сценария можно назначить своё подключение. Например, для LLM узлов выбрать более мощную модель, а для смысловых условий — более быструю.

Использование в LLM узле

В промпте узла задайте роль, задачу и правила ответа. Значения из сценария можно передавать через плейсхолдеры. Ограничьте число реплик контекста, длину ответа, количество вызовов инструментов и таймаут.
Ответь кратко и только по данным доступных инструментов.
Если данных недостаточно, так и скажи.
Номер клиента: {~Номер клиента~}.

Подробнее о настройках LLM узла — на странице Узлы и свойства.

Использование в смысловом условии перехода

В случае, когда вам требуется, чтобы решение о переходе между узлами было принято на основании решения языковой модели, вы можете настроить «смысловое условие». Выберите «смысловое условие» на связи, укажите реплику слева и ожидаемый смысл справа. Более узкую проверку ставьте раньше запасной. Смысловое условие работает медленнее точного сравнения, и для него в настройках сценария должно быть назначено подключение к LLM. Подробнее — на странице Связи и условия.

Если LLM не отвечает

  • Проверьте, что подключение сохранено и выбрано в нужном поле настроек сценария.
  • Проверьте адрес, модель, токен, таймаут и публикацию сценария.
  • Если ответ слишком длинный, уменьшите лимиты ответа и контекста.
  • После изменения подключения заново откройте настройки сценария.
Желаем удачи!
Команда Robovoice.
Остались вопросы?
Посмотрите Наши видео-инструкции или отправьте Ваш вопрос менеджеру Robovoice

Общие частые вопросы