Многоуровневая эскалация

Многоуровневая эскалация

v1.9

Многоуровневая эскалация работает поверх вашего RAG-конвейера Базы знаний и автоматически направляет более сложные вопросы на более мощную — и более дорогую — обработку ИИ, когда быстрый путь недостаточно уверен, чтобы дать хороший ответ. Большинство вопросов никогда не покидают Tier 1; эскалируются только те, которым это действительно нужно.

Что это делает

Каждый входящий вопрос сначала обрабатывается стандартным RAG-конвейером. Если уверенность этого конвейера низкая, или вопрос выглядит так, будто требует более глубокого рассуждения (многошаговый запрос вида «как мне…» или действие, которое бот не может выполнить на основе одного документа), система эскалирует вопрос на синхронный или асинхронный уровень LLM вместо того, чтобы вернуть слабый или общий ответ.

Эскалация полностью автоматическая — посетители никогда не видят «уровень» и не делают выбор. Со своей стороны они видят, что бот либо отвечает немедленно, либо отвечает чуть позже более развёрнутым ответом.

Как работают уровни

Tier	Название	Задержка	Что происходит
Tier 1	RAG (по умолчанию)	Быстро — обычно <1с	Существующий поиск по базе знаний + генерация. Поведение не изменилось по сравнению с версиями до v1.9.
Tier 2	Синхронная эскалация LLM	3–8 секунд	Вызов более мощной модели, выполняемый синхронно, пока посетитель ждёт, — для вопросов, на которые один RAG не может ответить уверенно.
Tier 3	Асинхронное расследование	2–5 минут	Фоновая задача расследования, на которую может уйти больше времени и контекста для получения обстоятельного ответа, доставляемого в диалог по готовности.

Заметка

Tier 1 не изменился — это тот же RAG-конвейер, описанный в разделе База знаний и RAG. Tier 2 и Tier 3 — это новые дополнительные возможности, которые активируются только тогда, когда Tier 1 недостаточно.

Tier 2 — синхронная эскалация LLM

Используется, когда вопрос требует больше рассуждений, чем может дать поиск RAG, но ответ всё же ожидается в рамках того же хода диалога. Система синхронно вызывает более мощную модель с контекстом, полученным из базы знаний, и возвращает ответ прямо в чат — посетитель ощущает лишь немного более долгий ответ, а не задержку или сообщение «мы вам ответим позже».

Tier 3 — асинхронное расследование

Используется для вопросов, которые действительно требуют более глубокого расследования — многошаговых рассуждений, сопоставления нескольких документов или вопросов, на изучение которых человеку-оператору потребовалось бы несколько минут. Вопрос ставится в очередь как фоновая задача; посетителю сообщается, что ответ готовится, и если расследование завершается успешно, ответ автоматически доставляется в диалог.

Осторожно

В редких случаях, когда все модели в цепочке моделей недоступны, расследование может не завершиться. В этом случае автоматическое резервное сообщение в настоящее время не отправляется — если ответ Tier 3 не поступает в течение нескольких минут, проверьте диалог вручную.

Логика маршрутизации

Маршрутизация происходит автоматически и основана на двух сигналах:

1. Уверенность базы знаний — оценка уверенности поиска/ответа RAG-конвейера. При высокой уверенности вопрос остаётся на Tier 1. При более низкой уверенности происходит эскалация на Tier 2 или Tier 3 в зависимости от того, насколько она низкая.
2. Тип вопроса — определённые формы вопросов (многошаговые запросы, запросы на действия, которые бот не может выполнить самостоятельно, явные вопросы в стиле «расследовать») направляются на эскалацию, даже если одной только уверенности недостаточно для её запуска.

Эскалация происходит только если она включена для организации и находится в пределах бюджета — см. раздел Настройка администратора ниже. Если эскалация отключена, максимальный уровень ограничен Tier 1, или бюджет исчерпан, бот возвращает свой лучший ответ уровня Tier 1, вместо того чтобы не ответить вовсе.

Настройка администратора

Эскалация настраивается для каждой организации в разделе Настройки → Настройки ИИ. Полный справочник по настройкам см. в разделе Настройки ИИ и язык ответов — Многоуровневая эскалация. Кратко:

• Включение/отключение — по умолчанию эскалация выключена; администратор организации должен включить её.
• Максимальный уровень — ограничивает, насколько далеко может эскалировать вопрос (1 = только RAG, 2 = разрешить синхронный LLM, 3 = разрешить полное асинхронное расследование).
• Лимиты бюджета — отдельные ежемесячные бюджеты вызовов для Tier 2 и Tier 3, чтобы стоимость эскалации оставалась предсказуемой.

Цепочка моделей

1. Запросы на эскалацию отправляются в основную модель.

2. Если основная модель недоступна или завершается с ошибкой, запрос автоматически переключается на следующую модель в настроенном каскаде — посетитель никогда не видит сбоя.

3. Если модель постоянно даёт сбои, предохранитель (circuit breaker) временно прекращает отправку запросов к ней и направляет их исключительно к следующей модели в цепочке, давая проблемному провайдеру время на восстановление перед следующей попыткой.

Благодаря этому каскаду сбой одного провайдера не выводит эскалацию из строя — система автоматически переходит на следующую доступную модель.

Управление бюджетом

У Tier 2 и Tier 3 есть собственный ежемесячный бюджет вызовов, устанавливаемый для каждой организации (значения по умолчанию: 500 вызовов Tier 2 и 50 вызовов Tier 3 в месяц).

• Бюджеты автоматически сбрасываются в начале каждого календарного месяца (UTC).
• Если бюджет уровня исчерпан до сброса в начале месяца, дальнейшие вопросы обрабатываются на уровень ниже (или на Tier 1, если у более низкого уровня эскалации тоже нет бюджета), вместо того чтобы блокироваться.
• Использование бюджета не переносится между месяцами.

Влияние на цены

Использование Tier 1 (RAG) не зависит от эскалации — оно включено так же, как и всегда. Вызовы Tier 2 и Tier 3 расходуют бюджетные кредиты вашего тарифного плана, поскольку используют более дорогие вызовы моделей, чем стандартный RAG. Отслеживайте использование в разделе Настройки → Настройки ИИ и корректируйте максимальный уровень или лимиты бюджета, если объём эскалации превышает ожидаемый для вашего тарифного плана.