分级升级
分级升级位于您的知识库 RAG 流程之后,当快速路径的置信度不足以给出好答案时,会自动将较难的问题路由到更强大——也更昂贵——的 AI 处理流程。大多数问题永远不会离开 Tier 1;只有真正需要的问题才会被升级。
每个传入的问题首先由标准 RAG 流程回答。当该流程的置信度较低,或问题看起来需要更深入的推理(例如多步骤的”我该如何……”请求,或机器人无法仅凭单一文档解决的操作请求)时,系统会将问题升级至同步或异步 LLM 分级,而不是返回一个薄弱或笼统的答案。
升级过程完全自动化——访客永远不会看到”分级”的概念,也无需做出任何选择。对他们而言,机器人要么立即作答,要么稍晚一些给出更深入的答案。
分级工作原理
Section titled “分级工作原理”| Tier | 名称 | 延迟 | 系统行为 |
|---|---|---|---|
| Tier 1 | RAG(默认) | 快——通常小于 1 秒 | 现有的知识库检索 + 生成。相比 v1.9 之前的行为没有变化。 |
| Tier 2 | 同步 LLM 升级 | 3–8 秒 | 对于 RAG 单独无法自信回答的问题,在访客等待期间同步调用更强大的模型。 |
| Tier 3 | 异步调查 | 2–5 分钟 | 一项后台调查任务,可以花费更多时间和上下文来生成详尽的答案,并在准备就绪后交付到对话中。 |
Tier 2 — 同步 LLM 升级
Section titled “Tier 2 — 同步 LLM 升级”当问题需要比 RAG 检索所能提供的更多推理,但仍需要在同一对话轮次内给出答案时使用。系统会结合检索到的知识库上下文,同步调用能力更强的模型,并将答案直接返回到对话中——访客体验到的只是回复稍长一些,而不是延迟或”我们稍后回复您”的提示。
Tier 3 — 异步调查
Section titled “Tier 3 — 异步调查”用于真正需要深入调查的问题——多步推理、交叉引用多份文档,或人工客服也需要花几分钟才能妥善处理的问题。此类问题会被加入后台任务队列;系统会告知访客答案正在准备中,如果调查成功完成,答案将自动交付到对话中。
路由是自动的,基于两个信号:
- 知识库置信度 — RAG 流程的检索/答案置信度分数。置信度高则保持在 Tier 1;置信度较低时,根据具体程度升级至 Tier 2 或 Tier 3。
- 问题类型 — 某些问题形式(多步请求、机器人无法自行完成的操作请求、明确的”调查”类问题)即使仅凭置信度不足以触发升级,也会被路由至升级流程。
只有在组织已启用升级功能且预算充足的情况下,升级才会发生——请参阅下方的管理员配置。如果升级功能被禁用、最高分级设为 Tier 1,或预算已用尽,机器人将回退至其最佳的 Tier 1 答案,而不是无法响应。
升级功能按组织在 设置 → AI 设置 中进行配置。完整的设置说明请参阅 AI 设置和回复语言 — 分级升级。简要说明如下:
- 启用/禁用 — 升级功能默认关闭;组织管理员必须手动开启。
- 最高分级 — 限制问题最多可升级到哪一级(1 = 仅 RAG,2 = 允许同步 LLM,3 = 允许完整的异步调查)。
- 预算限制 — 为 Tier 2 和 Tier 3 分别设置每月调用预算,确保升级成本可预测。
-
升级请求会被发送至主模型。
-
如果主模型失败或不可用,请求会自动故障转移到已配置级联中的下一个模型——访客不会察觉到此次失败。
-
如果某个模型持续失败,熔断器会暂时停止向其发送请求,并将请求专门路由至链中的下一个模型,从而让出现故障的提供商有时间恢复,之后再重新尝试。
这种级联机制意味着单个提供商的中断不会导致升级功能整体下线——系统会自动降级到下一个可用模型。
Tier 2 和 Tier 3 各自拥有独立的每月调用预算,按组织设置(默认值:每月 500 次 Tier 2 调用,50 次 Tier 3 调用)。
- 预算会在每个自然月开始时(UTC 时间)自动重置。
- 如果某一分级的预算在月度重置前已用尽,后续问题将由下一个较低分级处理(如果更低的升级分级也没有预算,则由 Tier 1 处理),而不是被阻止。
- 预算使用量不会结转到下个月。
Tier 1(RAG)的使用不受升级功能影响——其计费方式与以往完全相同。由于 Tier 2 和 Tier 3 调用使用的模型比标准 RAG 更昂贵,它们会消耗您套餐中的预算额度。请在 设置 → AI 设置 中监控使用情况,如果升级量超出您套餐的预期,请调整最高分级或预算限制。