Leo Thang Phân Tầng

v1.9

Leo Thang Phân Tầng nằm phía sau pipeline RAG của Cơ sở tri thức và tự động định tuyến các câu hỏi khó hơn đến quá trình xử lý AI mạnh mẽ hơn — và tốn kém hơn — khi lộ trình nhanh không đủ tin cậy để trả lời tốt. Hầu hết câu hỏi không bao giờ rời khỏi Tier 1; chỉ những câu hỏi cần thiết mới được leo thang.

Nó Làm Gì

Mọi câu hỏi gửi đến trước tiên được trả lời bởi pipeline RAG tiêu chuẩn. Khi độ tin cậy của pipeline đó thấp, hoặc câu hỏi có vẻ cần suy luận sâu hơn (một yêu cầu “làm thế nào để…” gồm nhiều bước, hoặc một hành động mà bot không thể giải quyết chỉ từ một tài liệu duy nhất), hệ thống sẽ leo thang câu hỏi lên một tier LLM đồng bộ hoặc bất đồng bộ thay vì trả về một câu trả lời yếu hoặc chung chung.

Việc leo thang hoàn toàn tự động — khách truy cập không bao giờ nhìn thấy một “tier” hay phải lựa chọn. Từ phía họ, bot hoặc trả lời ngay lập tức hoặc phản hồi muộn hơn một chút với câu trả lời sâu hơn.

Cách Các Tier Hoạt Động

Tier	Tên	Độ trễ	Điều Gì Xảy Ra
Tier 1	RAG (mặc định)	Nhanh — thường <1s	Truy xuất + tạo sinh từ cơ sở tri thức hiện có. Không thay đổi hành vi so với trước v1.9.
Tier 2	Leo Thang LLM Đồng Bộ	3–8 giây	Một lệnh gọi model mạnh hơn, được thực hiện đồng bộ trong khi khách truy cập chờ, dành cho những câu hỏi mà chỉ riêng RAG không thể trả lời một cách tự tin.
Tier 3	Điều Tra Bất Đồng Bộ	2–5 phút	Một tác vụ điều tra chạy nền có thể mất nhiều thời gian và ngữ cảnh hơn để tạo ra câu trả lời kỹ lưỡng, được gửi vào cuộc hội thoại khi đã sẵn sàng.

Tier 2 — Leo Thang LLM Đồng Bộ

Được sử dụng khi câu hỏi cần nhiều suy luận hơn mức mà việc truy xuất RAG có thể cung cấp, nhưng câu trả lời vẫn được kỳ vọng trong cùng một lượt hội thoại. Hệ thống gọi một model mạnh hơn theo cách đồng bộ, cùng với ngữ cảnh cơ sở tri thức đã truy xuất, và trả về câu trả lời trực tiếp trong khung chat — khách truy cập trải nghiệm một phản hồi hơi lâu hơn một chút, chứ không phải một sự chậm trễ hay thông báo kiểu “chúng tôi sẽ phản hồi sau”.

Tier 3 — Điều Tra Bất Đồng Bộ

Được sử dụng cho các câu hỏi thực sự cần điều tra sâu hơn — suy luận nhiều bước, đối chiếu chéo nhiều tài liệu, hoặc loại câu hỏi mà một nhân viên hỗ trợ con người cần vài phút để tìm hiểu kỹ lưỡng. Câu hỏi được đưa vào hàng đợi như một tác vụ chạy nền; khách truy cập được thông báo rằng câu trả lời đang được chuẩn bị, và nếu việc điều tra hoàn tất thành công, câu trả lời sẽ được gửi vào cuộc hội thoại tự động.

Logic Định Tuyến

Việc định tuyến là tự động và dựa trên hai tín hiệu:

Độ tin cậy của cơ sở tri thức — điểm tin cậy truy xuất/trả lời của pipeline RAG. Độ tin cậy cao sẽ ở lại Tier 1. Độ tin cậy thấp hơn sẽ leo thang lên Tier 2 hoặc Tier 3 tùy theo mức độ thấp.
Loại câu hỏi — một số dạng câu hỏi nhất định (yêu cầu nhiều bước, yêu cầu hành động mà bot không thể tự thực hiện, các câu hỏi kiểu “điều tra” rõ ràng) được định tuyến hướng đến việc leo thang ngay cả khi chỉ riêng độ tin cậy có thể không kích hoạt điều đó.

Việc leo thang chỉ xảy ra khi tính năng này được bật cho tổ chức và còn trong ngân sách — xem Cấu Hình Quản Trị bên dưới. Nếu tính năng leo thang bị tắt, đang ở tier tối đa là 1, hoặc hết ngân sách, bot sẽ quay về câu trả lời Tier 1 tốt nhất của mình thay vì không phản hồi.

Cấu Hình Quản Trị

Việc leo thang được cấu hình theo từng tổ chức trong Settings → AI Settings. Xem Cài Đặt AI & Ngôn Ngữ Phản Hồi — Leo Thang Phân Tầng để biết đầy đủ tài liệu tham khảo cài đặt. Tóm lại:

Bật/Tắt — tính năng leo thang tắt theo mặc định; quản trị viên tổ chức phải bật nó lên.
Tier Tối Đa — giới hạn mức độ leo thang tối đa của một câu hỏi (1 = chỉ RAG, 2 = cho phép LLM đồng bộ, 3 = cho phép điều tra bất đồng bộ đầy đủ).
Giới Hạn Ngân Sách — ngân sách lệnh gọi hàng tháng riêng biệt cho Tier 2 và Tier 3, giúp chi phí leo thang luôn có thể dự đoán được.

Chuỗi Model

Các yêu cầu leo thang được gửi đến một model chính.
Nếu model chính gặp lỗi hoặc không khả dụng, yêu cầu sẽ tự động chuyển sang dự phòng (fail over) sang model tiếp theo trong chuỗi đã cấu hình sẵn — khách truy cập không bao giờ thấy sự cố này.
Nếu một model liên tục gặp lỗi, một circuit breaker (bộ ngắt mạch) sẽ tạm thời ngừng gửi yêu cầu đến model đó và định tuyến hoàn toàn sang model tiếp theo trong chuỗi, cho nhà cung cấp gặp lỗi thời gian để phục hồi trước khi được thử lại.

Chuỗi dự phòng này có nghĩa là sự cố ngừng hoạt động của một nhà cung cấp duy nhất sẽ không làm cho tính năng leo thang ngừng hoạt động — nó sẽ tự động chuyển xuống model tiếp theo có sẵn.

Quản Lý Ngân Sách

Tier 2 và Tier 3 mỗi tier đều có ngân sách lệnh gọi hàng tháng riêng, được thiết lập theo từng tổ chức (mặc định: 500 lệnh gọi Tier 2, 50 lệnh gọi Tier 3 mỗi tháng).

Ngân sách tự động đặt lại vào đầu mỗi tháng dương lịch (UTC).
Nếu ngân sách của một tier cạn kiệt trước khi tháng được đặt lại, các câu hỏi tiếp theo sẽ được xử lý ở tier thấp hơn kế tiếp (hoặc ở Tier 1, nếu không có tier leo thang thấp hơn nào còn ngân sách) thay vì bị chặn.
Mức sử dụng ngân sách không được chuyển tiếp giữa các tháng.

Ảnh Hưởng Đến Giá

Việc sử dụng Tier 1 (RAG) không bị ảnh hưởng bởi tính năng leo thang — nó vẫn được tính vào gói theo cách như trước nay. Các lệnh gọi Tier 2 và Tier 3 tiêu thụ tín dụng ngân sách (budget credits) trong gói của bạn, vì chúng sử dụng các lệnh gọi model đắt hơn so với RAG tiêu chuẩn. Theo dõi mức sử dụng trong Settings → AI Settings và điều chỉnh Tier Tối Đa hoặc giới hạn ngân sách nếu khối lượng leo thang cao hơn dự kiến cho gói của bạn.