Eskalasi Bertingkat

Eskalasi Bertingkat

v1.9

Eskalasi Bertingkat berada di belakang pipeline RAG Knowledge Base Anda dan secara otomatis merutekan pertanyaan yang lebih sulit ke pemrosesan AI yang lebih canggih — dan lebih mahal — ketika jalur cepat tidak cukup yakin untuk menjawab dengan baik. Sebagian besar pertanyaan tidak pernah keluar dari Tier 1; hanya pertanyaan yang benar-benar membutuhkannya yang dieskalasi.

Apa yang Dilakukan Fitur Ini

Setiap pertanyaan yang masuk pertama-tama dijawab oleh pipeline RAG standar. Ketika tingkat keyakinan pipeline tersebut rendah, atau pertanyaan tampak membutuhkan penalaran yang lebih mendalam (permintaan “bagaimana cara…” multi-langkah, atau tindakan yang tidak dapat diselesaikan bot hanya dari satu dokumen), sistem akan mengeskalasi pertanyaan tersebut ke tier LLM sinkron atau asinkron, alih-alih mengembalikan jawaban yang lemah atau generik.

Eskalasi berjalan sepenuhnya otomatis — pengunjung tidak pernah melihat “tier” atau membuat pilihan. Dari sisi mereka, bot akan langsung menjawab atau membalas sedikit lebih lambat dengan jawaban yang lebih mendalam.

Cara Kerja Tier

Tier	Nama	Latensi	Yang Terjadi
Tier 1	RAG (default)	Cepat — biasanya <1 detik	Pengambilan dan pembuatan jawaban dari knowledge base yang sudah ada. Tidak ada perubahan perilaku dari sebelum v1.9.
Tier 2	Eskalasi LLM Sinkron	3–8 detik	Panggilan ke model yang lebih kuat, dilakukan secara sinkron sambil pengunjung menunggu, untuk pertanyaan yang tidak dapat dijawab RAG saja dengan yakin.
Tier 3	Investigasi Asinkron	2–5 menit	Pekerjaan investigasi latar belakang yang dapat memakan lebih banyak waktu dan konteks untuk menghasilkan jawaban yang menyeluruh, dikirim ke percakapan begitu siap.

Catatan

Tier 1 tidak berubah — ini adalah pipeline RAG yang sama seperti yang didokumentasikan di Knowledge Base & RAG. Tier 2 dan Tier 3 adalah kemampuan baru yang bersifat tambahan dan hanya aktif ketika Tier 1 tidak cukup.

Tier 2 — Eskalasi LLM Sinkron

Digunakan ketika pertanyaan membutuhkan penalaran lebih dari yang bisa diberikan oleh pengambilan RAG, tetapi jawaban tetap diharapkan dalam giliran percakapan yang sama. Sistem memanggil model yang lebih mumpuni secara sinkron, dengan konteks knowledge base yang telah diambil, dan mengembalikan jawaban langsung di dalam chat — pengunjung mengalami balasan yang sedikit lebih lama, bukan penundaan atau pesan “kami akan menghubungi Anda kembali”.

Tier 3 — Investigasi Asinkron

Digunakan untuk pertanyaan yang benar-benar membutuhkan investigasi yang lebih mendalam — penalaran multi-langkah, referensi silang beberapa dokumen, atau jenis pertanyaan yang membutuhkan waktu beberapa menit bagi agen manusia untuk menelusurinya dengan benar. Pertanyaan tersebut dimasukkan ke dalam antrean sebagai pekerjaan latar belakang; pengunjung diberi tahu bahwa jawaban sedang disiapkan, dan jika investigasi selesai dengan sukses, jawaban tersebut dikirim ke percakapan secara otomatis.

Perhatian

Dalam kasus langka ketika semua model dalam rantai model tidak tersedia, sebuah investigasi bisa gagal diselesaikan. Tidak ada pesan cadangan otomatis yang dikirim dalam kasus tersebut — jika jawaban Tier 3 tidak tiba dalam beberapa menit, periksa percakapan secara manual.

Logika Perutean

Perutean berjalan otomatis dan didasarkan pada dua sinyal:

1. Keyakinan knowledge base — skor keyakinan pengambilan/jawaban dari pipeline RAG. Keyakinan tinggi tetap berada di Tier 1. Keyakinan yang lebih rendah dieskalasi ke Tier 2 atau Tier 3 tergantung seberapa rendah.
2. Jenis pertanyaan — bentuk pertanyaan tertentu (permintaan multi-langkah, permintaan tindakan yang tidak dapat dilakukan bot sendiri, pertanyaan bergaya “investigasi” secara eksplisit) dirutekan menuju eskalasi meskipun keyakinan saja mungkin tidak memicunya.

Eskalasi hanya akan terjadi jika diaktifkan untuk organisasi tersebut dan masih dalam batas anggaran — lihat Konfigurasi Admin di bawah. Jika eskalasi dinonaktifkan, dibatasi maksimal di tier 1, atau anggaran habis, bot akan kembali ke jawaban Tier 1 terbaiknya alih-alih gagal merespons.

Konfigurasi Admin

Eskalasi dikonfigurasi per organisasi di Settings → AI Settings. Lihat AI Settings & Response Language — Tiered Escalation untuk referensi pengaturan lengkap. Ringkasannya:

• Aktifkan/Nonaktifkan — eskalasi dinonaktifkan secara default; admin organisasi harus mengaktifkannya.
• Tier Maksimum — membatasi seberapa jauh sebuah pertanyaan dapat dieskalasi (1 = hanya RAG, 2 = izinkan LLM sinkron, 3 = izinkan investigasi asinkron penuh).
• Batas Anggaran — batas panggilan bulanan terpisah untuk Tier 2 dan Tier 3, sehingga biaya eskalasi tetap dapat diprediksi.

Rantai Model

1. Permintaan eskalasi dikirim ke model utama.

2. Jika model utama gagal atau tidak tersedia, permintaan secara otomatis beralih (fail over) ke model berikutnya dalam rangkaian yang telah dikonfigurasi — pengunjung tidak pernah melihat kegagalan tersebut.

3. Jika sebuah model berulang kali gagal, circuit breaker untuk sementara menghentikan pengiriman permintaan ke model tersebut dan merutekan secara eksklusif ke model berikutnya dalam rantai, memberi waktu bagi penyedia yang bermasalah untuk pulih sebelum dicoba kembali.

Rantai ini berarti gangguan pada satu penyedia tidak akan membuat eskalasi berhenti total — sistem akan menurun (degrade) ke model berikutnya yang tersedia secara otomatis.

Manajemen Anggaran

Tier 2 dan Tier 3 masing-masing memiliki anggaran panggilan bulanan sendiri, yang diatur per organisasi (default: 500 panggilan Tier 2, 50 panggilan Tier 3 per bulan).

• Anggaran diatur ulang secara otomatis pada awal setiap bulan kalender (UTC).
• Jika anggaran suatu tier habis sebelum bulan berakhir, pertanyaan selanjutnya akan ditangani pada tier di bawahnya (atau di Tier 1, jika tidak ada tier eskalasi lain yang memiliki anggaran) alih-alih diblokir.
• Penggunaan anggaran tidak dibawa ke bulan berikutnya (tidak roll over).

Dampak Harga

Penggunaan Tier 1 (RAG) tidak terpengaruh oleh eskalasi — tetap disertakan seperti sebelumnya. Panggilan Tier 2 dan Tier 3 menggunakan kredit anggaran dari paket Anda, karena keduanya menggunakan panggilan model yang lebih mahal dibandingkan RAG standar. Pantau penggunaan di Settings → AI Settings dan sesuaikan Tier Maksimum atau batas anggaran jika volume eskalasi lebih tinggi dari perkiraan untuk paket Anda.