टियर्ड एस्केलेशन

टियर्ड एस्केलेशन

v1.9

टियर्ड एस्केलेशन आपके नॉलेज बेस RAG पाइपलाइन के पीछे काम करता है और जब फास्ट पाथ अच्छी तरह जवाब देने के लिए पर्याप्त आश्वस्त नहीं होता, तो कठिन सवालों को अधिक शक्तिशाली — और अधिक महंगी — AI प्रोसेसिंग की ओर स्वचालित रूप से रूट कर देता है। अधिकतर सवाल कभी Tier 1 से बाहर नहीं जाते; केवल वही सवाल आगे बढ़ते हैं जिन्हें इसकी ज़रूरत होती है।

यह क्या करता है

हर आने वाले सवाल का जवाब सबसे पहले स्टैंडर्ड RAG पाइपलाइन देती है। जब उस पाइपलाइन का कॉन्फ़िडेंस कम होता है, या सवाल ऐसा लगता है जिसे गहरी रीज़निंग की ज़रूरत है (जैसे मल्टी-स्टेप “मैं यह कैसे करूं…” अनुरोध, या ऐसा एक्शन जिसे बॉट किसी एक दस्तावेज़ से हल नहीं कर सकता), तो सिस्टम कमज़ोर या सामान्य जवाब देने के बजाय सवाल को सिंक्रोनस या एसिंक्रोनस LLM टियर पर एस्केलेट कर देता है।

एस्केलेशन पूरी तरह से स्वचालित है — विज़िटर कभी कोई “टियर” नहीं देखते और न ही कोई विकल्प चुनते हैं। उनकी ओर से, बॉट या तो तुरंत जवाब देता है या थोड़ी देर बाद अधिक गहराई वाला जवाब भेजता है।

टियर कैसे काम करते हैं

टियर	नाम	लेटेंसी	क्या होता है
Tier 1	RAG (डिफ़ॉल्ट)	तेज़ — आमतौर पर <1s	मौजूदा नॉलेज बेस रिट्रीवल + जनरेशन। v1.9 से पहले के व्यवहार में कोई बदलाव नहीं।
Tier 2	सिंक LLM एस्केलेशन	3–8 सेकंड	उन सवालों के लिए जिन्हें अकेले RAG आश्वस्त होकर जवाब नहीं दे सकता, विज़िटर के इंतज़ार करते समय सिंक्रोनस रूप से किया गया एक अधिक शक्तिशाली मॉडल कॉल।
Tier 3	एसिंक इन्वेस्टिगेशन	2–5 मिनट	एक बैकग्राउंड इन्वेस्टिगेशन जॉब जो पूरी तरह से गहन जवाब तैयार करने के लिए अधिक समय और अधिक कॉन्टेक्स्ट ले सकता है, और तैयार होते ही बातचीत में पहुंचा दिया जाता है।

टिप्पणी

Tier 1 अपरिवर्तित है — यह वही RAG पाइपलाइन है जो नॉलेज बेस और RAG में दस्तावेज़ित है। Tier 2 और Tier 3 नई, अतिरिक्त क्षमताएं हैं जो केवल तब सक्रिय होती हैं जब Tier 1 पर्याप्त नहीं होता।

Tier 2 — सिंक LLM एस्केलेशन

इसका उपयोग तब होता है जब सवाल को RAG रिट्रीवल से मिलने वाली रीज़निंग से अधिक की ज़रूरत होती है, लेकिन जवाब उसी बातचीत टर्न में अपेक्षित रहता है। सिस्टम रिट्रीव किए गए नॉलेज बेस कॉन्टेक्स्ट के साथ एक अधिक सक्षम मॉडल को सिंक्रोनस रूप से कॉल करता है, और जवाब सीधे चैट में लौटाता है — विज़िटर को थोड़ा लंबा जवाब मिलता है, कोई देरी या “हम आपसे बाद में संपर्क करेंगे” वाला संदेश नहीं।

Tier 3 — एसिंक इन्वेस्टिगेशन

इसका उपयोग उन सवालों के लिए होता है जिन्हें वाकई गहन जांच की ज़रूरत होती है — मल्टी-स्टेप रीज़निंग, कई दस्तावेज़ों को क्रॉस-रेफ़रेंस करना, या ऐसा सवाल जिसे ठीक से देखने के लिए एक इंसान एजेंट को भी कुछ मिनट लगेंगे। सवाल को बैकग्राउंड जॉब के रूप में क्यू में डाल दिया जाता है; विज़िटर को बताया जाता है कि जवाब तैयार किया जा रहा है, और अगर जांच सफलतापूर्वक पूरी होती है, तो जवाब स्वचालित रूप से बातचीत में पहुंचा दिया जाता है।

सावधानी

दुर्लभ मामलों में जब मॉडल चेन का हर मॉडल अनुपलब्ध हो, तो जांच पूरी नहीं हो पाती। ऐसे मामले में फिलहाल कोई स्वचालित फ़ॉलबैक संदेश नहीं भेजा जाता — अगर कुछ मिनटों में Tier 3 का जवाब नहीं आता, तो बातचीत को मैन्युअल रूप से जांचें।

रूटिंग लॉजिक

रूटिंग स्वचालित है और दो संकेतों पर आधारित होती है:

1. नॉलेज बेस कॉन्फ़िडेंस — RAG पाइपलाइन का रिट्रीवल/आंसर कॉन्फ़िडेंस स्कोर। उच्च कॉन्फ़िडेंस Tier 1 पर ही रहता है। कम कॉन्फ़िडेंस, कितना कम है इसके आधार पर, Tier 2 या Tier 3 पर एस्केलेट हो जाता है।
2. सवाल का प्रकार — कुछ ख़ास तरह के सवाल (मल्टी-स्टेप अनुरोध, ऐसे एक्शन अनुरोध जिन्हें बॉट खुद नहीं कर सकता, या स्पष्ट रूप से “जांच करें” जैसे सवाल) एस्केलेशन की ओर रूट किए जाते हैं, भले ही अकेला कॉन्फ़िडेंस इसे ट्रिगर न करे।

एस्केलेशन तभी होता है जब यह ऑर्गनाइज़ेशन के लिए सक्षम हो और बजट के भीतर हो — नीचे एडमिन कॉन्फ़िगरेशन देखें। अगर एस्केलेशन अक्षम है, मैक्स टियर 1 पर सेट है, या बजट खत्म हो चुका है, तो बॉट जवाब देने में विफल होने के बजाय अपने सबसे अच्छे Tier 1 जवाब पर वापस चला जाता है।

एडमिन कॉन्फ़िगरेशन

एस्केलेशन को हर ऑर्गनाइज़ेशन के लिए Settings → AI Settings में कॉन्फ़िगर किया जाता है। पूरे सेटिंग्स रेफ़रेंस के लिए AI Settings & Response Language — Tiered Escalation देखें। संक्षेप में:

• इनेबल/डिसेबल — एस्केलेशन डिफ़ॉल्ट रूप से बंद रहता है; इसे चालू करने के लिए किसी ऑर्ग एडमिन की ज़रूरत होती है।
• मैक्स टियर — यह तय करता है कि कोई सवाल कितनी दूर तक एस्केलेट हो सकता है (1 = केवल RAG, 2 = सिंक LLM की अनुमति, 3 = पूरी एसिंक इन्वेस्टिगेशन की अनुमति)।
• बजट लिमिट — Tier 2 और Tier 3 के लिए अलग-अलग मासिक कॉल बजट, ताकि एस्केलेशन की लागत अनुमानित रहे।

मॉडल चेन

1. एस्केलेशन रिक्वेस्ट एक प्राइमरी मॉडल को भेजी जाती हैं।

2. अगर प्राइमरी मॉडल विफल हो जाता है या उपलब्ध नहीं होता, तो रिक्वेस्ट स्वचालित रूप से कॉन्फ़िगर किए गए कैस्केड में अगले मॉडल पर फ़ेल ओवर हो जाती है — विज़िटर को यह विफलता कभी नज़र नहीं आती।

3. अगर कोई मॉडल बार-बार विफल होता है, तो एक सर्किट ब्रेकर अस्थायी रूप से उसे रिक्वेस्ट भेजना बंद कर देता है और विशेष रूप से चेन के अगले मॉडल की ओर रूट करता है, जिससे विफल प्रोवाइडर को दोबारा कोशिश किए जाने से पहले रिकवर होने का समय मिल जाता है।

इस कैस्केड का मतलब है कि किसी एक प्रोवाइडर के आउटेज से एस्केलेशन पूरी तरह ऑफ़लाइन नहीं होता — यह स्वचालित रूप से अगले उपलब्ध मॉडल पर डिग्रेड हो जाता है।

बजट मैनेजमेंट

Tier 2 और Tier 3 में से हर एक का अपना मासिक कॉल बजट होता है, जो हर ऑर्गनाइज़ेशन के लिए सेट किया जाता है (डिफ़ॉल्ट: प्रति माह 500 Tier 2 कॉल, 50 Tier 3 कॉल)।

• बजट हर कैलेंडर माह की शुरुआत में (UTC) स्वचालित रूप से रीसेट हो जाते हैं।
• अगर महीना रीसेट होने से पहले किसी टियर का बजट खत्म हो जाता है, तो आगे के सवालों को ब्लॉक करने के बजाय अगले निचले टियर पर संभाला जाता है (या Tier 1 पर, अगर किसी निचले एस्केलेशन टियर में बजट नहीं बचा)।
• बजट का उपयोग महीनों के बीच रोलओवर नहीं होता।

प्राइसिंग पर प्रभाव

Tier 1 (RAG) का उपयोग एस्केलेशन से प्रभावित नहीं होता — यह हमेशा की तरह ही शामिल रहता है। Tier 2 और Tier 3 कॉल आपके प्लान के बजट क्रेडिट खर्च करती हैं, क्योंकि ये स्टैंडर्ड RAG की तुलना में अधिक महंगे मॉडल कॉल का उपयोग करती हैं। Settings → AI Settings में उपयोग की निगरानी करें और अगर आपके प्लान के लिए एस्केलेशन वॉल्यूम अपेक्षा से अधिक है तो मैक्स टियर या बजट लिमिट समायोजित करें।