Gestaffelte Eskalation

Gestaffelte Eskalation

v1.9

Die gestaffelte Eskalation sitzt hinter Ihrer Knowledge Base-RAG-Pipeline und leitet schwierigere Fragen automatisch an leistungsfähigere – und teurere – KI-Verarbeitung weiter, wenn der schnelle Pfad nicht sicher genug ist, um gut zu antworten. Die meisten Fragen verlassen Tier 1 nie; nur die, die es benötigen, eskalieren.

Was es macht

Jede eingehende Frage wird zunächst von der Standard-RAG-Pipeline beantwortet. Wenn die Konfidenz dieser Pipeline gering ist oder die Frage tiefergehendes Denken zu erfordern scheint (eine mehrstufige „Wie mache ich…“-Anfrage oder eine Aktion, die der Bot nicht aus einem einzelnen Dokument lösen kann), eskaliert das System die Frage an eine synchrone oder asynchrone LLM-Stufe, anstatt eine schwache oder generische Antwort zurückzugeben.

Die Eskalation erfolgt vollautomatisch – Besucher sehen nie eine „Stufe“ und treffen keine Auswahl. Aus ihrer Sicht antwortet der Bot entweder sofort oder etwas später mit einer ausführlicheren Antwort.

Wie die Stufen funktionieren

Tier	Name	Latenz	Was passiert
Tier 1	RAG (Standard)	Schnell – typischerweise <1s	Bestehender Knowledge-Base-Abruf + Generierung. Kein Verhaltensunterschied gegenüber der Zeit vor v1.9.
Tier 2	Synchrone LLM-Eskalation	3–8 Sekunden	Ein leistungsstärkerer Modellaufruf, der synchron erfolgt, während der Besucher wartet, für Fragen, die RAG allein nicht sicher beantworten kann.
Tier 3	Asynchrone Untersuchung	2–5 Minuten	Ein Hintergrund-Untersuchungsjob, der mehr Zeit und mehr Kontext benötigen kann, um eine gründliche Antwort zu erstellen, die der Konversation zugestellt wird, sobald sie fertig ist.

Hinweis

Tier 1 ist unverändert – es handelt sich um dieselbe RAG-Pipeline, die in Knowledge Base & RAG dokumentiert ist. Tier 2 und Tier 3 sind neue, zusätzliche Fähigkeiten, die nur aktiviert werden, wenn Tier 1 nicht ausreicht.

Tier 2 – Synchrone LLM-Eskalation

Wird verwendet, wenn die Frage mehr Schlussfolgerung erfordert, als der RAG-Abruf liefern kann, eine Antwort aber weiterhin innerhalb derselben Konversationsrunde erwartet wird. Das System ruft synchron ein leistungsfähigeres Modell mit dem abgerufenen Knowledge-Base-Kontext auf und gibt die Antwort direkt im Chat zurück – der Besucher erlebt eine etwas längere Antwortzeit, keine Verzögerung oder eine „Wir melden uns bei Ihnen“-Nachricht.

Tier 3 – Asynchrone Untersuchung

Wird für Fragen verwendet, die wirklich eine tiefere Untersuchung erfordern – mehrstufiges Denken, das Abgleichen mehrerer Dokumente oder die Art von Frage, für deren gründliche Klärung ein menschlicher Mitarbeiter einige Minuten benötigen würde. Die Frage wird als Hintergrundjob in eine Warteschlange gestellt; dem Besucher wird mitgeteilt, dass eine Antwort vorbereitet wird, und falls die Untersuchung erfolgreich abgeschlossen wird, wird die Antwort automatisch in die Konversation eingestellt.

Achtung

In seltenen Fällen, in denen alle Modelle in der Modellkette nicht verfügbar sind, kann eine Untersuchung nicht abgeschlossen werden. In diesem Fall wird derzeit keine automatische Ausweichnachricht gesendet — falls innerhalb weniger Minuten keine Tier-3-Antwort eintrifft, prüfen Sie die Konversation manuell.

Routing-Logik

Das Routing erfolgt automatisch und basiert auf zwei Signalen:

1. Knowledge-Base-Konfidenz – der Konfidenzwert der RAG-Pipeline für Abruf/Antwort. Hohe Konfidenz bleibt auf Tier 1. Geringere Konfidenz eskaliert je nach Höhe zu Tier 2 oder Tier 3.
2. Fragetyp – bestimmte Frageformen (mehrstufige Anfragen, Aktionsanfragen, die der Bot nicht selbst ausführen kann, explizite Fragen im „Untersuchungs“-Stil) werden zur Eskalation weitergeleitet, selbst wenn die Konfidenz allein sie nicht auslösen würde.

Eine Eskalation findet nur statt, wenn sie für die Organisation aktiviert ist und das Budget dies zulässt – siehe Admin-Konfiguration weiter unten. Wenn die Eskalation deaktiviert ist, maximal Tier 1 erlaubt ist oder das Budget aufgebraucht ist, greift der Bot auf seine beste Tier-1-Antwort zurück, anstatt keine Antwort zu geben.

Admin-Konfiguration

Die Eskalation wird pro Organisation unter Einstellungen → KI-Einstellungen konfiguriert. Die vollständige Einstellungsreferenz finden Sie unter KI-Einstellungen & Antwortsprache — Gestaffelte Eskalation. Zusammengefasst:

• Aktivieren/Deaktivieren – die Eskalation ist standardmäßig deaktiviert; ein Organisationsadministrator muss sie einschalten.
• Max. Tier – begrenzt, wie weit eine Frage eskalieren kann (1 = nur RAG, 2 = synchrones LLM erlauben, 3 = vollständige asynchrone Untersuchung erlauben).
• Budgetgrenzen – separate monatliche Aufrufbudgets für Tier 2 und Tier 3, damit die Eskalationskosten vorhersehbar bleiben.

Modellkette

1. Eskalationsanfragen werden an ein primäres Modell gesendet.

2. Wenn das primäre Modell ausfällt oder nicht verfügbar ist, wechselt die Anfrage automatisch per Failover zum nächsten Modell in einer konfigurierten Kaskade – der Besucher bemerkt den Ausfall nie.

3. Wenn ein Modell wiederholt ausfällt, stoppt ein Circuit Breaker vorübergehend das Senden von Anfragen an dieses Modell und leitet ausschließlich an das nächste Modell in der Kette weiter, sodass der ausfallende Anbieter Zeit hat, sich zu erholen, bevor er erneut versucht wird.

Diese Kaskade bedeutet, dass ein einzelner Anbieterausfall die Eskalation nicht offline nimmt – sie wechselt automatisch zum nächsten verfügbaren Modell.

Budgetverwaltung

Tier 2 und Tier 3 verfügen jeweils über ein eigenes monatliches Aufrufbudget, das pro Organisation festgelegt wird (Standardwerte: 500 Tier-2-Aufrufe, 50 Tier-3-Aufrufe pro Monat).

• Budgets werden automatisch zurückgesetzt zu Beginn jedes Kalendermonats (UTC).
• Wenn das Budget einer Stufe vor dem Zurücksetzen des Monats aufgebraucht ist, werden weitere Fragen auf der nächstniedrigeren Stufe behandelt (oder auf Tier 1, wenn keine niedrigere Eskalationsstufe über Budget verfügt), anstatt blockiert zu werden.
• Die Budgetnutzung wird nicht in den nächsten Monat übertragen.

Auswirkungen auf die Preisgestaltung

Die Nutzung von Tier 1 (RAG) ist von der Eskalation nicht betroffen – sie ist wie schon immer enthalten. Tier-2- und Tier-3-Aufrufe verbrauchen Budget-Guthaben Ihres Plans, da sie teurere Modellaufrufe als das standardmäßige RAG nutzen. Überwachen Sie die Nutzung unter Einstellungen → KI-Einstellungen und passen Sie den maximalen Tier oder die Budgetgrenzen an, wenn das Eskalationsvolumen höher ist als für Ihren Plan erwartet.