계층형 에스컬레이션

v1.9

계층형 에스컬레이션은 지식 베이스 RAG 파이프라인 뒤에서 동작하며, 빠른 경로가 충분히 확신을 가지고 답변하지 못할 때 더 강력하고 더 비용이 많이 드는 AI 처리로 어려운 질문을 자동으로 라우팅합니다. 대부분의 질문은 Tier 1을 벗어나지 않으며, 정말 필요한 질문만 에스컬레이션됩니다.

기능 설명

들어오는 모든 질문은 먼저 표준 RAG 파이프라인이 답변을 시도합니다. 이 파이프라인의 신뢰도가 낮거나, 질문이 더 깊은 추론을 필요로 하는 것으로 보이는 경우(여러 단계로 이루어진 “어떻게 하나요…” 요청, 또는 봇이 단일 문서만으로는 해결할 수 없는 작업 등) 시스템은 약하거나 일반적인 답변을 반환하는 대신 동기식 또는 비동기식 LLM 티어로 질문을 에스컬레이션합니다.

에스컬레이션은 완전히 자동으로 이루어지며, 방문자는 “티어”를 보거나 선택할 필요가 전혀 없습니다. 방문자 입장에서는 봇이 즉시 답변하거나, 조금 후에 더 심층적인 답변으로 응답할 뿐입니다.

티어 작동 방식

Tier	이름	지연 시간	동작 내용
Tier 1	RAG (기본값)	빠름 — 일반적으로 <1초	기존 지식 베이스 검색 + 생성. v1.9 이전과 동작 변화 없음.
Tier 2	동기식 LLM 에스컬레이션	3–8초	RAG만으로는 확신 있게 답변할 수 없는 질문에 대해, 방문자가 대기하는 동안 동기적으로 이루어지는 더 강력한 모델 호출.
Tier 3	비동기식 조사	2–5분	더 철저한 답변을 만들어내기 위해 더 많은 시간과 컨텍스트를 사용할 수 있는 백그라운드 조사 작업으로, 준비가 완료되면 대화에 전달됩니다.

Tier 2 — 동기식 LLM 에스컬레이션

RAG 검색만으로 제공할 수 있는 것보다 더 많은 추론이 필요하지만, 여전히 같은 대화 턴 안에서 답변이 기대되는 경우에 사용됩니다. 시스템은 검색된 지식 베이스 컨텍스트와 함께 더 강력한 모델을 동기적으로 호출하고, 답변을 채팅에 직접 반환합니다 — 방문자는 지연이나 “곧 답변드리겠습니다” 메시지가 아니라 조금 더 긴 응답을 경험하게 됩니다.

Tier 3 — 비동기식 조사

여러 단계의 추론, 여러 문서 간의 교차 참조, 또는 사람 상담원이 제대로 살펴보는 데 몇 분이 걸릴 만한 질문 등 진정으로 더 깊은 조사가 필요한 질문에 사용됩니다. 질문은 백그라운드 작업으로 대기열에 등록되며, 방문자에게는 답변이 준비 중이라는 안내가 표시되고, 조사가 성공적으로 완료되면 답변이 자동으로 대화에 전달됩니다.

라우팅 로직

라우팅은 자동으로 이루어지며 두 가지 신호를 기반으로 합니다.

지식 베이스 신뢰도 — RAG 파이프라인의 검색/답변 신뢰도 점수입니다. 신뢰도가 높으면 Tier 1에 머무릅니다. 신뢰도가 낮을수록 얼마나 낮은지에 따라 Tier 2 또는 Tier 3로 에스컬레이션됩니다.
질문 유형 — 특정 형태의 질문(다단계 요청, 봇 스스로 수행할 수 없는 작업 요청, 명시적으로 “조사해 달라”는 형태의 질문)은 신뢰도만으로는 트리거되지 않더라도 에스컬레이션 쪽으로 라우팅됩니다.

에스컬레이션은 조직에 대해 활성화되어 있고 예산 범위 내에 있을 때만 발생합니다 — 아래 관리자 구성을 참고하세요. 에스컬레이션이 비활성화되어 있거나, 최대 티어가 1이거나, 예산이 소진된 경우 봇은 응답에 실패하는 대신 최선의 Tier 1 답변으로 대체합니다.

관리자 구성

에스컬레이션은 설정 → AI 설정에서 조직별로 구성됩니다. 전체 설정 참고 자료는 AI 설정 및 응답 언어 — 계층형 에스컬레이션을 참고하세요. 요약하면 다음과 같습니다.

활성화/비활성화 — 에스컬레이션은 기본적으로 꺼져 있으며, 조직 관리자가 직접 켜야 합니다.
최대 티어 — 질문이 에스컬레이션될 수 있는 범위를 제한합니다(1 = RAG만, 2 = 동기식 LLM 허용, 3 = 전체 비동기식 조사 허용).
예산 한도 — Tier 2와 Tier 3에 대해 별도의 월간 호출 예산을 두어 에스컬레이션 비용을 예측 가능하게 유지합니다.

모델 체인

에스컬레이션 요청은 **주 모델(primary model)**로 전송됩니다.
주 모델이 실패하거나 사용할 수 없는 경우, 요청은 구성된 계단식(cascade) 구조에서 다음 모델로 자동으로 failover됩니다 — 방문자는 실패를 전혀 알아차리지 못합니다.
모델이 반복적으로 실패하면 **회로 차단기(circuit breaker)**가 일시적으로 해당 모델로의 요청 전송을 중단하고 체인의 다음 모델로만 라우팅하여, 실패한 공급자가 다시 시도되기 전에 복구할 시간을 확보합니다.

이 계단식 구조 덕분에 단일 공급자의 장애가 에스컬레이션 전체를 중단시키지 않습니다 — 자동으로 다음에 사용 가능한 모델로 성능이 저하될 뿐입니다.

예산 관리

Tier 2와 Tier 3는 각각 조직별로 설정되는 자체 월간 호출 예산을 가집니다(기본값: 월 Tier 2 호출 500회, Tier 3 호출 50회).

예산은 매월(UTC 기준) 시작 시 자동으로 재설정됩니다.
월이 재설정되기 전에 특정 티어의 예산이 소진되면, 이후 질문은 차단되는 대신 한 단계 낮은 티어에서 처리됩니다(더 낮은 에스컬레이션 티어에도 예산이 없다면 Tier 1에서 처리됩니다).
예산 사용량은 월간 이월되지 않습니다.

가격 영향

Tier 1(RAG) 사용량은 에스컬레이션의 영향을 받지 않으며, 기존과 동일하게 포함됩니다. Tier 2와 Tier 3 호출은 표준 RAG보다 더 비용이 많이 드는 모델 호출을 사용하므로 플랜의 예산 크레딧을 소비합니다. 설정 → AI 설정에서 사용량을 모니터링하고, 에스컬레이션 사용량이 플랜 대비 예상보다 많다면 최대 티어나 예산 한도를 조정하세요.