AI 에이전트가 쉬운 질문엔 빠르게 답하는 법 — 질문 난이도를 나누는 Adaptive RAG

안녕하세요.

웹과 앱 서비스를 직접 만들고 운영하며 그 노하우를 바탕으로 외주 개발까지 진행하고 있는 개발사 에그코드입니다.

AI 에이전트에게 질문을 던져보면, 간단한 질문에도 한참 뜸을 들이고 정작 복잡한 질문은 대충 찾아보고 틀리곤 합니다.

1. 먼저 RAG 뜻부터 — AI는 왜 답하기 전에 '검색'을 할까

AI 에이전트는 사람이 시키지 않아도 스스로 판단해 움직이는 AI입니다.

그런데 AI 모델은 학습한 시점까지의 지식만 알 뿐, 최신 정보나 우리 회사 자료는 모르죠.

그래서 답하기 전에 관련 자료를 먼저 찾아 근거로 삼습니다. 이 방식이 RAG(검색 증강 생성)입니다.

(RAG 뜻 = 질문이 오면 관련 문서부터 찾아 참고해 답하는 구조)

→ 문제는, 대부분의 RAG가 모든 질문에 이 검색을 '똑같이' 돌린다는 점입니다.

2. 문제 — 모든 질문을 똑같이 검색하면 생기는 손해

질문마다 난이도가 다른데, 검색 방식이 하나로 고정되면 양쪽에서 손해가 납니다.

쉬운 질문에 검색을 여러 번 돌리면 답이 느려지고 비용도 커집니다. (검색·모델 호출마다 비용이 드니까요)

반대로 어려운 질문을 검색 한 번으로 끝내면, 근거가 부족해 그대로 틀립니다.

→ 즉 '한 방식으로 전부'는 쉬운 질문엔 과하고, 어려운 질문엔 모자랍니다.

3. 해법 — 질문 난이도를 나누는 Adaptive RAG

그래서 나온 것이 'Adaptive RAG(적응형 RAG)'입니다.

핵심은 답하기 전에 작은 분류기가 질문의 복잡도부터 판단하는 것입니다.

그리고 난이도에 따라 검색이 세 갈래로 갈립니다.

• 쉬운 질문 → 검색 없이 바로 답 (이미 아는 상식)
• 단순 사실 질문 → 한 번만 검색해 답
• 복잡한 질문 → 여러 번 검색·추론을 반복

쉽게 말해 질문마다 검색을 얼마나 할지 스스로 정하는 방식입니다.

→ 쉬운 건 빠르게, 어려운 건 깊게 — 속도와 정확도를 함께.

4. 앞서 본 Corrective RAG와는 뭐가 다를까

지난 글에서 다룬 Corrective RAG는 '가져온 자료가 맞는지'를 채점해 고치는 방식이었죠.

Adaptive RAG는 그 앞에서 '검색을 얼마나 할지'를 먼저 정하는 방식입니다.

→ 방향이 다를 뿐, 둘을 함께 쓰기도 합니다.

마치며

AI 기능을 챗봇·상담·사내 검색에 맡길 때 화려한 데모만 보면 놓치는 게 있습니다.

바로 "쉬운 질문엔 빠르고, 어려운 질문엔 충분히 찾는가"입니다. Adaptive RAG는 그 균형을 질문 난이도로 조절하는 장치입니다.

물론 만능은 아닙니다. 복잡도를 판단하는 분류기 자체가 틀릴 수 있고, 그 판단에도 비용이 듭니다.

그래서 정답은 아니고, 질문 난이도 편차가 크고 속도·비용이 중요한 곳부터 골라 설계하는 게 핵심입니다. 기능이 화려한지보다, 질문마다 다르게 대응하는지를 함께 보시길 권합니다.

함께 읽어보세요 — 검색을 스스로 운전하는 Agentic RAG · 정보를 그래프로 잇는 GraphRAG · AI로 만든 서비스, 배포까지의 현실