AX 구축, AI 에이전트부터 시작하기 — RAG·MCP까지 5단계 로드맵

안녕하세요, 직접 서비스를 만들고 운영하는 개발사 에그코드입니다.

저희는 웹 서비스와 SaaS, MVP를 기획부터 개발·운영까지 직접 다룹니다. 지난 1편에서는 AX 뜻, 즉 "AX가 무엇인가"를 정리했습니다.

한 줄로 줄이면 이렇습니다. AX는 AI 전환 — AI 도구를 하나 얹는 게 아니라, 일하는 방식 자체를 AI를 전제로 다시 짜는 것.

개념을 잡고 나면 다음 질문은 늘 똑같습니다. "그래서 우리 회사는 이걸 어디서부터, 어떻게 시작하지?"

이번 2편은 바로 그 질문에 답합니다. AX 구축을 5단계 로드맵으로 풀고, 요즘 가장 많이 들리는 AI 에이전트·RAG·MCP가 각각 어떤 역할인지, 그리고 현장에서 가장 많이 미끄러지는 지점까지 비개발자도 알아볼 수 있게 정리하겠습니다.

AX 구축, 큰 그림은 5단계입니다

AX 구축이라고 하면 거창한 시스템부터 떠올리기 쉽지만, 실제 흐름은 의외로 단순합니다.

1단계. 업무 선정 — 어디에 AI를 넣을지 고른다. 모든 업무를 한 번에 바꾸려 하면 반드시 실패합니다. 처음엔 반복적이고, 규칙이 어느 정도 있고, 이미 데이터가 쌓여 있는 업무 하나를 고릅니다. (예: 문의 1차 응대, 문서 요약·분류, 견적서 초안, 내부 자료 검색)

2단계. 데이터 정리·연동 — AI가 볼 자료를 준비한다. AI는 연결된 데이터만 봅니다. 흩어진 파일, 정리 안 된 문서를 한곳에 모으고, AI가 접근할 수 있게 연동하는 단계입니다.

3단계. 기술 스택 설계 — 두뇌와 연결을 짠다. 여기서 등장하는 게 AI 에이전트, RAG, MCP입니다. 어떤 AI 모델을 쓰고, 사내 자료를 어떻게 참고시키고(RAG), 어떤 도구·데이터에 연결할지(MCP)를 설계합니다. (아래에서 따로 자세히 다룹니다.)

4단계. 워크플로우·검수 지점 설계 — 사람이 어디서 확인할지 정한다. AI가 한 일을 사람이 어느 지점에서 확인하고 책임질지를 정합니다. 이 "사람이 확인하는 자리(검수 지점)"가 없으면 AX는 위험해집니다.

5단계. 파일럿 → 운영·확장 — 작게 굴려보고 늘린다. 먼저 작은 범위로 돌려보며 결과를 측정하고, 잘 되는 걸 확인한 뒤 점진적으로 적용 범위를 넓힙니다.

핵심 기술 3가지 — AI 에이전트·RAG·MCP, 헷갈리지 않게

뉴스에서 늘 같이 묶여 나오지만, 셋은 경쟁 관계가 아니라 역할이 다릅니다. 하나씩, 정확하게 짚겠습니다.

1. AI 에이전트 — 일을 끌고 가는 '일꾼'

• 무엇: 한 번의 지시로 여러 단계를 스스로 이어서 처리하는 AI입니다.
• 쉽게: 단순 챗봇이 "묻는 말에 한 번 답하는" 거라면, 에이전트는 "계획을 세우고 → 도구를 쓰고 → 결과를 확인하고 → 다음 단계로 넘어가는" 일꾼에 가깝습니다.
• 실제로는: 스스로 판단하다 보니 중간 단계에서 틀리기도 합니다. 그래서 사람이 확인하는 검수 지점(4단계)이 반드시 따라붙습니다.
• → 당신에게: AX에서 실제로 '일을 하는' 주체가 이 에이전트입니다.

2. RAG — 사내 자료를 '찾아와 근거로 쓰는' 능력

• 무엇: RAG(검색 증강 생성)는 AI가 답하기 전에 우리 회사 자료에서 관련 내용을 먼저 찾아와, 그걸 근거로 답을 만드는 방식입니다.
• 쉽게: 똑똑한 직원이라도 우리 회사 내부 규정·이력은 모릅니다. 답하기 전에 사내 문서함을 먼저 펼쳐보게 하는 것이 RAG입니다.
• 실제로는: 찾아온 자료가 부실하면 답도 부실합니다(검색이 곧 답의 품질). 환각(없는 사실을 지어내는 것)을 줄여주지만 완전히 없애지는 못합니다.
• → 당신에게: 범용 AI가 아니라 '우리 회사를 아는 AI'를 만들려면 RAG가 출발점입니다.

3. MCP — AI를 도구·데이터에 잇는 '표준 콘센트'

• 무엇: MCP(Model Context Protocol)는 AI를 외부 도구·데이터에 연결하는 공통 규격입니다.
• 쉽게: 기기마다 충전기가 다르면 번거롭죠. USB-C라는 표준이 생기니 다 꽂힙니다. MCP는 AI와 도구·데이터를 잇는 그 USB-C 같은 표준입니다.
• 실제로는: 에이전트는 MCP라는 표준 통로를 통해 일정·DB·사내 시스템 같은 도구에 연결됩니다. RAG의 '사내 자료 검색'도 이 통로에 붙는 하나의 도구로 다뤄지는 흐름이 2026년 현재의 방향입니다.
• → 당신에게: 연동을 표준화해두면 나중에 도구를 바꾸거나 늘릴 때 유지보수·확장이 훨씬 수월합니다.

가장 먼저 무너지는 곳은 '데이터'입니다

기술 이름은 화려하지만, 현장에서 AX가 막히는 1순위는 거의 항상 데이터입니다.

AI 에이전트도 RAG도, 결국 볼 수 있는 자료가 있어야 일합니다. 본격 도입 전에 이것부터 점검하세요.

• 모여 있는가 — 자료가 메신저·메일·개인 PC에 흩어져 있으면 AI도 헛다리를 짚습니다. 한곳에 모으는 게 먼저입니다.
• 읽을 수 있는 형태인가 — 캡처 이미지·손글씨 스캔처럼 글자로 읽기 어려운 형식은 그대로는 활용도가 떨어집니다.
• 최신인가 — 옛 자료가 섞여 있으면 AI가 옛 기준으로 답합니다. 무엇이 최신본인지 관리가 필요합니다.
• 접근 권한이 정리됐는가 — AI가 어디까지 보게 할지 정하지 않으면, 민감 정보가 답변에 섞여 나올 위험이 있습니다.

기술보다 어려운 건 '사람과 규칙'입니다

AX는 도구를 들이는 일로 끝나지 않습니다. 누가, 어디서, 무엇을 책임지는지가 같이 바뀌어야 굴러갑니다.

• 검수 지점을 정한다 — "AI가 초안 → 사람이 확인 후 발송"처럼, AI 결과를 사람이 점검하는 자리를 업무 흐름 안에 명확히 박아둡니다.
• 사람의 역할을 옮긴다 — 잘 설계된 AX는 사람을 빼는 게 아니라, 단순 작업에서 빼서 판단·결정에 배치합니다.
• 책임 소재를 정한다 — AI가 틀린 결과를 냈을 때 누가 확인하고 책임지는지(거버넌스)를 미리 정해둡니다.
• 팀에 설명한다 — "내 일을 뺏는 도구"가 아니라 "잡일을 덜어주는 동료"로 받아들이게 하는 안내가, 사실 기술 도입보다 성패를 더 좌우합니다.

가장 많이 실패하는 지점 — 그리고 작게 시작하는 법

마지막으로, 저희가 현장에서 가장 자주 보는 실패 패턴과 그 반대편의 정석을 짚겠습니다.

작게 시작하는 정석은 이렇습니다.

업무 하나를 고른다 → 작은 범위로 돌려본다 → 결과를 측정한다 → 잘 되면 넓힌다.

이 사이클을 한 바퀴 돌려보는 것이, 어떤 거창한 계획보다 빠르게 AX를 손에 잡히게 합니다.

정리하며

여기까지가 AX 구축의 큰 그림입니다.

• AX 구축은 업무 선정 → 데이터 → 기술 스택 → 검수 지점 → 작게 시작의 5단계
• AI 에이전트(일꾼)·RAG(사내 지식 검색)·MCP(표준 통로)는 경쟁이 아니라 층층이 쌓이는 역할
• 가장 먼저 무너지는 건 데이터, 가장 어려운 건 사람과 규칙
• 정석은 거창한 전면 도입이 아니라, 작은 업무 하나부터

1편에서 "AX가 무엇인지"를, 2편에서 "어떻게 시작하는지"를 정리했습니다. 물론 모든 회사에 똑같은 정답이 있는 건 아닙니다. 업무 성격과 데이터 상태에 따라 시작점은 달라집니다.