RAG, MCP, 에이전트, 하네스… 영상 하나 볼 때마다 새 단어가 나와 머릿속이 엉킨 분을 위한 정리
단어를 사전처럼 하나씩 외우지 마세요. 금방 잊고, 다음 주에 또 새 단어가 나옵니다. 대신 AI를 회사에 새로 들어온 신입사원 한 명이라고 생각하고, 처음 듣는 단어가 그 신입의 머리 이야기인지, 회사가 쥐여 준 자료 이야기인지, 일하는 방식 이야기인지, 다른 부서와의 연결 이야기인지만 가려 보세요. 칸만 맞히면 뜻은 절반쯤 이미 알고 있는 셈입니다.
똑똑한 신입이 한 명 들어왔다고 해 봅시다. 이 사람이 회사에서 제 몫을 하려면 네 가지가 필요합니다. 원래 가진 머리, 회사가 건네는 자료철, 일을 끝까지 해내는 일하는 방식, 그리고 다른 부서·시스템과 이어지는 연결망입니다. 요즘 AI 용어는 거의 전부 이 네 칸 중 하나에 들어갑니다.
AI 모델 자체에 붙는 말입니다. 얼마나 읽을 수 있는지, 어디서 틀리는지.
AI에게 지침과 내 자료를 붙여 주는 말입니다. 머리를 바꾸지 않고 답을 바꿉니다.
AI가 답만 하는 게 아니라 직접 일하게 만드는 말입니다.
AI를 메일·드라이브·사내 시스템 같은 바깥 프로그램과 잇거나, 밖에서 능력을 더해 주는 말입니다.
칸 순서에도 뜻이 있습니다. 1칸만 있으면 똑똑하지만 우리 회사를 모르는 신입, 2칸까지 있으면 우리 회사 일을 아는 신입, 3칸까지 있으면 일을 맡길 수 있는 신입, 4칸까지 있으면 다른 시스템까지 손댈 수 있는 신입입니다. 뒤 칸으로 갈수록 할 수 있는 일이 늘고, 그만큼 조심할 것도 늘어납니다.
AI 모델 자체의 성질입니다. 이 칸의 단어는 "이 신입은 얼마나 읽고, 어떻게 생각하고, 어디서 틀리나"에 대한 이야기입니다.
엄청난 양의 글을 읽고 "다음에 올 말"을 맞히도록 학습한 AI 모델입니다. ChatGPT의 GPT, 클로드, 제미나이가 모두 LLM입니다.
신입으로 치면 책을 수백만 권 읽고 들어온 사람의 머리 그 자체.
AI가 글을 읽고 쓰는 단위로, 글자 하나에서 단어 하나 안팎의 조각입니다. 흔한 단어는 한 조각, 드문 단어나 한글은 여러 조각으로 쪼개지기도 합니다. 유료 API 요금도, 한 번에 읽을 수 있는 분량도 토큰으로 셉니다.
신입으로 치면 업무량을 세는 단위. "이 보고서 읽는 데 몇 토큰"처럼 씁니다.
AI가 한 번에 펼쳐 놓고 볼 수 있는 분량입니다. 대화 내용, 붙여 넣은 파일, 지침이 모두 여기에 들어갑니다. 넘치면 서비스에 따라 오래된 내용이 잘리거나 요약되고, 한도 안이어도 아주 긴 입력의 중간은 놓치기도 합니다.
신입으로 치면 회의에 들고 들어갈 수 있는 서류 뭉치의 두께.
없는 사실을 있는 것처럼 매끄럽게 말하는 현상입니다. "그럴듯한 다음 말"을 만드는 구조라, 그럴듯하기만 하면 사실이 아니어도 나올 수 있습니다.
신입으로 치면 모르는데 아는 척하고 자신 있게 보고하는 버릇.
답을 바로 쓰지 않고 먼저 속으로 단계를 밟아 생각하는 모델입니다. 화면에 "생각 중"이 한참 뜨는 그것입니다. 계산·코딩처럼 단계가 많은 일에 강한 대신 느리고 토큰을 더 씁니다.
신입으로 치면 대답하기 전에 메모지에 풀어 보고 오는 사람.
글만이 아니라 사진·음성·영상도 함께 알아듣는 모델입니다. 오류 화면을 캡처해 올리고 "이거 왜 이래요?"라고 물을 수 있는 것이 이 덕분입니다.
신입으로 치면 문서뿐 아니라 사진·통화 녹음도 받아 처리하는 사람.
이미 만들어진 모델에 우리 자료를 더 학습시켜 모델 자체를 바꾸는 방법입니다. 말투나 형식이 몸에 배지만, 데이터 준비와 비용이 꽤 들고 자료가 바뀔 때마다 다시 해야 합니다.
신입으로 치면 연수원에 보내 몇 주간 재교육하는 것.
회사 서버나 내 컴퓨터에서 직접 돌리는 모델입니다. 모델 파일을 공개한 오픈 웨이트 모델이라야 가능합니다. 자료가 밖으로 나가지 않는 대신 좋은 장비가 필요하고, 성능은 대개 최상위 서비스보다 한 발 뒤입니다.
신입으로 치면 사외 반출 없이 사내에서만 일하는 직원.
머리(모델)는 그대로 두고, 무엇을 보고 답할지를 바꾸는 단어들입니다. 기업 AI 도입 회의에서 가장 자주 나오는 칸입니다.
대화가 시작되기 전에 AI에게 먼저 깔아 두는 지시문입니다. "우리 회사 상담원으로서, 존댓말로, 모르면 모른다고 답한다" 같은 규칙을 넣어 두면 누가 무엇을 묻든 그 틀 안에서 답합니다.
신입으로 치면 입사 첫날 받는 업무 지침서.
질문이 오면 먼저 우리 자료에서 관련 부분을 찾아, 그 내용을 질문과 함께 AI에게 넘겨 답하게 하는 방식입니다. 모델을 다시 학습시키지 않아도 최신 사내 문서로 답할 수 있습니다.
신입으로 치면 답하기 전에 사내 규정집에서 해당 쪽을 펴 보고 답하는 습관.
글을 숫자 좌표로 바꾸는 작업입니다. 뜻이 비슷한 글은 가까운 좌표에 놓이기 때문에, 단어가 달라도 뜻으로 찾을 수 있게 됩니다. "휴가 신청"과 "연차 쓰는 법"이 서로 가깝게 찍힙니다.
신입으로 치면 서류를 제목이 아니라 내용별로 분류해 번호를 매기는 일.
임베딩으로 만든 좌표를 저장해 두고, 질문과 가까운 좌표를 빠르게 찾아 주는 데이터베이스입니다. RAG가 "관련 부분을 찾는" 단계에서 주로 쓰입니다.
신입으로 치면 그 번호대로 정리된 문서 창고와 색인.
대화가 끝나도 남겨 두는 기록입니다. 내 직무, 선호하는 형식, 하던 일을 적어 뒀다가 다음 대화를 시작할 때 다시 꺼내 줍니다. ChatGPT·클로드의 "메모리" 기능이 이것이고, 2026년 현재는 무료 플랜에서도 쓸 수 있습니다.
신입으로 치면 퇴근해도 남는 업무 수첩. 컨텍스트 윈도우가 오늘 펼친 서류라면, 메모리는 서랍 속 수첩입니다.
여기서부터 AI는 "대답하는 직원"에서 "일을 끝내 오는 직원"이 됩니다. 2025년 이후 에이전트 관련 제품과 뉴스가 쏟아지는 칸입니다.
목표를 주면 스스로 계획하고, 도구를 쓰고, 결과를 확인하고, 다시 시도하기를 일이 끝날 때까지 반복하는 AI입니다. "답장 초안 써 줘"에 글만 주면 챗봇, 메일함을 열어 보내기 직전까지 해 두면 에이전트입니다.
신입으로 치면 시키면 결과물까지 들고 오는 사람.
AI가 "이 파일 열어 주세요", "이 검색 돌려 주세요"처럼 도구 사용을 요청하는 것입니다. AI는 글만 쓸 수 있으니 실제 실행은 바깥 프로그램이 하고, 결과를 다시 AI에게 돌려줍니다.
신입으로 치면 사내 시스템 사용 요청서를 내고 결과를 받아 보는 것.
모델 바깥에서 모델이 일할 수 있게 감싸 주는 장치 전체입니다. 반복 순서, 쓸 수 있는 도구, 권한, 기록, 검사가 다 여기에 들어갑니다. 개발자들 사이에서는 "에이전트 = 모델 + 하네스"라는 정리법이 쓰입니다. 같은 모델이라도 하네스에 따라 일솜씨가 크게 달라집니다.
신입으로 치면 자리·권한·업무 절차·검수 체계까지 갖춘 근무 환경 전체.
한정된 컨텍스트 윈도우에 지금 일에 필요한 것만 골라 넣는 설계 기술입니다. 어떤 지침은 처음부터 넣고, 어떤 자료는 필요할 때만 꺼내게 할지 정합니다.
신입으로 치면 이번 일에 꼭 필요한 서류만 추려서 건네주는 선배의 요령.
에이전트가 일을 쪼개 다른 에이전트에게 맡기는 구조입니다. 맡은 쪽은 따로 일하고 결과만 돌려주므로, 원래 에이전트의 컨텍스트가 덜 어지러워집니다.
신입으로 치면 조사는 동료에게 맡기고 요약 보고만 받는 것.
정해진 순간에 AI 판단과 상관없이 자동으로 실행되는 동작입니다. "파일을 고칠 때마다 검사 돌리기", "삭제 명령은 막기"처럼 안전장치로 많이 씁니다. 갈고리라는 뜻입니다.
신입으로 치면 본인이 잊어도 시스템이 자동으로 거는 결재·검사 절차.
AI가 알아서 일하다가도 메일 발송·결제·삭제처럼 되돌리기 어려운 일 앞에서는 멈추고 사람의 승인을 받게 하는 설계입니다.
신입으로 치면 큰 건은 반드시 팀장 결재를 받고 진행하는 규칙.
AI를 메일, 메신저, 드라이브, 사내 시스템 같은 바깥 프로그램과 잇거나, 업무 매뉴얼처럼 밖에서 능력을 더해 주는 단어들입니다. "우리 회사 시스템에 붙일 수 있느냐"는 질문은 거의 이 칸의 이야기입니다.
프로그램끼리 요청을 주고받는 공식 창구입니다. 내가 만든 프로그램이 클로드나 GPT를 쓰려면 이 창구로 요청을 보냅니다. 서비스마다 생김새가 달라서 하나하나 맞춰 연결해야 합니다.
신입으로 치면 부서마다 양식이 다른 공식 요청 창구.
AI가 바깥 서비스와 연결되는 공통 규격입니다. 앤트로픽이 2024년 11월에 공개했고, 2025년 12월에는 리눅스 재단 산하의 에이전틱 AI 재단으로 넘겨져 지금은 여러 AI 회사가 함께 관리합니다. 서비스가 MCP를 지원하면 AI 쪽에서 따로 맞춤 연결을 만들 필요가 줄어듭니다.
신입으로 치면 모든 부서가 같은 요청서 양식을 쓰기로 한 사내 표준.
특정 일을 하는 방법을 폴더 하나에 정리해 둔 것입니다. 순서를 적은 문서, 예시, 실행할 코드가 들어갑니다. AI는 평소에 이름과 짧은 설명만 보고 있다가 그 일이 오면 그때 폴더를 펼치므로, 많이 넣어 두어도 컨텍스트를 거의 차지하지 않습니다. 2025년 12월 개방 규격으로 공개돼 여러 AI 도구에서 쓸 수 있게 됐습니다.
신입으로 치면 책장에 꽂힌 업무별 매뉴얼 바인더. 평소엔 등만 보이다가 필요할 때 꺼냅니다.
플러그인은 스킬·MCP 연결·훅 등을 한 상자에 묶어 한 번에 설치하게 만든 꾸러미입니다. 커넥터는 "구글 드라이브 연결"처럼 서비스 하나를 버튼으로 붙이는 기능입니다. 서비스마다 '커넥터', '앱' 등 이름이 다릅니다.
신입으로 치면 매뉴얼·계정·권한이 한꺼번에 들어 있는 부서 전입 키트.
네 칸이 실제로 어떻게 맞물리는지 하나의 장면으로 따라가 보겠습니다. 어느 회사가 사내 메신저에 AI 도우미를 붙였고, 직원이 이렇게 물었습니다.
도우미는 대화 시작 전에 깔린 시스템 프롬프트대로 "사내 규정에 근거해서만 답한다"는 원칙을 지킵니다.
질문을 임베딩으로 바꿔 벡터 데이터베이스에서 "휴가 규정" 문단을 찾아냅니다. 질문에는 "연차"라고 썼지만 규정집 제목이 "휴가"여도 뜻으로 찾습니다. 이 전체 흐름이 RAG입니다.
남은 연차는 문서에 없습니다. 도우미는 인사 시스템을 조회하겠다는 도구 호출을 하고, 그 연결은 MCP나 API로 이어져 있습니다.
찾아온 규정과 조회 결과가 컨텍스트 윈도우에 함께 올라가고, LLM이 이를 읽고 답을 씁니다. 규정에 없는 말을 지어내는 환각을 줄이려고 답에 근거 조항을 함께 붙입니다.
직원이 "그럼 신청까지 해 주세요"라고 하면 도우미는 에이전트로 바뀝니다. 다만 신청서를 실제로 제출하기 직전에는 직원 본인의 확인을 받는 휴먼 인 더 루프 단계를 거칩니다.
이 순서, 권한, 확인 단계를 감싸고 있는 것 전체가 하네스입니다. 같은 LLM을 써도 하네스를 잘 짠 회사의 도우미가 훨씬 믿을 만합니다.
질문 하나에 네 칸의 단어 열 개 이상이 지나갔습니다. 거꾸로 말하면, 이 장면 하나를 떠올릴 수 있으면 열 개의 단어를 따로 외울 필요가 없습니다.
"RAG를 쓰면 환각이 사라진다"는 말은 사실이 아닙니다. 엉뚱한 문단을 찾아오면 AI는 그 엉뚱한 근거로 그럴듯하게 답합니다. RAG는 환각을 줄이는 방법이지 없애는 방법이 아닙니다. 그래서 답에 근거를 붙이게 하고, 사람이 확인할 수 있게 만드는 것이 함께 가야 합니다.
앞으로도 새 단어는 계속 나옵니다. 그때마다 이 세 가지만 물어보세요.
| 물어볼 것 | 이렇게 답이 나오면 |
|---|---|
| ① 모델 자체가 달라지는 이야기인가? | 1칸 · 머리 — 새 모델, 성능, 크기, 학습 방법 |
| ② 모델은 그대로고, 보는 자료나 지침이 달라지는 이야기인가? | 2칸 · 자료철 — 검색, 문서, 기억, 지시문 |
| ③ AI가 직접 무언가를 실행하는 이야기인가? | 혼자 일을 진행하면 3칸 · 일하는 방식, 다른 프로그램과 잇거나 밖에서 능력을 더해 주는 방법이면 4칸 · 연결망 |
→ 모델을 새로 만든 게 아니라 자료를 붙인 이야기입니다. 2칸, RAG입니다. "파인튜닝했다"가 아니라는 점을 알아보면 비용 규모도 짐작이 됩니다.
→ AI가 직접 결제까지 진행하므로 3칸이고, 멈추는 장치는 휴먼 인 더 루프입니다. 여기까지 읽히면 "그럼 확인 없이 진행되는 일은 무엇인가"라는 다음 질문도 떠오릅니다.
→ 다른 프로그램과의 연결 규격 이야기이므로 4칸, MCP입니다.
헷갈리는 짝 다섯 쌍(파인튜닝 vs RAG, 컨텍스트 윈도우 vs 메모리, 챗봇 vs 에이전트, API vs MCP, 시스템 프롬프트 vs 스킬)과
칸마다 한 걸음 더 들어가는 단어 22개, 업체 제안서 문장을 칸으로 해석하는 연습을 다룹니다.