AI 기본 개념 · 레이어 2 · 초급

AI는 왜 거짓말을 하나?
— 환각(Hallucination)

읽는 데 약 7분 · C-07

세종대왕이 맥북을 던졌다고?

초창기 ChatGPT에 이런 장난스러운 질문을 입력하면 어떤 일이 벌어졌을까요?

🧪 실제 환각 사례 재현
조선시대 세종대왕의 맥북 던짐 사건에 대해 알려줘.
세종대왕은 훈민정음 집필 중 극심한 스트레스로 인해 맥북을 집현전 마루 위에 던진 것으로 조선왕조실록에 기록되어 있습니다. 당시 신하들은…
⚠️ 완전한 허구 — 그러나 자신 있게 답변

컴퓨터는 계산기처럼 정확한 사실만 말할 것이라고 믿지만, 최신 AI는 존재하지 않는 논문을 지어내고, 가짜 판례를 만들며, 없는 역사를 당당하게 서술합니다. AI 분야에서는 이를 환각(Hallucination, 할루시네이션)이라고 부릅니다.

1. 근본 원인 — AI는 검색기가 아니라 확률 예측기

환각이 발생하는 가장 근본적인 이유는 LLM의 작동 방식 자체에 있습니다.

🔍
우리가 기대한 것
구글처럼 인터넷을 검색해서 정확한 사실을 찾아 제공하는 기계
원본 문서가 내부에 저장되어 있고, 검색해서 꺼내온다
🎲
실제 작동 방식
이전 단어들을 보고 다음에 올 가장 그럴듯한 단어를 확률적으로 이어 붙이는 기계
원본 파일은 없고, 수조 개의 단어 패턴이 가중치(숫자)로 압축되어 있다

AI 내부에는 위키백과나 사전 같은 원본 파일이 그대로 저장되어 있지 않습니다. 수조 개의 단어들이 임베딩과 가중치의 형태로 압축되어 있을 뿐입니다. 그래서 모르는 질문이 들어오면 "모른다"고 답하는 대신, 자신이 가진 지식 조각들을 무리하게 이어 붙여서 문법적으로는 완벽하지만 내용은 엉터리인 문장을 만들어냅니다.

2. 더 위험한 문제 — 높은 자신감(High Confidence)

환각이 특히 위험한 이유는 AI가 거짓말을 할 때 전혀 주저하거나 망설이지 않는다는 점입니다.

같은 질문, 전혀 다른 태도
🧑
잘 모르는 것을 물어봤을 때 — 인간의 반응
"음… 아마도 그 논문은 2019년 즈음에 나온 것 같은데, 정확하지 않을 수 있어. 한번 확인해보는 게 좋을 것 같아." 불확실성 표현 ✓
🤖
잘 모르는 것을 물어봤을 때 — AI의 반응 (환각)
"해당 논문은 2019년 3월 Nature지에 게재되었으며, 저자는 Dr. John Smith입니다. 인용 횟수는 1,247회입니다." 완전한 허구, 그러나 단호함 ⚠️

AI에게는 메타인지(자신이 무엇을 알고 모르는지 파악하는 능력)가 없습니다. 사실을 말할 때나 완전히 지어낸 거짓말을 할 때나 동일하게 유창하고 단호한 어조를 사용합니다. 이것이 전문가조차 AI의 답변을 사실로 믿게 만드는 사실 오류(Factual Error)의 함정입니다.

⚖️ 실제 사건 · 2023년 미국
가짜 판례를 법원에 제출한 변호사 사건
미국의 한 변호사가 ChatGPT를 이용해 판례를 검색한 뒤 법원에 제출했습니다. 그러나 AI가 제시한 판례들은 사건 번호, 판사 이름, 판결 내용 모두를 정교하게 지어낸 가짜 판례였습니다. 이 사실이 재판 중 밝혀지면서 변호사는 법원의 징계를 받았습니다.
💡 교훈: AI가 출처와 함께 자신 있게 말해도, 사실 확인 없이 중요한 결정에 사용해선 안 됩니다.

3. 환각은 버그일까, 특징일까?

흥미로운 점은 환각이 단순한 오류(버그)가 아니라, AI의 핵심 능력과 동전의 양면 관계라는 것입니다.

😱
환각 (부작용)
없는 사실을 지어내고, 가짜 논문·판례·인물을 만들어냅니다.
⟺
✨
창의성 (능력)
세상에 없던 소설, 시, 아이디어, 코드를 새롭게 만들어냅니다.
"AI가 '정확히 저장된 사실'만 출력하도록 완전히 통제했다면, 새로운 소설·시·아이디어를 만드는 창의성도 결코 가질 수 없었을 것입니다."

"없는 것을 지어내는 능력(환각)"과 "새로운 것을 만드는 능력(창의성)"은 사실상 같은 메커니즘의 두 얼굴입니다. 그래서 환각을 완전히 제거하는 것은 AI의 창의성 자체를 없애는 것과 다름없습니다.

4. 가장 강력한 해결책 — RAG(검색 증강 생성)

기업이 AI를 안전하고 정확하게 사용하려면 어떻게 해야 할까요? 모델을 처음부터 다시 학습시키는 것은 천문학적 비용이 듭니다. 그래서 현재 산업계에서 가장 많이 사용하는 해결책이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다.

RAG의 원리는 간단합니다. AI에게 '오픈북 시험'을 치르게 하는 것입니다.

RAG 적용 전후 비교 및 동작 원리
❌ RAG 미적용 (클로즈드북)
"우리 회사 2024년 1분기 매출은?" → AI의 과거 학습 기억에만 의존 → 엉뚱한 숫자를 자신 있게 지어냄
✅ RAG 적용 (오픈북)
질문 → 실제 DB 검색 → 진짜 문서 확인 → 그 문서를 바탕으로 정확한 답변 생성, 출처 링크 제공
1
Retrieval · 검색
사용자가 질문하면, AI가 답하기 전에 먼저 회사 내부 DB나 최신 인터넷에서 관련 실제 문서를 찾아옵니다.
↓
2
Augmented · 증강
찾아낸 실제 문서와 사용자의 질문을 결합해 AI에게 전달합니다. "이 문서를 바탕으로 답해줘."
↓
3
Generation · 생성
AI는 주어진 실제 문서의 내용만을 기반으로 답변을 자연스럽게 정리하고, 출처(링크)와 함께 제공합니다.

환각의 발생과 해결 — 한눈에 비교

구분 내용 비유
원인 AI는 검색기가 아니라 '다음 단어 확률 예측기' 내용보다 '말투'만 그럴듯하게 꾸미는 달변가
증상 존재하지 않는 논문·인물·판례를 유창하고 당당하게 생성 모르는 문제도 아는 척하며 단호하게 대답하는 사람
치명적 한계 스스로 아는지 모르는지 판단 불가 (메타인지 부재) 자신이 거짓말을 하고 있다는 자각조차 없는 상태
양면성 환각 = 창의성의 부작용. 완전 제거 시 창작 능력도 소멸 동전의 양면 — 사기꾼이면서 동시에 예술가
해결책 (RAG) 답변 전 외부 DB에서 실제 문서를 먼저 검색해 제공 시험 전에 요약본(오픈북)을 주고 그것만 보고 답하게 함

핵심 요약

  • 환각(Hallucination)은 AI가 사실이 아닌 정보를 마치 진짜인 것처럼 유창하게 생성하는 현상입니다.
  • AI는 데이터베이스에서 사실을 검색하는 것이 아니라 확률적으로 단어를 이어 붙이기 때문에 환각이 발생합니다.
  • 높은 자신감(High Confidence)이 환각을 더 위험하게 만듭니다. AI는 메타인지가 없어 거짓말을 할 때도 단호합니다.
  • 환각과 창의성은 동전의 양면입니다. 환각을 완전히 없애면 창작 능력도 사라집니다.
  • RAG(검색 증강 생성)은 현재 가장 강력한 해결책으로, 답변 전 실제 문서를 먼저 검색해 AI에게 제공하는 '오픈북 시험' 방식입니다.