AI는 왜 거짓말을 하나?
— 환각(Hallucination)

세종대왕이 맥북을 던졌다고?

2023년 2월, 초창기 ChatGPT에 장난스러운 질문을 넣은 화면이 온라인에서 크게 화제가 됐습니다. AI는 어떻게 답했을까요?

컴퓨터는 계산기처럼 정확한 사실만 말할 것이라고 믿지만, 최신 AI는 존재하지 않는 논문을 지어내고, 가짜 판례를 만들며, 없는 역사를 당당하게 서술합니다. AI 분야에서는 이를 환각(Hallucination, 할루시네이션)이라고 부릅니다.

1. 근본 원인 — AI는 검색기가 아니라 확률 예측기

환각이 발생하는 가장 근본적인 이유는 LLM의 작동 방식 자체에 있습니다.

AI 내부에는 위키백과나 사전 같은 원본 파일이 그대로 저장되어 있지 않습니다. 수조 개의 단어들이 임베딩과 가중치의 형태로 압축되어 있을 뿐입니다. 그래서 모르는 질문이 들어오면 "모른다"고 답하는 대신, 자신이 가진 지식 조각들을 무리하게 이어 붙여서 문법적으로는 완벽하지만 내용은 엉터리인 문장을 만들어냅니다.

훈련 방식도 한몫합니다. 2025년 9월 OpenAI 연구는 지금의 훈련·평가 방식이 '모른다'고 답하는 모델보다 찍어서 맞히는 모델에 점수를 더 주기 때문에 모델이 추측하도록 학습된다고 설명합니다. 시험에서 빈칸으로 두면 0점이지만 찍으면 가끔 맞는 것과 같은 이치입니다. 거꾸로 말하면 모를 때 모른다고 하도록 가르치면 환각을 줄일 수 있다는 뜻입니다.

2. 더 위험한 문제 — 높은 자신감(High Confidence)

환각이 특히 위험한 이유는 AI가 틀린 말을 할 때도 주저하는 기색이 드러나지 않을 때가 많다는 점입니다.

AI는 자신이 아는지 모르는지를 어느 정도 가늠합니다(이런 능력을 메타인지라고 합니다). 하지만 그 가늠이 틀리거나 말투에 드러나지 않을 때가 많아, 모르는 것도 단호하게 말할 수 있습니다. 그래서 사실을 말할 때나 지어낸 말을 할 때나 비슷하게 유창하고 단호하게 들립니다. 이것이 전문가조차 AI의 답변을 사실로 믿게 만드는 사실 오류(Factual Error)의 함정입니다.

우리나라도 남의 일이 아닙니다. 2026년 3월 법원행정처가 AI가 만든 가짜 판례 인용에 대한 대응 방안을 내놓았습니다.

3. 환각은 버그일까, 특징일까?

흥미로운 점은 환각이 AI의 창작 능력과 같은 뿌리를 가졌다는 것입니다.

"환각과 창작은 둘 다 그럴듯한 다음 말을 만드는 같은 기반에서 나옵니다."

그래서 사실이 중요할 때는 줄이고, 창작에서는 살리는 균형이 필요합니다. 보고서·계약서·숫자를 다룰 때는 근거를 붙이고 확인하게 하고, 브레인스토밍·광고 문구·이야기를 만들 때는 자유롭게 상상하게 두는 식입니다.

4. 대표적인 해결책: RAG(검색 증강 생성)

기업이 AI를 안전하고 정확하게 사용하려면 어떻게 해야 할까요? 모델을 처음부터 다시 학습시키는 것은 큰 비용이 듭니다. 그래서 널리 쓰이는 방법이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다.

RAG의 원리는 간단합니다. AI에게 '오픈북 시험'을 치르게 하는 것입니다.

RAG는 근거 문서를 붙여 환각을 크게 줄이지만 완전히 없애지는 못합니다. 엉뚱한 문서를 찾거나 잘못 읽으면 여전히 틀립니다. 2024년 스탠퍼드 연구에서는 RAG를 쓴 법률 AI 도구도 질문의 약 17~33%에서 환각을 보였습니다. 그래서 RAG가 붙은 AI라도 답에 달린 출처를 한 번 열어 보는 습관이 필요합니다.

환각의 발생과 해결 — 한눈에 비교

구분	내용	비유
원인	AI는 검색기가 아니라 '다음 단어 확률 예측기'	내용보다 '말투'만 그럴듯하게 꾸미는 달변가
증상	존재하지 않는 논문·인물·판례를 유창하고 당당하게 생성	모르는 문제도 아는 척하며 단호하게 대답하는 사람
치명적 한계	아는지 모르는지 어느 정도 가늠하지만, 그 가늠이 틀리거나 말투에 드러나지 않을 때가 많음	확신이 없어도 표정에 드러나지 않는 사람
양면성	환각과 창작은 같은 기반(그럴듯한 다음 말 만들기)에서 나옴	같은 상상력을 보고서에서는 줄이고, 소설에서는 살린다
해결책 (RAG)	답변 전 관련 문서를 찾아 근거로 붙임. 환각을 크게 줄이지만 0은 아님	오픈북 시험. 책을 펴 놓아도 엉뚱한 쪽을 읽으면 틀린다

마무리: 틀리는 자리를 알면 더 믿고 맡길 수 있다

환각은 AI를 멀리할 이유가 아니라, 어디를 확인해야 하는지 알려 주는 지도입니다. 환각은 주로 정확한 숫자·날짜, 논문·판례 같은 출처, 잘 알려지지 않은 사실, 최신 소식에서 생깁니다. 이 자리만 확인하면 초안 쓰기, 요약, 아이디어 내기 같은 나머지 일은 마음 놓고 맡길 수 있습니다. 환각이 생기는 자리를 아는 사람이 AI를 가장 잘 믿고 쓰는 사람입니다.