LLM(거대언어모델)이란?

ChatGPT와 LLM은 같은 말일까요?

많은 사람이 ChatGPT와 LLM을 같은 의미로 사용하지만, 정확히 비유하자면 ChatGPT는 '자동차'이고 LLM은 그 자동차를 움직이는 '엔진'입니다.

LLM(Large Language Model, 거대언어모델)은 인간의 언어를 이해하고 생성할 수 있도록 엄청난 양의 텍스트 데이터를 학습한 거대한 AI 모델입니다. 과거에도 번역이나 맞춤법 검사를 위한 언어 모델은 있었지만, 앞에 '거대(Large)'라는 수식어가 붙으면서 AI는 완전히 새로운 차원의 지능을 갖게 되었습니다.

1. "거대하다"의 진짜 의미 — 파라미터(Parameter)

LLM에서 '거대(Large)'하다는 것은 물리적 크기가 아니라, 모델 내부를 구성하는 파라미터(매개변수)의 수가 천문학적으로 많다는 뜻입니다.

C-03에서 배운 것처럼, 파라미터는 뉴런들을 연결하는 가중치(Weight)의 총개수입니다. 인간의 뇌로 치면 뇌세포를 연결하는 시냅스와 같습니다. 파라미터가 많을수록 AI가 세상의 복잡한 지식과 규칙을 더 세밀하게 기억하고 계산할 수 있습니다.

2. 인터넷 전체를 읽어내는 AI의 교육 — 사전학습(Pre-training)

수천억 개의 파라미터를 어떻게 학습시킬까요? 사람이 일일이 정답을 알려줄 수 없기 때문에, 모델은 세상에 존재하는 거의 모든 텍스트를 스스로 읽어내는 과정을 거칩니다. 이를 사전학습(Pre-training)이라고 합니다.

• 학습 데이터: 위키백과, 뉴스, 논문, 블로그, 책, 소셜미디어, 프로그래밍 코드 등 수조(兆) 개의 단어
• 학습 목표: 단순히 글을 외우는 것이 아니라, "이 단어 다음에는 어떤 단어가 오는가?"를 스스로 깨우치는 것 (다음 단어 예측)
• 학습 결과: 문법만 배우는 것이 아니라 문맥·상식·추론·역사적 사실까지 자연스럽게 습득

"마치 아이가 수천 권의 책을 읽으면서 세상의 이치를 깨닫듯, LLM은 인터넷 전체를 읽으며 언어의 패턴과 세상의 지식을 동시에 배웁니다."

3. 현대 LLM의 설계도 — GPT의 의미

우리가 흔히 아는 GPT(Generative Pre-trained Transformer)는 OpenAI가 만든 LLM의 이름이자, 현대 언어 AI의 구조를 완벽하게 설명하는 약자입니다.

현재 시장의 주요 LLM들은 모두 이 GPT와 유사한 아키텍처를 기반으로 합니다.

4. 크면 클수록 더 똑똑해진다 — 스케일링 법칙(Scaling Law)

AI 연구자들은 LLM 개발 중 단순하지만 놀라운 법칙을 발견했습니다. 바로 스케일링 법칙(Scaling Law)입니다.

창발적 능력(Emergent Abilities) — 가르치지 않았는데 생겨난 능력

스케일링 법칙에서 가장 놀라운 발견은, 모델 크기를 일정 수준 이상으로 키웠을 때 연구자들이 전혀 의도하지 않은 새로운 능력들이 갑자기 나타났다는 것입니다.

일반 언어 모델 vs LLM — 한눈에 비교

특징	기존 언어 모델 (LM)	거대언어모델 (LLM)
파라미터 수	수백만 ~ 수천만 개	수백억 ~ 수조 개 이상
학습 데이터	특정 분야의 제한된 텍스트	인터넷에 존재하는 거의 모든 텍스트
주요 능력	단순 번역, 맞춤법 검사, 스팸 분류	복잡한 추론, 창작, 코딩, 맥락적 대화
창발적 능력	없음 (가르친 것만 수행)	있음 (가르치지 않은 작업도 스스로 수행)
비유	동네 도서관 사서	전 세계 모든 지식을 흡수한 대학자