의미를 계산하는 언어모델 — 통계적 문맥에서 의미적 문맥으로

이 글은 「문맥 이해의 진짜 정체」의 후속 편으로, GPT가 문맥을 단순한 확률 계산이 아니라 의미의 거리(semantic distance) 로 해석하는 과정을 설명합니다.
Embedding, Semantic Context, Attention 등 핵심 개념을 기술적으로 풀어내며, LLM이 단어 간 의미 관계를 수학적으로 모델링하는 방식을 직관적으로 정리했습니다.
다음 글에서는 이 원리를 실제 프롬프트 최적화에 적용하는 방법을 다룹니다.

---

앞선 글에서 GPT가 문맥을 ‘확률적으로 계산’한다는 점을 살펴봤다.

2025.10.18 - [AI, 기술적인 이야기들] - 문맥 이해의 진짜 정체 — GPT는 정말 ‘이해’하고 있을까?

문맥 이해의 진짜 정체 — GPT는 정말 ‘이해’하고 있을까?

이번 글에서는 그 계산이 단어의 통계적 관계를 넘어 의미의 거리로 확장되는 과정을 다룬다.
즉, 문맥의 통계적 계산이 어떻게 의미의 공간으로 확장되는가를 이해하는 글이다.

GPT에게 “사과”를 물어보면 과일로 답하지만,
“애플”을 물으면 기업으로 답한다.
이건 단순히 단어를 외운 게 아니라, 문맥 속 의미 관계를 계산한 결과다.

---

1️⃣ 통계적 문맥의 한계 — 토큰은 의미를 모른다

GPT는 문장을 토큰 단위로 나누고,
각 토큰이 다음에 올 확률을 계산한다.
하지만 이 방식에는 분명한 한계가 있다.

예를 들어 “배”라는 단어는
“과일”일 수도, “탈것(배)”일 수도, “신체기관(배)”일 수도 있다.
같은 단어라도 문맥에 따라 전혀 다른 의미로 쓰이는 것이다.

“섬, 바다, 항구” 같은 단어가 주변에 있으면 GPT는
‘배’를 탈것으로 인식할 확률을 높이고,
“달다, 과일, 먹다” 같은 단어가 있다면
과일로 해석할 가능성을 높인다.
“통증, 아프다, 위” 등의 단어가 등장하면
이번에는 신체기관으로 해석된다.

즉, GPT가 다루는 건
‘단어의 의미’가 아니라 ‘문맥의 통계적 패턴’이다.
그 판단은 이해가 아니라 확률의 결과다.

문맥이 확률로 표현되면, ‘의미’는 통계의 부산물에 머문다.

---

2️⃣ 의미를 벡터로 바꾸다 — Embedding

이 한계를 넘기 위해 등장한 개념이 Embedding이다.
Embedding은 단어를 벡터(숫자 좌표)로 바꿔
의미를 공간적 거리로 표현한다.

비슷한 의미를 가진 단어는 서로 가까운 위치에 있고,
다른 의미의 단어는 멀리 떨어진다.

예를 들어,
“왕 - 남자 + 여자 ≈ 여왕”처럼
수학적 연산으로 의미 유사도를 계산할 수 있다.

Embedding = 의미를 수학적으로 정렬하는 좌표계

---

3️⃣ 문맥의 의미적 거리 — Semantic Context

기존의 통계적 문맥은
문장 안에서 인접한 단어 간 확률만을 본다.
하지만 의미적 문맥에서는
단어 간 ‘의미 거리(semantic distance)’가 중심이 된다.

GPT는 Embedding 공간에서
‘사과–과일’은 가깝고 ‘사과–회사’는 멀다는 식으로
단어 간 의미 관계를 계산한다.

이렇게 형성된 의미 공간에서
모델은 “문맥 속 의미 흐름”을 재조합한다.

의미의 문맥은 단어의 위치가 아니라, 개념의 거리로 정의된다.

---

4️⃣ 문맥의 재구성 — Embedding에서 Attention으로

GPT 내부에서는 이 임베딩 벡터들이
Attention Layer를 통해 문맥적 중요도로 재가공된다.

즉,

• Embedding이 의미를 정리하고,
• Attention이 문맥을 조직한다.

이 두 구조가 결합하면서
GPT는 단어 간 의미 관계를 기반으로
하나의 문맥 네트워크를 만든다.

Embedding → Attention = 의미의 구조화 과정

---

5️⃣ 결론 — 통계에서 의미로

GPT의 ‘이해’는 단어를 해석하는 과정이 아니다.
대신 문맥의 확률을 의미적 거리로 변환해 계산하는 과정이다.

결국 GPT는

1. 문맥을 구조로 이해하고,
2. 확률로 계산하며,
3. 의미로 확장한다.

이제 다음 글에서는,
이 원리를 실제로 ‘문맥 최적화(프롬프트 설계)’에 적용하는 방법을 다룬다.

문맥의 이해 → 계산 → 의미 → 활용
GPT는 이렇게, 문장을 넘어 사고의 패턴을 계산하는 모델로 진화하고 있다.

---

핵심 요약

개념	설명	예시
Embedding	단어를 의미 공간의 벡터로 표현	“사과–과일”은 가깝고 “사과–회사”는 멀다
Semantic Context	단어 간 의미 거리 기반 문맥 계산	의미적 유사도를 기반으로 문장 이해
Attention	의미 벡터 간 가중치 계산	문맥 내 중요 단어 결정

 

---

다음 글에서는 GPT가 계산한 의미 구조가 실제 프롬프트 설계에서 어떤 영향을 미치는지를 살펴본다.

2025.10.18 - [AI, 기술적인 이야기들] - GPT가 프롬프트를 읽는 방식 — 문맥 최적화의 기술적 원리

GPT가 프롬프트를 읽는 방식 — 문맥 최적화의 기술적 원리

 

시리즈 흐름 안내

1️⃣ GPT는 문맥을 어떻게 이해할까? – 구조 이해

2025.05.25 - [AI, 기술적인 이야기들] - GPT는 문맥을 어떻게 이해할까? – 어텐션과 트랜스포머 구조 쉽게 보기

GPT는 문맥을 어떻게 이해할까? – 어텐션과 트랜스포머 구조 쉽게 보기

 

2️⃣ 문맥 이해의 진짜 정체 – 계산 구조

2025.10.18 - [AI, 기술적인 이야기들] - 문맥 이해의 진짜 정체 — GPT는 정말 ‘이해’하고 있을까?

문맥 이해의 진짜 정체 — GPT는 정말 ‘이해’하고 있을까?

 

\3️⃣ 의미를 계산하는 언어모델 – 의미 확장

2025.10.18 - [AI, 기술적인 이야기들] - 의미를 계산하는 언어모델 — 통계적 문맥에서 의미적 문맥으로

의미를 계산하는 언어모델 — 통계적 문맥에서 의미적 문맥으로

4️⃣ GPT가 프롬프트를 읽는 방식 – 실용적 최적화

2025.10.18 - [AI, 기술적인 이야기들] - GPT가 프롬프트를 읽는 방식 — 문맥 최적화의 기술적 원리

GPT가 프롬프트를 읽는 방식 — 문맥 최적화의 기술적 원리

 

 

---