콘텐츠로 이동

P6-19.1 한계와 구조 전환의 흐름으로 읽는 LLM 발전사

Section ID: P6-19.1 Version: v2026.07.24

오늘의 LLM(large language model)을 이해할 때 자주 생기는 오해는 갑자기 등장한 거대한 모델로만 보는 것입니다. 하지만 실제로는 언어 모델(language model), 임베딩, 순차 모델(sequence model), Attention, Transformer, 대규모 사전학습(pretraining)이 겹치며 지금의 생성 경험을 만들었습니다.

이 절은 그 흐름을 사건 이름 나열이 아니라 어떤 한계를 줄이려다 다음 구조가 나왔는가라는 기준으로 다시 묶습니다. 여기서는 장의 위치 설명보다 왜 n-gram 다음에 임베딩이 나오고, 왜 RNN 다음에 attention과 Transformer가 나왔는가를 먼저 읽는 기준이 더 중요합니다.

한계와 구조 전환의 흐름

핵심 질문은 다음과 같습니다.

  • LLM 이전에는 언어를 어떻게 모델링했는가?
  • 임베딩과 순차 모델은 어떤 문제를 해결하려 했는가?
  • Attention과 Transformer는 왜 전환점이 되었는가?
  • 사전학습 LLM은 무엇을 바꾸었는가?

LLM 발전사는 어떤 한계를 줄이려다 다음 구조가 나왔는가라는 큰 흐름으로 읽는 편이 안전합니다. 사건 이름보다 구조 전환 순서가 먼저 보여야 합니다.

여기서는 세부 구조를 모두 외우기보다, 어떤 한계가 다음 전환을 불렀는가를 먼저 묶는 데 집중합니다. 토큰, Transformer, GPT, 사전학습을 이미 읽은 뒤라면, 이제는 그 구조가 어떤 역사적 전환을 거쳐 왔는지 한계 -> 다음 구조 순서로 다시 말할 수 있으면 됩니다.

먼저 남길 전환만 압축하면 아래 일곱 단계면 충분합니다.

전환 줄이려던 한계 남겨야 할 한 줄
n-gram 긴 문맥 일반화 부족 언어를 확률 문제로 보기 시작했다
임베딩 단어를 완전히 분리된 기호로만 다룸 비슷한 표현을 더 가깝게 볼 수 있게 했다
RNN/Seq2Seq 순서를 길게 다루기 어려움 앞 문맥을 뒤 해석에 더 오래 연결하려 했다
Attention 고정 길이 압축 병목 필요한 위치를 다시 참고하게 만들었다
Transformer 순차 계산 병목 관계 계산을 중심 구조로 올렸다
사전학습 과업별로 매번 처음부터 맞춤 큰 언어 패턴을 먼저 배우고 재사용하게 했다
GPT형 인터페이스 과업별 모델 분리 감각 하나의 생성 인터페이스에서 여러 과업이 닫히게 했다

사건 이름과 구조 전환 흐름의 구분

  • LLM 발전사를 몇 개의 큰 전환점으로 설명할 수 있습니다.
  • 통계적 언어 모델(statistical language model), 임베딩, RNN, Attention, Transformer, 사전학습의 위치를 구분할 수 있습니다.
  • LLM을 AI 전체와 동일시하지 않고, 언어 모델 계열의 한 흐름으로 설명할 수 있습니다.
  • 직접 계보와 주변 근거를 나눠 읽을 준비를 할 수 있습니다.

1단계. 언어를 확률 문제로 다루기 시작했다

초기 언어 모델(language model)의 핵심 질문은 단순했습니다.

  • 앞의 단어를 보고 다음 단어가 무엇일 가능성이 높은가?
  • 어떤 문장열이 더 그럴듯한가?

이 단계에서는 n-gram 같은 방식이 널리 쓰였습니다. 짧은 문맥 안에서 단어 빈도를 세어 다음 단어 확률을 근사하는 접근입니다.

이 시기의 핵심 공헌은 다음과 같습니다.

  • 언어를 규칙 목록만이 아니라 확률(probability) 문제로 다루기 시작했다
  • 다음 단어 예측이라는 관점이 분명해졌다

하지만 한계도 분명했습니다.

  • 긴 문맥을 잘 다루기 어렵고
  • 드문 표현과 새로운 조합에 약하며
  • 비슷한 단어끼리 일반화하기 어렵습니다

2단계. 단어를 벡터로 표현하기 시작했다

다음 전환은 임베딩(embedding)입니다.

단어를 one-hot처럼 완전히 분리된 기호로만 두지 않고, 여러 숫자로 된 벡터로 표현하면 비슷한 문맥에서 쓰이는 단어가 어느 정도 가까운 위치를 가질 수 있습니다.

이 단계에서 중요해진 질문은 다음입니다.

  • 고양이와 개처럼 비슷한 쓰임의 단어를 모델이 어떻게 더 가깝게 볼 수 있는가?
  • 텍스트를 어떻게 계산 가능한 연속 표현(continuous representation)으로 바꿀 수 있는가?

word2vec 같은 연구는 이 감각을 널리 퍼뜨렸습니다. 이 시기 이후 언어 모델은 다음 단어 확률뿐 아니라 좋은 표현 공간(representation space)을 함께 배우는 방향으로 강하게 움직입니다.

3단계. 순서를 신경망 구조로 다루기 시작했다

언어는 순서(sequence)가 중요한 데이터이므로, 단어 벡터를 얻었다고 끝나지 않습니다. 앞 문맥이 뒤 해석에 영향을 주는 구조를 더 잘 다뤄야 했습니다.

이 단계에서 RNN(recurrent neural network), LSTM(long short-term memory), GRU(gated recurrent unit)가 중요해졌습니다.

이 구조들은 다음 문제를 해결하려 했습니다.

  • 앞에서 본 정보를 뒤까지 전달할 수 있는가?
  • 순서가 있는 문장을 상태(state)로 누적할 수 있는가?
  • 긴 문맥에서도 정보를 덜 잃을 수 있는가?

기계번역(machine translation) 같은 문제에서는 Seq2Seq(sequence-to-sequence)도 큰 전환이었습니다.

  • 입력 문장을 읽고
  • 내부 표현을 만들고
  • 출력 문장을 생성한다

이 흐름이 만들어졌기 때문입니다.

4단계. Attention이 병목을 줄였다

RNN 기반 Seq2Seq는 강력했지만, 입력 전체를 하나의 고정 길이 표현으로 압축하는 병목(bottleneck) 문제가 있었습니다.

Attention은 이 문제를 줄이려 했습니다.

  • 출력 단어를 만들 때
  • 입력 전체를 다시 훑어보고
  • 관련 있는 위치에 더 큰 가중치를 주는 방식입니다

이렇게 기억하면 충분합니다.

Attention은 모델이 필요한 순간에 입력의 관련 부분을 다시 참고하게 만든 구조다.

이 단계가 중요한 이유는, LLM으로 가는 직접적인 구조 전환이 여기서 시작되기 때문입니다.

5단계. Transformer가 중심 구조를 바꿨다

Transformer는 Attention을 보조 장치가 아니라 중심 구조로 올려놓았습니다.

이 전환의 의미는 매우 큽니다.

  • 긴 순차 계산에 덜 묶이고
  • 병렬 처리(parallel processing)에 더 잘 맞고
  • 토큰들 사이 관계를 더 직접적으로 계산할 수 있게 되었기 때문입니다

Part 6 앞부분에서 이미 본 것처럼, Transformer는 self-attention을 중심에 두고 token-to-token 관계를 큰 행렬 연산으로 다룹니다.

이 구조는 GPU 기반 대규모 학습과 잘 맞았습니다. 그래서 Transformer는 단순히 번역 모델 하나가 아니라, 이후 LLM 확산의 기반 구조가 됩니다.

6단계. 사전학습이 모델 사용 방식을 바꿨다

다음 전환은 사전학습(pretraining)입니다.

모델을 특정 작은 과업에 바로 맞추는 대신, 먼저 대규모 텍스트에서 일반적인 언어 패턴을 배우게 하고, 그 뒤에 여러 작업으로 연결하는 방식이 중심이 되었습니다.

이 단계에서 중요한 변화는 다음과 같습니다.

  • 언어 패턴을 먼저 크게 학습한다
  • 이후 fine-tuning 또는 prompt 기반 사용으로 연결한다
  • 하나의 큰 모델이 여러 과업을 처리할 가능성이 커진다

이 전환은 BERT와 GPT 계열에서 서로 다른 방향으로 강하게 나타납니다.

7단계. LLM은 생성 인터페이스를 넓혔다

GPT 계열이 커지면서 사용자 경험도 달라졌습니다.

  • 모델에게 자연어로 지시를 줄 수 있고
  • 예시를 몇 개 넣어 행동을 바꿀 수 있으며
  • 같은 모델이 요약, 분류, 번역, 초안 작성, 코드 생성 등 여러 작업을 수행하는 것처럼 보이기 시작했습니다

이때 사용자는 종종 AI 전체가 LLM이 되었다고 느끼기 쉽습니다. 하지만 더 안전한 설명은 다음입니다.

LLM은 AI 전체가 아니라, 언어와 생성 인터페이스에서 매우 큰 전환을 만든 한 계열이다.

이 흐름을 아주 단순하게 그리면

flowchart TD
  A["통계적 언어 모델"]
  B["임베딩과 분산 표현"]
  C["RNN / LSTM / Seq2Seq 계열"]
  D["attention 전환"]
  E["Transformer 전환"]
  F["대규모 사전학습"]
  G["현대적 LLM 경험"]

  A --> B --> C --> D --> E --> F --> G

이 도식은 복잡한 세부보다 큰 전환의 순서를 잡기 위한 것입니다. 그래서 이 도식에서 확인해야 할 결과는 통계적 언어 모델, 임베딩, 순차 모델, attention, Transformer, 대규모 사전학습이 서로 뒤섞이지 않고 어떤 순서로 이어졌는지 실제로 설명할 수 있는가입니다.

사례 및 예시

사례 1. 번역

번역은 단어를 다른 언어 단어로 바꾸는 일처럼 먼저 떠올리기 쉽습니다. 하지만 문장이 길어지면 앞부분 주어, 부정 표현, 수식 범위가 뒤쪽 표현 선택까지 이어져서 단순 치환 기준은 곧 무너집니다. 이 장면은 발전사에서 왜 짧은 빈도 계산 -> 순서 처리 -> 관련 위치 재참조가 차례로 필요해졌는지를 가장 빨리 보여 줍니다. 그래서 이 사례에서 확인해야 할 결과는 단어 치환 규칙보다 긴 문장 관계를 더 넓게 다루는 구조가 실제로 더 안정적인가입니다.

처음 붙들기 쉬운 단순 직관 실제로 빠져 있는 것 그래서 필요해진 구조
단어 뜻만 바꾸면 된다 긴 거리 관계와 문장 전체 상태 Seq2Seq, Attention
앞에서부터 순서대로 치환하면 된다 뒤 문맥이 앞 선택을 다시 바꾸는 경우 관련 위치 재참조 구조
사전 대응이 많으면 충분하다 자연스러운 전체 문장 구성 Transformer 기반의 넓은 문맥 처리

사례 2. 검색과 임베딩

환불이 늦어요를 검색했는데 문서에는 환급 처리 지연이라고 적혀 있으면, 같은 단어가 없으니 못 찾는 것이 당연하다고 느끼기 쉽습니다. 하지만 실제 서비스에서는 사용자 표현과 문서 표현이 계속 어긋나기 때문에 단어 일치 기준만으로는 관련 문서를 자꾸 놓칩니다. 이 장면은 발전사에서 왜 표현 공간이 중요해졌고, 그 흐름이 나중에 벡터 검색과 RAG로 이어졌는지를 다시 압축해 보여 줍니다. 그래서 이 사례에서 확인해야 할 결과는 같은 단어가 없더라도 비슷한 의미의 문서가 검색 후보로 다시 살아나는가입니다.

표면 일치 기준으로 보면 실제 서비스에서 생기는 문제 표현 공간 관점이 주는 변화
같은 단어가 없으면 다른 문제처럼 보임 비슷한 뜻의 문서를 자꾸 놓침 비슷한 의미 표현을 더 가깝게 비교함
검색은 단어 맞춤 게임처럼 보임 사용자 말투가 바뀌면 검색 품질이 급락함 표현이 달라도 관련 후보를 다시 살릴 수 있음
문서 제목 단어만 맞으면 충분해 보임 본문 표현 차이와 우회 표현을 놓침 벡터 검색, RAG 같은 흐름과 직접 연결됨

사례 3. 챗봇 경험

사용자가 하나의 대화창에서 요약, 분류, 문장 수정 같은 일을 연달아 시키면, 처음부터 모든 일을 하는 거대한 비서가 등장했다고 느끼기 쉽습니다. 하지만 실제로는 다음 단어 예측, 표현 학습, 긴 문맥 처리, Attention, Transformer, 대규모 사전학습이 차례로 쌓이며 하나의 인터페이스에서 여러 과업이 닫히는 상태가 만들어졌습니다. 그래서 이 사례에서 확인해야 할 결과는 오늘의 챗봇 경험을 하나의 갑작스러운 발명으로 보기보다, 여러 구조 전환의 누적으로 설명할 수 있는가입니다.

세 사례를 역사 흐름 관점으로 묶으면 다음과 같습니다.

상황 처음에는 단순하게 보이는 것 실제로는 누적되어 온 구조 변화
번역 단어 치환 문제 긴 문장 관계, attention, Transformer로의 확장
검색과 임베딩 같은 단어 찾기 의미가 비슷한 표현을 가깝게 두는 표현 학습
챗봇 경험 대화창 하나가 모든 일을 처리함 여러 과업을 하나의 인터페이스에서 닫게 한 구조 누적

구조 전환 흐름으로 다시 읽을 장면

발전사를 처음 읽을 때 자주 생기는 오해는 사건 이름을 순서대로 외우는 데 집중하고, 왜 다음 구조가 필요해졌는가를 놓치는 점입니다. 하지만 기준으로 삼아야 하는 것은 연도 암기보다 무슨 한계가 다음 전환을 밀어냈는가입니다. 이 기준을 실무 질문으로 바꾸면 다음처럼 읽을 수 있습니다.

이런 의심이 들면 먼저 던질 질문
왜 또 다른 구조가 필요했지? 바로 앞 구조가 못하던 것은 무엇이었는가?
이건 검색 이야기인가 모델 이야기인가? 표현 일반화 문제와 긴 순서 처리 문제를 구분했는가?
LLM이 갑자기 다 해내는 것처럼 보인다 여러 전환이 어떤 순서로 쌓였는가?

먼저 익혀야 하는 기준은 단순합니다. 발전사는 이름 목록이 아니라, 빈도 계산의 한계 -> 표현 공간 필요 -> 긴 순서 처리 필요 -> 관련 위치 재참조 -> Transformer -> 사전학습처럼 한계를 줄이려던 구조 전환의 연속으로 읽는 편이 안전합니다.

발전사 축에서 보이는 구조 전환

이 절에서 필요한 활동은 코드를 실행해 작은 결과값을 확인하는 일이 아니라, 눈앞의 기능이나 사례를 발전사 축에 다시 배치해 보는 일입니다. LLM 발전사를 이해할 때 더 중요한 것은 어떤 계산을 흉내 낼 수 있는가보다 어떤 한계 때문에 다음 구조가 필요해졌는가를 말로 구분하는 능력입니다.

다음 표는 앞에서 본 사례를 발전사 축으로 다시 접는 기준입니다. 각 행에서 확인해야 할 것은 기술 이름 자체가 아니라, 그 기술이 줄이려던 한계와 다음 구조로 이어지는 이유입니다.

관찰 장면 바로 대응되는 역사 단계 지금 독자가 얻어야 할 판단
다음 단어를 짧은 문맥 빈도로 예측한다 통계적 언어 모델 출발점 빈도만으로는 긴 문맥과 새로운 조합에 약하다는 한계를 읽어야 합니다.
환불과 환급, 늦음과 지연처럼 표현이 달라도 비슷한 뜻을 묶어야 한다 임베딩과 표현 일반화 방향 같은 단어가 없어도 비슷한 의미를 비교할 표현 공간이 필요하다는 점을 읽어야 합니다.
승인합니다와 승인하지 않습니다처럼 순서와 부정 표현이 의미를 바꾼다 RNN, LSTM, GRU 같은 순차 처리 문제의식 단어가 비슷해도 앞뒤 상태를 놓치면 문장 해석이 무너진다는 점을 읽어야 합니다.
긴 문장 번역에서 지금 생성할 단어와 관련된 입력 위치를 다시 봐야 한다 Attention과 Transformer 전환 필요한 순간에 관련 위치를 다시 참고하는 계산이 구조 중심으로 올라왔다는 점을 읽어야 합니다.
하나의 큰 모델이 요약, 분류, 번역, 초안 작성을 같은 인터페이스에서 처리한다 사전학습과 GPT형 인터페이스 과업별 모델을 따로 떠올리던 감각에서 큰 언어 패턴을 재사용하는 감각으로 이동해야 합니다.

연습: 기능 장면을 발전사 축에 놓기

다음 기능을 보고, 어느 역사 단계의 문제의식이 가장 직접적으로 연결되는지 먼저 적어 보세요. 하나만 고르기 어렵다면 빈도, 표현, 순서, 관련 위치 재참조, 사전학습 중 두 개를 함께 써도 됩니다.

  1. 고객이 환불이 늦어요라고 말해도 환급 처리 지연 안내 문서를 잘 찾는다.
  2. 긴 이메일 스레드에서 마지막 요청이 무엇인지 요약한다.
  3. 하나의 채팅 인터페이스에서 번역, 초안 작성, 분류를 모두 처리하는 것처럼 보인다.
  4. 같은 질문에 예시를 조금 바꾸면 답변 스타일이 같이 달라진다.

위 네 장면을 먼저 분류한 뒤, 아래 해설과 비교해 보세요.

기능 장면 먼저 표시할 발전사 축 확인 해설
고객이 환불이 늦어요라고 말해도 환급 처리 지연 안내 문서를 잘 찾는다 표현 같은 단어가 없어도 비슷한 의미를 묶어야 하므로 임베딩과 표현 공간의 문제의식이 가장 직접적입니다.
긴 이메일 스레드에서 마지막 요청이 무엇인지 요약한다 순서, 관련 위치 재참조 긴 입력의 앞뒤 흐름을 따라가면서도, 현재 요약에 필요한 위치를 다시 봐야 하므로 순차 처리와 attention 문제가 함께 보입니다.
하나의 채팅 인터페이스에서 번역, 초안 작성, 분류를 모두 처리하는 것처럼 보인다 사전학습, GPT형 인터페이스 과업별 모델을 따로 만들기보다, 큰 언어 패턴을 먼저 배운 모델을 여러 지시로 재사용하는 감각이 중심입니다.
같은 질문에 예시를 조금 바꾸면 답변 스타일이 같이 달라진다 사전학습, 문맥 사용 모델이 현재 입력 문맥 안의 예시를 조건처럼 읽어 생성 방식을 바꾸므로, pretraining 이후 prompt 기반 사용 감각과 연결됩니다.

이 연습에서 정답보다 중요한 것은 이유입니다. 검색은 표현 문제, 요약은 긴 문맥과 관련 위치 문제, 채팅 인터페이스는 사전학습 이후 사용 방식 문제처럼 기능을 구조 전환의 이유로 다시 설명할 수 있으면 이 절의 목적은 닫힙니다.

한계에서 다음 구조로 이어지는 기준

이제 전체 흐름을 본 뒤에는 각 단계의 세부 구현을 모두 기억할 필요가 없다는 점도 더 분명해집니다. 우선은 다음 정도를 기준으로 삼으면 됩니다.

지금 남기면 충분한 것 앞서 읽은 본류에서 다시 확인할 곳
언어 모델은 다음 표현을 예측한다는 문제의식에서 출발했다 P6-6.1 다음 토큰 예측
임베딩은 기호를 계산 가능한 벡터로 바꾸는 전환이었다 P6-3.1 토큰 ID를 비교 가능한 좌표로 바꾸는 임베딩
Attention과 Transformer가 구조 전환점이었다 P6-4.1 Transformer는 LLM에서 어떻게 다음 후보 점수로 이어지는가
사전학습이 모델 사용 방식을 바꾸었다 P6-7.1 사전학습

즉, 더 중요한 것은 역사 전체를 길게 외우는가보다 왜 본류가 그런 순서로 배치되었는가를 설명할 수 있는가입니다.

확인해야 할 결과는 GPT, 다음 토큰 예측, 사전학습 같은 본류 설명을 단순 기능 나열이 아니라, 각 구조가 어떤 한계를 메우며 다음 단계로 이어졌는지의 흐름으로 다시 읽을 수 있게 되는가입니다.

  • Part 6 앞부분의 Transformer를 Part 6의 LLM 계보 안에 다시 위치시키고
  • 이후 BERT, GPT, pretraining, instruction tuning, RAG를 읽을 때 구조적 혼동을 줄이며
  • LLM을 AI 전체와 동일시하는 오해를 줄이기 때문입니다

체크리스트

  • LLM 발전사를 사건 이름 나열이 아니라 빈도 -> 표현 -> 순서 -> 관련 위치 재참조 -> 사전학습의 전환 흐름으로 설명할 수 있어야 합니다.
  • 번역, 검색, 챗봇 경험을 볼 때 각각 어떤 역사 단계의 문제가 깔려 있는지 말할 수 있어야 합니다.
  • Transformer 이전의 문제의식과 사전학습 이후의 사용 방식 변화가 함께 있어야 현재 LLM을 더 정확히 읽을 수 있다는 점을 설명할 수 있어야 합니다.

출처와 참고 자료