P6-20.1 읽기 중심 Transformer 비교축으로 보는 BERT 계열¶

Section ID: P6-20.1 Version: v2026.07.23

같은 Transformer 계열 안에서도 입력 전체를 읽는 데 강한 흐름과, 다음 토큰을 생성하는 데 강한 흐름은 갈라집니다.

BERT 계열은 Transformer의 인코더(encoder)를 중심으로 입력 전체 문맥을 읽어 표현을 만드는 흐름이며, 생성보다 이해와 분류, 검색, 임베딩 과업에 더 잘 맞는 편입니다.

생성형 AI를 배우다 보면 Transformer 계열이면 모두 비슷하게 보이기 쉽습니다. 하지만 실제 서비스에서는 문장을 읽고 판단값을 내는 구조와 다음 토큰을 이어 생성하는 구조가 다르게 쓰이며, 이 차이를 구분해야 검색, 분류, 임베딩 앞단에서 왜 BERT 계열이 아직 중요한지 설명할 수 있습니다.

중요한 비교 질문은 BERT도 Transformer인데 왜 GPT와 역할이 다른가입니다. 새 본류를 길게 여는 대신 이미 읽은 생성 중심 흐름을 읽기 중심 Transformer 계열과 비교하는 기준을 세우는 편이 더 안전합니다.

읽기 중심 Transformer 비교축¶

비교 기준은 다음 질문에서 시작합니다.

BERT 계열은 Transformer 안에서 어떤 위치를 가지는가?
왜 BERT는 입력 전체를 함께 보는 모델이라고 설명되는가?
GPT 계열과 비교할 때 어떤 관점에서 다르게 읽어야 하는가?

BERT 계열은 입력 전체를 읽는 인코더 중심 Transformer 흐름으로 잡는 편이 안전합니다. 그래야 GPT 계열과 무엇이 다르게 쓰이는지도 더 선명해집니다.

다만 BERT 계열의 역할을 분류, 검색, 문장쌍 판단, 임베딩으로 길게 확장하기 전에 구조 차이를 먼저 고정해야 합니다. 검색과 임베딩의 실전 연결은 P6-12.1, P6-12.2의 검색 파이프라인 설명과 함께 다시 읽을 수 있습니다.

BERT는 LLM 이전의 옛 모델로 밀려난 것이 아니라, 지금도 분류, 검색, 임베딩 앞단에서 중요한 인코더 기반 흐름입니다. 여기서는 Part 6의 본류를 BERT로 옮기기보다, 앞서 읽은 GPT 계열과 생성형 AI 본류를 더 정확히 비교하기 위한 기준을 세우는 데 집중합니다.

먼저 남길 비교축만 압축하면 아래 네 줄이면 충분합니다.

비교축	BERT 계열	GPT 계열
중심 구조	encoder	decoder
읽는 방식	입력 전체 문맥을 함께 읽는다	앞 토큰을 보고 다음 토큰을 만든다
대표 출력	라벨, 점수, 관련도, 임베딩	이어지는 토큰, 문장, 답변
먼저 강한 과업	분류, 검색, 문장쌍 판단	생성, 대화, 초안 작성

읽기 중심 구조와 생성 중심 구조의 구분¶

BERT 계열을 encoder 중심 Transformer 흐름으로 설명할 수 있습니다.
BERT와 GPT의 차이를 생성 여부보다 문맥 읽기 방식과 주요 과업 기준으로 설명할 수 있습니다.
BERT 계열이 왜 분류, 검색, 임베딩 같은 작업과 잘 연결되는지 말할 수 있습니다.
이해 중심 태스크를 구조 비교의 연장선에서 읽을 수 있습니다.

BERT는 무엇의 약자인가¶

BERT는 Bidirectional Encoder Representations from Transformers의 약자입니다. 하지만 약어를 한 번에 보면 오히려 더 낯설 수 있습니다. 이름을 외우기보다 왜 이런 단어들이 붙었는가를 먼저 읽는 편이 좋습니다.

bidirectional
encoder
representations
Transformers

각 단어를 아주 짧게 풀면 다음과 같습니다.

단어	여기서 읽어야 할 뜻
bidirectional	앞 문맥과 뒤 문맥을 함께 본다
encoder	입력을 읽어 표현으로 바꾼다
representations	분류, 검색, 비교에 다시 쓸 수 있는 문맥 표현을 만든다
Transformers	그 표현을 만드는 기본 구조가 Transformer다

즉, BERT는 문장 전체를 함께 읽는 Transformer 인코더가, 문맥을 반영한 표현을 만든다는 생각을 이름 안에 담고 있습니다.

다음 한 줄로 먼저 기억해도 충분합니다.

BERT는 문장을 끝까지 읽고, 그 문장을 나중 작업에 다시 쓸 수 있는 표현으로 바꾸는 모델 흐름이다.

이 정도 기준만 잡아 두면, 앞서 읽은 GPT 계열이 왜 읽고 판단하는 구조보다 이어 생성하는 구조로 설명되는지도 더 선명하게 비교할 수 있습니다.

왜 `입력 전체를 본다`고 설명하나¶

GPT 계열은 보통 왼쪽 문맥을 바탕으로 다음 토큰을 예측하는 autoregressive 흐름으로 설명합니다. 반면 BERT 계열은 입력 문장 안의 앞뒤 문맥을 함께 사용해 특정 위치의 표현을 만듭니다.

예를 들어 다음 문장을 생각해 볼 수 있습니다.

은행에 돈을 맡겼다.

여기서 은행의 의미를 읽으려면 뒤쪽의 돈을 맡겼다도 중요합니다.

또 다른 문장을 보면:

강가의 은행나무를 보았다.

같은 은행이지만 뒤쪽 문맥이 달라 의미도 달라집니다.

BERT 계열의 핵심 직관은 다음과 같습니다.

토큰 하나의 표현은 그 토큰 자체만이 아니라, 앞뒤 전체 문맥을 함께 반영해 만들어진다.

BERT는 왜 생성보다 이해 쪽에 가깝다고 하나¶

여기서 이해라는 말을 너무 사람식으로 쓰면 위험합니다. 더 안전한 설명은 다음과 같습니다.

BERT 계열은 문장 전체를 읽고 각 위치의 문맥적 표현(contextual representation)을 만드는 데 강해서, 그 표현을 기반으로 분류, 검색, 문장쌍 비교 같은 과업에 잘 연결된다.

즉, BERT는:

다음 문장을 길게 생성하는 데 최적화된 구조라기보다
입력을 해석 가능한 표현 공간으로 바꾸는 데 강한 구조

로 읽는 편이 좋습니다.

GPT와 비교하면 무엇이 다르나¶

독자는 자주 이렇게 묻습니다.

BERT는 이해 모델이고 GPT는 생성 모델인가?

방향은 맞지만 너무 단순하면 오해가 생깁니다. 더 안전하게 비교하면 다음과 같습니다.

구분	BERT 계열	GPT 계열
중심 구조	encoder	decoder
기본 감각	입력 전체를 읽어 표현 생성	이전 토큰을 보고 다음 토큰 생성
강한 과업	분류, 검색, 문장쌍 판단, 임베딩	생성, 대화, 요약, 초안 작성
읽는 방식	양방향 문맥 활용	생성 방향에 맞춘 순차 예측

이 표의 핵심은 우열 비교가 아니라 용도 차이입니다. 그래서 이 표에서 확인해야 할 결과는 같은 Transformer 계열이라도 BERT와 GPT를 누가 더 낫다가 아니라 어떤 과업에 먼저 맞는가로 실제로 구분해 읽는가입니다.

왜 BERT 계열이 지금도 중요한가¶

생성형 AI 열풍 때문에 BERT 계열은 과거 기술처럼 보일 수 있습니다. 하지만 실제 서비스에서는 긴 답변 생성보다 읽고 분류하고 랭킹하는 앞단 판단이 필요한 구간에서 여전히 중요합니다.

예를 들어:

문서 분류
감성 분석
검색 랭킹
문장 임베딩
질의와 문서의 관련도 판단

같은 작업은 지금도 encoder 계열 표현 모델과 잘 맞습니다.

즉, GPT가 넓은 생성 인터페이스를 열었다고 해서 BERT 계열의 위치가 사라진 것은 아닙니다.

이 점은 챗봇용 인텐트 분석 도구를 떠올려 보면 더 쉽게 잡힙니다. 상용 클라우드 서비스에서도 사용자의 문장을 읽고 환불 요청, 배송 조회, 비밀번호 재설정 같은 의도(intent) 라벨을 붙이는 기능이 자주 등장합니다. 제품 화면과 설정 방식은 자주 바뀌어도, 중심 구조는 여전히 입력을 읽고 적절한 라벨이나 관련도를 판단한다는 흐름에 가깝습니다.

왜 BERT와 GPT를 함께 구분해야 하나¶

여기까지 읽으면 비교의 필요도 더 분명해집니다. 이 절의 핵심은 BERT를 따로 길게 파고드는 데 있지 않고, 같은 Transformer 계열 안에서도 읽고 판단하는 구조와 이어 생성하는 구조가 실제로 다른 과업을 떠받친다는 점을 먼저 구분하는 데 있습니다. 이 기준이 잡히면, P6-5.1 디코더 기반 누적 생성 구조로 보는 GPT 계열과 P6-6.1 긴 생성의 출발점이 되는 다음 토큰 예측을 더 직접 연결해 읽을 수 있습니다.

입력과 출력에서 갈리는 BERT와 GPT¶

생성형 모델과 BERT 계열의 차이는 무엇을 입력으로 받고 무엇을 출력으로 내놓는가로 보면 더 빨리 잡힙니다.

관점	BERT 계열에서 먼저 보는 것	GPT 계열에서 먼저 보는 것
입력	문장 하나, 문장쌍, 질문-문서 쌍	프롬프트, 대화 기록, 앞선 생성 토큰
중간 표현	문맥을 반영한 토큰 표현, 문장 표현	다음 토큰 확률 분포
출력	라벨, 점수, 관련도, 임베딩	이어지는 토큰, 문장, 답변 초안

즉, BERT 계열은 읽고 어떤 판단값을 낼 것인가에 더 가깝고, GPT 계열은 읽고 다음 출력을 어떻게 이어 갈 것인가에 더 가깝습니다.

이 차이는 챗봇 운영 도구를 볼 때도 드러납니다. 의도 분류(intent classification)나 라우팅 도구는 대개 사용자 문장을 어느 흐름으로 보낼지를 먼저 판단합니다. 반면 생성형 챗봇은 그 다음 단계에서 실제 답변 문장을 길게 이어 쓰는 경험을 전면에 둡니다. 그래서 둘은 경쟁 관계라기보다, 서비스 안에서 앞단의 읽기와 분류와 뒤단의 생성과 응답으로 나뉘어 함께 쓰이기도 합니다.

아주 단순하게 그리면¶

flowchart TD
  A["입력 토큰"]
  B["encoder Transformer 계층"]
  C["문맥 반영 토큰 표현"]
  D["분류 / 랭킹 / 임베딩 과업"]

  A --> B --> C --> D

이 도식에서 확인해야 할 결과는 BERT 계열이 문장을 읽은 뒤 곧바로 긴 답변을 생성하는 구조가 아니라, 문맥 표현을 만든 다음 그 표현을 분류, 검색, 임베딩 과업으로 연결하는 구조라는 점입니다.

사례 및 예시¶

사례 1. 문서 분류¶

문서 분류를 처음 보면 라벨에 가까운 단어가 들어 있느냐부터 세기 쉽습니다. 하지만 실제 문의 운영에서는 표면 단어보다 어느 처리 흐름으로 보내야 하는가가 더 중요합니다.

환불 단어가 없어도 환불 상태 문의일 수 있고, 취소 단어가 보여도 실제 병목은 계정 인증일 수 있습니다. 이 장면은 BERT 계열이 왜 문장 전체가 가리키는 처리 의도를 더 안정적으로 붙잡는 읽기 중심 구조로 설명되는지 보여 줍니다. 이 사례에서 확인해야 할 결과는 단어 표면이 달라도 같은 문의가 같은 처리 큐로 더 안정적으로 모이는가입니다.

같은 문의라도 표면 단어 기준과 문장 전체 기준은 아래처럼 다른 결과를 만들 수 있습니다.

문의 표현	키워드 규칙만 볼 때 생기기 쉬운 판단	읽기 중심 모델이 더 먼저 잡으려는 것
`돈이 다시 언제 들어오나요`	`환불` 단어가 없으니 놓칠 수 있음	결제 취소 후 환불 상태 문의라는 흐름
`주문을 없앤 뒤 결제 내역이 그대로예요`	`취소`나 `환불` 표면 단어 부족으로 흔들림	취소/환불 처리 상태 확인 의도
`로그인이 안 돼서 주문 취소를 못 하겠어요`	`취소`가 보이니 환불/취소로 밀기 쉬움	실제 병목이 계정 인증인지 주문 취소인지 함께 읽기

이 표가 바로잡는 오해는 라벨 이름과 비슷한 단어가 보이면 거의 충분하다는 생각입니다. 문서 분류 사례에서 읽기 중심 모델이 필요한 이유는 단어 표면보다 처리 의도를 더 직접 붙잡기 위해서입니다.

사례 2. 검색 랭킹¶

검색 랭킹도 처음에는 제목 키워드 일치로 시작하기 쉽지만, 사용자 표현과 문서 표현이 조금만 달라져도 상단 결과가 쉽게 흔들립니다. 장비 반납을 찾는데 문서 쪽 표현은 자산 회수일 수 있고, 퇴사를 찾는데 제목은 오프보딩 절차일 수 있습니다.

이 장면은 BERT 계열 같은 읽기 중심 모델이 왜 단어 겹침 수보다 질문 전체와 문서 전체의 관계를 먼저 읽는 쪽으로 설명되는지 보여 줍니다. 이 사례에서 확인해야 할 결과는 단어 일치 수만 높은 문서보다 실제로 더 관련 있는 절차 문서가 상단에 올라오는가입니다.

같은 검색 질문도 아래처럼 읽는 기준이 달라집니다.

질문과 문서 관계	키워드 기준이 먼저 올리기 쉬운 것	읽기 중심 랭킹이 더 먼저 올리려는 것
질문에 `장비`, `반납`이 직접 들어 있음	제목에 같은 단어가 많은 문서	실제 퇴사 절차 안에서 장비 회수 단계를 설명한 문서
문서 제목이 `오프보딩 절차`로만 적혀 있음	단어 일치 수가 낮아 아래로 밀릴 수 있음	퇴사 전 해야 할 절차와 질문 의도의 연결
`자산 회수 안내`처럼 다른 표현을 씀	표면 단어가 달라 놓치기 쉬움	질문 전체와 문서 전체의 의미적 관련성

이 사례에서 중요한 기준은 같은 단어가 얼마나 겹치는가와 실제로 같은 절차를 말하는가를 분리해서 보는 일입니다. 검색 랭킹에서 BERT 계열이 필요한 이유는 바로 이 둘이 자주 어긋나기 때문입니다.

사례 3. 문장 유사도와 인텐트 분류¶

비밀번호를 바꾸고 싶어요와 로그인 암호를 다시 설정하려면 어떻게 하나요?는 표면 단어가 달라도 같은 해결 경로일 수 있습니다. 반대로 로그인이 계속 실패합니다는 비슷해 보여도 다른 처리 흐름일 수 있습니다.

클라우드 챗봇의 인텐트 분류도 마찬가지로, 단어 탐지보다 문장 전체가 어떤 처리 흐름을 요구하는가를 먼저 봐야 안정적입니다. 이 장면은 BERT 계열이 왜 긴 답변 생성보다 읽고 구분하는 판단 구조에 더 잘 맞는지 다시 압축해 보여 줍니다. 이 사례에서 확인해야 할 결과는 같은 의도 문장은 더 가깝게 묶이고, 다른 처리 흐름 문장은 분리되는가입니다.

세 사례를 읽기 중심 판단 관점으로 다시 묶으면 다음과 같습니다.

상황	키워드 규칙만으로 흔들리기 쉬운 것	읽기 중심 모델이 더 먼저 잡으려는 것
문서 분류	표면 단어가 다른 같은 문의	같은 처리 의도
검색 랭킹	제목만 비슷한 문서	질문과 실제로 관련 높은 절차 문서
문장 유사도/인텐트 분류	비슷해 보이지만 다른 해결 경로 문장	같은 의도와 다른 의도의 분리

읽기와 생성의 선택 기준¶

BERT 계열을 읽을 때 자주 생기는 오해는 GPT처럼 답을 길게 못 쓰니까 덜 중요한 모델로 보는 점입니다. 하지만 먼저 봐야 하는 것은 생성 능력의 크기가 아니라 필요한 일이 읽고 판단하는 일인가, 이어 쓰는 일인가입니다. 이 기준을 실무 질문으로 바꾸면 다음처럼 읽을 수 있습니다.

이런 의심이 들면	먼저 던질 질문
`이건 답을 길게 써야 하나, 먼저 분류해야 하나?`	필요한 출력이 문장인가 판단값인가?
`문서를 찾기 전에 뭘 먼저 해야 하지?`	질문과 문서의 관련도를 읽는 앞단이 필요한가?
`생성형 AI만 알면 다 되는 것 아닌가?`	읽기·랭킹·임베딩 앞단이 여전히 필요한가?

먼저 익혀야 하는 기준은 단순합니다. BERT 계열은 문장을 끝까지 읽어 표현과 판단값을 만드는 구조에 더 가깝고, GPT 계열은 읽은 뒤 다음 토큰을 이어 생성하는 구조에 더 가깝습니다. 우열보다 먼저 용도 차이를 읽어야 합니다.

연습¶

연습의 목표는 같은 표면 단어라도 문맥을 끝까지 읽으면 해석과 다운스트림 라벨이 달라진다는 점을 코드가 아니라 판단 표로 확인하는 것입니다. BERT 계열의 구조적 위치를 먼저 잡기 위해 실제 라벨·점수·순위 실험보다 문맥 읽기와 출력 방향의 차이에 집중합니다.

아래 연습은 생성형 응답과 달리 이해 중심 모델이 문장을 읽고 판단값으로 넘기는 구조를 먼저 확인합니다. 같은 표면 단어가 들어간 문장 4개를 두고, 문맥을 보지 않고 붙이는 단순 라벨, 문맥을 끝까지 읽었을 때의 해석, 다음 작업으로 넘길 라벨을 비교합니다.

확인할 핵심은 같은 단어가 있어도 문맥을 끝까지 읽어야 해석과 다운스트림 라벨이 달라질 수 있다는 점입니다. 이해 중심 모델은 긴 답변보다 해석 결과와 작업 라벨을 먼저 만들고, 표면 키워드 기준과 문맥 해석 기준은 같은 입력에서도 다른 출력 구조를 만들 수 있습니다.

연습에는 위에 정리한 예문 목록을 사용합니다.

입력 문장	표면 키워드만 볼 때 붙기 쉬운 라벨	문맥을 끝까지 읽었을 때의 해석	다음 작업 라벨
은행에 돈을 맡기려고 합니다	`financial_topic`	금융 기관에 돈을 예치하려는 상황	`finance_intent`
강가의 은행나무 아래를 걷고 있습니다	`financial_topic`	은행나무가 있는 자연 장면	`nature_description`
비밀번호를 다시 설정하고 싶습니다	`account_topic`	계정 접근 문제	`account_intent`
주문을 취소했는데 결제가 그대로 남아 있습니다	`payment_topic`	주문 취소 뒤 결제 상태 확인 문제	`order_support_intent`

문맥 해석에 따른 라벨 전환

이 연습에서 읽어야 할 핵심은 다음입니다.

같은 단어가 있어도 앞뒤 문맥에 따라 해석이 달라질 수 있고
단순 키워드 라벨은 첫 문장과 두 번째 문장을 같은 주제로 잘못 묶을 수 있으며
문맥 해석이 분류나 intent 판단 같은 다운스트림 과업으로 이어지고
BERT 계열은 바로 이런 문장 전체 읽기 -> 표현 만들기 -> 판단 과업 연결 흐름과 잘 맞는다는 점입니다

이 연습에서 독자가 직접 해 볼 수 있는 조정은 다음과 같습니다.

은행 앱에서 로그인이 안 됩니다를 표에 추가하고, 금융 주제인지 계정 접근 문제인지 먼저 판단해 보기
로그인이 안 돼서 주문 취소를 못 하겠어요를 추가하고, 주문 취소 라벨과 계정 라벨 중 무엇이 먼저 필요한지 설명해 보기
같은 문장을 GPT 계열 답변 생성 문제로 볼 때와 BERT 계열 라우팅 문제로 볼 때 출력이 어떻게 달라지는지 적어 보기

읽기 모델에서 먼저 보이는 출력 차이¶

이 연습은 생성 모델처럼 답을 길게 이어 쓰지 않아도, 문장을 끝까지 읽고 어떤 판단으로 넘길 것인가가 독립된 중요한 능력이라는 점을 보여 줍니다. 그래서 BERT 계열을 볼 때는 생성의 경쟁자로 보기보다, 분류, 검색, 라우팅 앞단을 담당하는 읽기 중심 모델로 위치를 잡는 편이 정확합니다.

BERT는 Transformer가 번역 구조에만 머물지 않고, 언어 이해(language understanding) 계열 과업으로 넓게 확장될 수 있음을 강하게 보여 준 모델입니다.

역사적으로 중요했던 이유는 다음과 같습니다.

Transformer encoder 기반 사전학습이 매우 넓은 다운스트림 과업에 잘 전이된다는 점을 보여 주었고
문맥적 표현(contextual representation) 품질을 크게 끌어올렸으며
분류, 검색, 임베딩 계열 실무 흐름을 빠르게 바꾸었기 때문입니다

마지막으로 남겨야 할 결과는 분명합니다. 생성형 AI 시대에도 읽고 구분하고 연결하는 모델의 역할이 사라진 것이 아니라, 분류, 검색, 임베딩 같은 앞단 과업에서 여전히 별도 축으로 남아 있다는 점입니다. 이 기준이 잡혀야 GPT 계열 설명을 모든 언어 작업의 단일 해답처럼 읽지 않고, BERT 계열을 읽기와 판단을 맡는 다른 구조로 다시 구분할 수 있습니다.

체크리스트¶

BERT를 옛 모델이 아니라 읽기 중심 Transformer 계열의 대표 비교축으로 설명할 수 있어야 합니다.
BERT와 GPT의 차이를 우열이 아니라 입력 전체를 읽어 판단값을 만들 것인가, 다음 출력을 이어 생성할 것인가의 차이로 말할 수 있어야 합니다.
이해 중심 태스크는 이 구조 비교를 실제 작업 묶음으로 좁혀 보는 관점이라는 점을 잡고 있어야 합니다.

출처와 참고 자료¶

Jacob Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv, 2018, 확인 날짜: 2026-07-19.
Matthew E. Peters et al., Deep contextualized word representations, arXiv, 2018, 확인 날짜: 2026-07-19.
Daniel Jurafsky, James H. Martin, Speech and Language Processing, draft materials, 확인 날짜: 2026-07-19.