콘텐츠로 이동

P5-14.1 attention만으로 닫히지 않는 Transformer

Section ID: P5-14.1 Version: v2026.07.23

보조제목: Transformer는 왜 self-attention 하나가 아니라 블록 구조로 읽어야 하는가

P5-13.2에서는 셀프 어텐션(self-attention)이 같은 시퀀스 안 토큰들이 서로를 다시 참고해 표현을 갱신하는 방식이라고 보았습니다. P5-13.3에서는 그 직관을 쿼리-키-값(query-key-value, QKV)과 멀티헤드 어텐션(multi-head attention)이라는 계산 이름으로 다시 읽었습니다. 여기서 바로 생기는 질문은 이것입니다.

Transformer는 self-attention을 쓰는 모델이라고만 말하면 충분한가?

충분하지 않습니다. Transformer는 self-attention으로 관계를 읽고, feed-forward network로 각 위치 표현을 다시 가공하며, residual connection과 layer normalization으로 깊은 반복 계산을 안정화하는 블록 구조입니다. 이 차이를 잡아야 뒤에서 병렬 처리, 긴 문맥, LLM 구조를 읽을 때도 attention이 들어갔다는 말만으로 설명을 끝내지 않게 됩니다.

attention 하나로는 닫히지 않는 세 질문

  • self-attention이 Transformer의 핵심이라면, 왜 그것만으로 설명이 끝나지 않는가?
  • Transformer 블록은 어떤 역할 묶음으로 읽어야 하는가?
  • Part 5에서 Transformer를 어디까지 닫고, 다음 절로 무엇을 넘겨야 하는가?

여기서 먼저 닫을 질문은 Transformer에는 어떤 부품이 있나가 아니라, 왜 self-attention과 feed-forward를 반복 가능한 블록으로 묶어야 했는가입니다.

이 절에서는 Transformer를 self-attention 하나가 아니라 블록 구조로 읽는 기준을 잡습니다. 각 부품의 세부 역할과 실제 표현 갱신 과정은 P5-14.2에서 더 나누어 보고, 병렬 처리·긴 문맥 직접 재참조·생성 모델 연결은 뒤 절에서 이어 갑니다.

self-attention만으로는 무엇이 비는가

self-attention은 현재 토큰이 다른 토큰 중 어디를 더 참고할지 정하는 데 강합니다. 하지만 모델이 깊어지려면 그 다음 질문들이 곧바로 붙습니다.

  • 가져온 문맥 정보를 현재 위치에서 어떻게 다시 가공할 것인가?
  • 새 계산이 원래 정보를 너무 덮어쓰지 않게 하려면 어떻게 할 것인가?
  • 여러 층을 반복할 때 값의 크기와 분포가 흔들리지 않게 하려면 어떻게 할 것인가?

이 질문들이 비어 있으면 Transformer를 attention이 있는 모델 정도로만 이해하게 됩니다. 더 안전한 기준은 다음입니다.

Transformer는 self-attention의 관계 읽기와 feed-forward의 위치별 표현 가공, 안정적 전달을 반복 가능한 한 블록으로 묶은 구조다.

기본 블록을 먼저 큰 그림으로 보면

Transformer 블록을 입문 수준에서 읽을 때는 네 요소를 먼저 구분하면 됩니다.

구성 요소 먼저 잡아야 할 역할
self-attention 다른 토큰과의 관계를 읽는다
feed-forward network 각 위치 표현을 다시 가공한다
residual connection 원래 정보 흐름을 함께 남긴다
layer normalization 값 범위를 정리해 계산을 덜 흔들리게 한다

이 네 가지는 따로 흩어진 부품 목록이 아닙니다. 보통은 문맥 관계를 읽고 -> 현재 위치 표현을 가공하고 -> 원래 정보와 안정성을 유지하며 -> 다음 블록으로 넘기는 반복 단위로 묶입니다.

flowchart TD
  A["현재 토큰 표현"]
  subgraph BLOCK["반복 가능한 Transformer 블록"]
    B["self-attention<br/>관계 읽기"]
    C["feed-forward<br/>현재 위치 표현 가공"]
    D["residual + normalization<br/>정보와 안정성 유지"]
  end
  E["다음 블록으로 넘길 표현"]

  A --> B
  B --> C
  C --> D
  D --> E
  E -. "같은 묶음을 다시 반복" .-> B

이 도식에서 중요한 것은 한 번의 attention 계산이 아니라, 같은 묶음이 다음 블록에서 다시 반복된다는 점입니다. 그래서 P5-14.1에서는 세부 계산보다 관계 읽기, 표현 가공, 안정적 전달이 한 반복 단위로 묶인다는 기준을 먼저 잡습니다.

사례 및 예시

사례. attention만으로는 조치 판단이 닫히지 않는 경우

압력 미해소 상태에서는 재기동을 보류한다라는 작업 허가 문장을 생각해 보겠습니다. self-attention은 압력 미해소, 재기동, 보류가 서로 관련 있다는 사실을 읽는 데 중요합니다. 하지만 여기서 설명을 끝내면 현재 조치 표현이 어떻게 단순 재기동이 아니라 조건부 보류 쪽으로 더 분명해지는지, 그 의미가 다음 층까지 어떻게 유지되는지가 비어 있습니다.

사람이 먼저 쓰기 쉬운 기준은 재기동이라는 단어가 압력 미해소와 보류를 참고했는가입니다. 이 기준은 attention의 역할을 설명하는 데는 충분합니다. 그러나 Transformer 전체를 설명하려면 질문이 하나 더 남습니다.

그 관계를 읽은 뒤, 현재 조치 표현은 다음 블록으로 어떤 상태로 넘어가야 하는가?

이 질문이 남는 순간 attention-only 설명은 끊깁니다. 재기동 토큰이 앞쪽 조건을 참고했다는 사실만으로는, 현재 표현이 승인 가능한 조치에서 조건부 차단 조치로 어떻게 가공되는지, 원래 조치 의미를 잃지 않으면서도 다음 계산이 다루기 쉬운 범위로 어떻게 정리되는지 설명하지 못합니다.

같은 문장을 두 방식으로 나누어 읽으면 차이가 더 선명합니다.

읽는 방식 설명할 수 있는 것 설명이 끊기는 지점
attention-only 설명 재기동이 압력 미해소, 보류와 관련 있다는 점 관계를 읽은 뒤 현재 표현이 어떤 조치 상태로 바뀌는지
Transformer block 설명 관계를 읽고, 현재 위치 표현을 가공하고, 원래 조치 의미와 안정성을 남겨 다음 블록으로 넘기는 흐름 세부 역할과 표현 이동은 P5-14.2에서 더 나눠 봄

이 사례의 확인 결과는 다음처럼 닫힙니다.

현재 표현을 읽는 질문 attention만으로 답할 수 있는가 block 관점에서 필요한 보충
이 조치가 어떤 조건과 연결되는가 답할 수 있음 self-attention이 맡는 관계 읽기
연결된 조건 때문에 조치 표현이 어떻게 바뀌는가 부족함 feed-forward가 현재 위치 표현을 다시 가공
새 표현이 원래 조치 의미를 잃지 않고 다음 계산으로 넘어가는가 부족함 residual connection과 layer normalization이 안정적 전달을 보조

이 사례에서 확인해야 할 결과는 attention이 중요하다가 아닙니다. 더 정확한 결과는 attention은 관계를 읽는 핵심이지만, Transformer 설명은 그 관계가 현재 표현을 바꾸고 안정적으로 다음 블록으로 넘어가는 구조까지 포함해야 닫힌다입니다.

연습 및 예제

연습. attention-only 설명을 block 설명으로 고치기

아래 입력 문장을 보고, 세 설명 중 어느 설명이 P5-14.1의 중심 질문을 가장 잘 닫는지 먼저 고르십시오.

입력 문장:

압력 미해소 상태에서는 재기동을 보류한다.

후보 설명 판정
A. 재기동은 압력 미해소와 보류를 참고하므로 Transformer 설명은 끝난다. 부족함
B. 재기동은 압력 미해소와 보류를 참고하고, 그 관계 때문에 현재 조치 표현이 조건부 보류 쪽으로 가공되어야 한다. 중간
C. 재기동은 관련 조건을 참고하고, 그 관계가 현재 조치 표현을 바꾸며, 원래 조치 의미와 안정성을 남긴 채 다음 블록으로 넘어가야 한다. 더 적절함

해설: A는 self-attention이 맡는 관계 읽기만 말합니다. 그래서 무엇을 참고했는가는 답하지만, 참고한 뒤 현재 표현이 어떻게 바뀌는가를 설명하지 못합니다. B는 feed-forward network가 필요한 이유에 가까워집니다. 하지만 깊은 블록 반복에서는 바뀐 표현이 원래 조치 의미를 완전히 잃지 않고 다음 계산으로 넘어가는 안정성도 필요합니다. C가 이 절의 중심에 가장 가깝습니다. P5-14.1에서 닫아야 할 설명은 attention이 중요하다가 아니라 attention + 위치별 가공 + 안정적 전달이 한 블록으로 묶여야 Transformer 설명이 닫힌다입니다.

이번에는 아래 짧은 설명을 직접 고쳐 보십시오.

고치기 전 설명 고친 설명 예시 왜 이렇게 고치는가
Transformer는 self-attention으로 필요한 단어를 참고한다. Transformer는 self-attention으로 필요한 단어 관계를 읽고, 그 관계가 섞인 현재 표현을 다시 가공해 다음 블록으로 안정적으로 넘긴다. 참고한다에서 멈추면 attention 설명이고, 표현을 가공해 안정적으로 넘긴다까지 가야 block 설명이 됩니다.
재기동이 압력 미해소를 참고했으므로 보류 판단이 가능하다. 재기동이 압력 미해소를 참고한 뒤, 현재 조치 표현이 조건부 보류 쪽으로 바뀌고 그 의미가 다음 계산에도 남아야 한다. 관계 확인만으로는 현재 표현의 변화와 전달이 설명되지 않습니다.

해설: 좋은 답은 부품 이름을 많이 외운 문장이 아닙니다. 관계 읽기, 현재 표현 가공, 다음 블록으로 안정적 전달이 모두 들어 있으면 P5-14.1의 기준을 통과합니다. 세부적으로 self-attention, feed-forward, residual connection, layer normalization이 각각 무엇을 맡는지는 P5-14.2에서 더 나누어 확인합니다.

체크리스트

  • Transformer를 self-attention 하나로만 설명하면 무엇이 빠지는지 말할 수 있는가?
  • self-attention의 관계 읽기와 feed-forward의 위치별 가공이 반복 블록 안에서 함께 필요하다는 점을 설명할 수 있는가?
  • 다음 절을 각 부품의 역할 분담을 더 자세히 보는 흐름으로 읽을 준비가 되었는가?

출처와 참고 자료