콘텐츠로 이동

P5-14.7 보충학습: 원래 표현을 남기는 경로

Section ID: P5-14.7 Version: v2026.07.23

보조제목: residual connection은 새 계산 결과와 원래 입력 표현을 어떻게 함께 넘기는가

P5-14.2에서는 Transformer 블록 안에서 residual connection이 원래 정보 흐름을 남긴다고 보았습니다. 그런데 원래 입력을 더한다는 설명만 들으면 residual connection을 단순한 덧셈 기법이나 계산을 건너뛰는 shortcut으로 오해하기 쉽습니다.

Transformer 블록에서 residual connection은 새 계산을 없애는 장치가 아니라, 새 계산 결과와 원래 입력 표현이 함께 다음 단계로 넘어가게 만드는 경로입니다.

용어가 다시 흩어질 때는 개념사전의 잔차 연결(residual connection) 항목과 P5-14.2의 네 부품 역할 분담을 함께 다시 보면 좋습니다.

새 계산만 넘기면 무엇이 위험한가

self-attention과 feed-forward network는 현재 표현을 계속 바꿉니다. 이 변화는 필요합니다. 문제는 블록이 깊게 반복될수록 새 계산이 원래 토큰의 기본 의미를 너무 쉽게 덮을 수 있다는 점입니다.

예를 들어 압력 미해소 상태에서는 재기동을 보류한다에서 재기동 위치를 생각해 보겠습니다. attention과 feed-forward는 재기동 표현을 조건부 차단 조치 쪽으로 가공해야 합니다. 하지만 그 과정에서 재기동이라는 원래 조치 축이 완전히 사라지면, 뒤 블록은 무엇이 차단 대상인지 추적하기 어려워집니다.

따라서 residual connection은 다음 질문에 답합니다.

질문 residual connection의 답
새 계산은 필요한가 필요하다. attention과 feed-forward가 새 표현을 만든다.
새 계산만 넘겨도 되는가 충분하지 않을 수 있다. 원래 표현 축이 덮일 수 있다.
무엇을 함께 넘기는가 원래 입력 표현과 새 계산 결과를 함께 넘긴다.

건너뛰기가 아니라 함께 더해지는 길

residual connection은 흔히 skip connection이라고도 불립니다. 여기서 skip은 새 계산을 하지 않는다는 뜻이 아닙니다. 원래 입력 표현이 새 계산 경로를 우회해 더해질 길을 하나 더 가진다는 뜻에 가깝습니다.

flowchart TD
  A["입력 표현<br/>원래 토큰 의미"]
  B["새 계산<br/>attention 또는 feed-forward 결과"]
  C["더하기<br/>원래 표현 + 새 계산"]
  D["다음 단계 표현<br/>새 의미와 원래 축이 함께 남음"]

  A --> B
  B --> C
  A -. "우회 경로" .-> C
  C --> D

이 도식에서 실선은 새 계산이 만드는 표현이고, 점선은 원래 입력 표현이 우회해 더해지는 길입니다. 핵심은 둘 중 하나를 고르는 것이 아니라 원래 표현 + 새 계산 결과가 다음 단계 표현의 출발점이 된다는 점입니다.

이 차이를 표로 정리하면 다음과 같습니다.

오해하기 쉬운 읽기 더 적절한 읽기
residual connection은 계산을 건너뛴다 새 계산은 수행하고, 원래 입력 표현이 함께 더해질 길을 남긴다
원래 표현을 그대로 보존하므로 새 표현은 덜 중요하다 새 표현도 필요하고, 원래 표현도 함께 필요하다
덧셈이므로 의미상 단순한 후처리다 깊은 반복에서 정보 흐름이 사라지지 않게 하는 구조적 장치다

깊은 블록 반복에서 왜 중요해지는가

Transformer는 블록 하나로 끝나지 않습니다. 같은 종류의 블록이 여러 번 반복되면서 표현을 조금씩 바꿉니다. 이때 매번 새 계산만 통과하면 앞 단계에서 중요했던 정보가 뒤 단계로 갈수록 약해질 수 있습니다.

residual connection은 각 블록에서 원래 표현이 지나갈 길을 남겨, 깊은 반복이 새 계산으로 계속 덮어쓰기가 되지 않게 돕습니다. 입문 단계에서는 다음처럼 읽으면 충분합니다.

깊은 반복에서 생길 수 있는 문제 residual connection이 돕는 방식
원래 토큰 의미가 새 계산에 덮인다 원래 입력 표현이 다음 단계에 함께 더해진다
뒤 블록이 앞 블록의 출발점을 잃는다 각 블록의 입력이 출력 쪽으로 직접 이어지는 길을 가진다
학습 과정에서 신호가 깊은 층을 지나기 어려워진다 우회 경로가 있어 신호 흐름이 더 안정적으로 이어진다

여기서 신호는 두 가지 감각을 함께 가집니다. 하나는 입력을 넣었을 때 표현 정보가 앞쪽 블록에서 뒤쪽 블록으로 지나가는 흐름입니다. 다른 하나는 학습할 때 출력의 오차를 바탕으로 앞쪽 파라미터까지 수정 방향이 전달되는 흐름입니다.

입문 단계에서는 두 흐름을 수식으로 증명하려고 하기보다, 깊은 구조에서 길이 하나뿐이면 정보가 여러 계산을 지나며 약해지기 쉽다고 보면 됩니다. residual connection은 새 계산 경로 옆에 원래 표현이 함께 지나갈 길을 남깁니다. 그래서 블록을 깊게 쌓아도 새 계산으로 계속 바꾸는 힘과 원래 출발점을 잃지 않게 하는 힘이 함께 남습니다.

layer normalization과 헷갈리지 않기

P5-14.2에서 residual connection과 layer normalization은 함께 등장했습니다. 하지만 둘은 같은 안정화 장치가 아닙니다.

구분 먼저 보는 문제 하는 일
residual connection 원래 정보가 새 계산에 덮이지 않는가 원래 입력 표현과 새 계산 결과를 함께 넘긴다
layer normalization 다음 계산이 다루기 쉬운 값 범위인가 한 위치 표현 안의 값 기준선을 정리한다

residual connection은 정보가 지나갈 길을 남깁니다. layer normalization은 그 길을 지나 만들어진 표현의 값 범위를 다음 계산이 다루기 쉽게 맞춥니다. 둘을 한 문장으로 합치면 의미가 흐려집니다.

사례 및 예시

사례. 작업 허가 문장에서 조치 축을 잃지 않는 경우

압력 미해소 상태에서는 재기동을 보류한다에서 재기동 위치는 attention을 통해 압력 미해소와 보류를 함께 봅니다. feed-forward는 이 문맥을 현재 위치 안에서 가공해 조건부 차단 조치 쪽 의미를 선명하게 만듭니다.

이때 residual connection이 없다면 뒤 블록에는 차단, 위험, 조건 같은 새 의미가 강하게 남더라도, 그 의미가 정확히 어떤 조치에 붙어 있었는지 약해질 수 있습니다. residual connection은 원래 재기동 조치 축을 함께 넘겨, 뒤 블록이 무엇이 차단되어야 하는가를 계속 추적하게 돕습니다.

현재 위치 새 계산만 강하게 남으면 residual로 함께 남길 때
재기동 차단, 위험은 보이지만 어떤 조치가 대상인지 흐려질 수 있다 재기동이라는 원래 조치 축 위에 차단 의미가 붙어 남는다
승인 미확정, 보류는 보이지만 어떤 행위가 미확정인지 약해질 수 있다 승인이라는 원래 행위 축 위에 미확정 의미가 붙어 남는다
배포 위험, 중지는 보이지만 어떤 작업을 멈추는지 섞일 수 있다 배포라는 원래 작업 축 위에 위험 의미가 붙어 남는다

이 사례에서 확인해야 할 결과는 residual connection이 의미를 새로 판단하는 장치가 아니라, 새 판단에 필요한 원래 표현 축이 뒤 단계까지 남도록 돕는 장치라는 점입니다.

따라서 residual connection의 덧셈은 단순히 숫자를 크게 만드는 일이 아닙니다. 새 계산이 만든 의미가 원래 대상에서 떨어져 나가지 않도록, 다음 블록의 출발점에 원래 축 + 새 의미를 함께 놓는 일로 읽어야 합니다.

연습 및 예제

연습. 무엇을 남겨야 하는지 찾고 이유 설명하기

아래 장면에서 새 계산이 강화한 의미와 함께 residual connection이 남겨야 할 원래 표현 축을 써 보십시오. 답은 단어 하나로 끝내지 말고, 뒤 블록이 그 축을 왜 다시 써야 하는지까지 설명해 보십시오.

문장 현재 위치 새 계산이 강화한 의미 함께 남겨야 할 원래 표현 축 뒤 블록에서 필요한 이유
압력 미해소 상태에서는 재기동을 보류한다 재기동 조건부 차단 재기동이라는 조치 이름 뒤 블록은 차단 의미뿐 아니라 무엇을 차단하는지도 알아야 합니다.
검증 미완료 상태에서는 승인을 확정하지 않는다 승인 보류 또는 미확정 승인이라는 행위 미확정 의미가 붙은 대상이 승인이라는 점이 남아야 합니다.
rollback 확인 전 배포를 중지하고 이전 버전을 유지한다 배포 진행 위험 또는 중지 대상 배포라는 작업 이전 버전 유지와 비교할 때, 위험 판단이 배포 작업에 붙었다는 축이 필요합니다.
장애 원인이 불명확하면 알림을 확대하고 자동 복구는 멈춘다 자동 복구 원인 불명확 상황의 중지 대상 자동 복구라는 조치 알림 확대와 섞이지 않으려면, 중지 의미가 어느 조치에 붙었는지 남아야 합니다.

해설: 좋은 답은 원래 단어를 그대로 남긴다에서 멈추지 않습니다. 새 계산이 만든 의미가 뒤 블록에서 다시 쓰일 때, 그 의미가 붙은 원래 대상이나 행위가 추적 가능해야 합니다.

예를 들어 재기동 위치에서 새 계산은 차단이나 위험 같은 의미를 강하게 만들 수 있습니다. 그런데 그 의미만 남고 재기동이라는 원래 조치 축이 약해지면, 뒤 블록은 무엇이 차단 대상인지 흐릿하게 읽을 수 있습니다. residual connection은 차단되어야 한다는 새 의미와 재기동이라는 조치를 함께 넘기게 도와, 뒤 블록이 판단의 대상까지 계속 붙잡게 합니다.

이것이 residual connection을 단순한 덧셈이 아니라 깊은 반복에서 정보 흐름을 남기는 장치로 읽어야 하는 이유입니다.

체크리스트

  • residual connection을 새 계산 생략이 아니라 원래 입력 표현과 새 계산 결과를 함께 넘기는 경로로 설명할 수 있는가?
  • 깊은 Transformer 블록 반복에서 원래 표현 축이 왜 필요해지는지 사례로 말할 수 있는가?
  • residual connection과 layer normalization의 역할 차이를 정보 흐름과 값 범위 안정화로 구분할 수 있는가?

출처와 참고 자료