콘텐츠로 이동

P2-4.6 합성함수(composite function)와 연쇄 법칙(chain rule)

Section ID: P2-4.6 Version: v2026.07.20

미분(derivative), 그래디언트(gradient), 경사하강법(gradient descent)까지 읽고 나면 역전파(backpropagation)는 chain rule을 사용한다는 문장이 남습니다. 여기서 연쇄 법칙(chain rule)을 모르면 역전파는 계산 구조가 아니라 암기 문장처럼 보이기 쉽습니다.

핵심은 함수가 여러 단계를 거쳐 이어질 때 앞 단계의 변화가 뒤 단계를 거쳐 최종 결과까지 전달된다는 감각입니다. 이 감각이 있어야 손실(loss)이 각 층과 파라미터에 어떻게 연결되는지 읽을 수 있습니다. 용어를 다시 빠르게 확인할 때는 개념사전도 함께 봅니다.

핵심 기준: 합성함수(composite function)와 연쇄 법칙(chain rule)

  • 합성함수(composite function)를 출력이 다음 함수의 입력으로 들어가는 구조라고 설명할 수 있습니다.
  • 연쇄 법칙(chain rule)을 단계별 변화율을 이어 곱해 읽는 규칙이라고 말할 수 있습니다.
  • 앞쪽 값이 바뀌면 뒤쪽 결과가 여러 단계를 거쳐 함께 바뀐다는 감각을 잡을 수 있습니다.
  • 역전파(backpropagation)가 왜 연쇄 법칙을 필요로 하는지 입문 수준에서 설명할 수 있습니다.

먼저 붙잡을 한 장면

이 절에서 가장 먼저 붙잡아야 할 장면은 x -> y -> z로 이어지는 두 단계 계산입니다.

단계 식 지금 읽을 질문
1단계 y = 2x + 1 x가 조금 바뀌면 y는 얼마나 바뀌는가
2단계 z = y^2 바뀐 y가 z를 얼마나 더 크게 바꾸는가
전체 z = (2x + 1)^2 x의 변화가 최종 결과 z까지 어떻게 전달되는가

즉 연쇄 법칙은 새 기호 하나를 더 외우는 일이 아니라, 앞단 변화가 중간 단계를 거쳐 뒤 결과까지 전달되는 경로를 읽는 일입니다.

세 가지 기준

기준 왜 중요한가 이 절에서 필요한 이해 수준
합성함수는 계산 파이프라인처럼 읽는다 신경망 층(layer) 설명과 자연스럽게 이어지기 때문입니다. 함수가 여러 단계를 거친다고 이해합니다.
연쇄 법칙은 변화율 전달 규칙이다 앞단 변화가 최종 출력에 어떻게 닿는지 읽게 해 주기 때문입니다. 단계별 변화율이 연결된다고 이해합니다.
역전파는 chain rule 자체가 아니라 chain rule을 이용한 계산 절차다 개념과 알고리즘 절차를 섞지 않게 해 주기 때문입니다. 역할 차이만 분명히 잡으면 충분합니다.

합성함수는 여러 함수를 한 줄로 이은 구조다

예를 들어:

\[ z = f(g(x)) \]

라고 적으면, 먼저 g(x)를 계산하고 그 결과를 다시 f에 넣는다고 읽습니다.

즉 계산 순서는:

  1. x가 들어갑니다.
  2. g가 중간 결과를 만듭니다.
  3. f가 그 중간 결과를 받아 최종 결과 z를 만듭니다.

이 감각은 신경망을 볼 때 그대로 다시 등장합니다. 한 층의 출력이 다음 층의 입력이 되기 때문입니다.

아래 흐름으로 보면 더 직관적입니다.

flowchart LR
    x["x"]
    g["g(x) = 2x + 1"]
    f["f(y) = y^2"]
    z["z = (2x + 1)^2"]

    x --> g --> f --> z

조금 더 일상적인 계산처럼 쓰면:

\[ x \rightarrow 2x + 1 \rightarrow (2x + 1)^2 \]

입니다. 먼저 2x + 1이라는 중간 점수를 만들고, 그다음 그 값을 제곱해 최종 결과를 만듭니다. 이처럼 계산 단계가 이어져 있으면, 앞단의 작은 변화는 중간 점수를 바꾸고, 그 변화가 다시 최종 결과에 전달됩니다.

연쇄 법칙은 앞 변화가 뒤로 전달되는 규칙이다

합성함수에서는 앞 단계가 조금 바뀌면, 그 변화가 중간 단계를 거쳐 최종 출력에도 영향을 줍니다. 연쇄 법칙(chain rule)은 바로 그 전달 규칙을 읽는 방법입니다.

초심자에게는 다음 한 문장이 가장 중요합니다.

연쇄 법칙은 여러 단계를 거친 함수에서, 앞 단계의 변화가 최종 출력에 얼마나 닿는지 단계별 변화율을 이어 읽는 규칙이다.

공식 하나만 아주 짧게 보면:

\[ \frac{dz}{dx} = \frac{dz}{dy} \cdot \frac{dy}{dx} \]

입니다. 여기서 중요한 것은 기호 모양보다 앞 변화가 중간 값을 거쳐 뒤 결과에 전달된다는 구조입니다.

위의 예를 그대로 쓰면 더 직관적입니다.

\[ y = 2x + 1,\quad z = y^2 \]

라고 두면, x가 바뀌면 먼저 y가 바뀌고, 바뀐 y가 다시 z를 바꿉니다. x가 최종 결과 z에 미치는 영향은 x -> y 변화와 y -> z 변화를 따로 보고 이어 붙여야 읽을 수 있습니다. 이것이 연쇄 법칙의 핵심입니다.

예를 들어 x = 1일 때:

  • y = 2(1) + 1 = 3
  • z = 3^2 = 9

입니다. 이 자리에서 x를 조금 더 키우면 y가 먼저 커지고, 이미 커진 y 때문에 z는 더 빠르게 변합니다. 즉 앞단 변화의 효과가 뒤단을 지나며 누적됩니다.

이 장면을 표로 다시 보면:

질문 읽는 방법
x -> y는 얼마나 민감한가 dy/dx
y -> z는 얼마나 민감한가 dz/dy
x -> z 전체는 얼마나 민감한가 두 변화를 이어 본다

왜 한 단계 미분으로는 부족한가

단순한 함수 z = x^2라면 x가 z를 직접 바꿉니다. 하지만 합성함수에서는 x가 z를 직접 바꾸지 않고, 중간 단계들을 거쳐 영향을 줍니다.

그래서 합성함수에서는 다음 두 질문을 따로 봐야 합니다.

  1. 앞 단계 값이 중간 값을 얼마나 바꾸는가?
  2. 그 중간 값이 최종 결과를 얼마나 바꾸는가?

연쇄 법칙은 이 두 질문을 한 식으로 이어 붙이는 규칙입니다. 독자가 여기서 붙잡아야 할 것은 미분을 한 번 더 어렵게 만드는 규칙이 아니라 단계별 계산을 따라 영향 경로를 읽는 방법이라는 점입니다.

이 차이를 아주 짧게 다시 쓰면:

함수 형태 미분을 읽는 방식
z = x^2 x가 바로 z를 바꾼다
z = (2x + 1)^2 x가 먼저 중간값 y를 바꾸고, 그 y가 다시 z를 바꾼다

왜 역전파 설명에서 연쇄 법칙이 필요한가

역전파(backpropagation)는 신경망의 맨 뒤에서 계산된 손실(loss)이 각 층과 각 파라미터에 얼마나 영향을 주는지 다시 거슬러 계산하는 절차입니다. 이때 필요한 최소 규칙이 연쇄 법칙입니다.

즉:

  • 연쇄 법칙은 변화율 전달의 수학 규칙입니다.
  • 역전파는 그 규칙을 이용해 많은 파라미터의 gradient를 효율적으로 계산하는 절차입니다.

이 구분이 없으면 chain rule = backprop처럼 섞여 보이기 쉽습니다.

여기서 뒤 Part로 넘어가기 전 최소 연결을 남기면 다음과 같습니다.

뒤에서 보는 표현 지금 먼저 읽는 방식
loss -> layer -> parameter 손실의 변화가 층을 거쳐 파라미터까지 전달된다
backpropagation 전달 경로를 뒤에서 앞으로 따라가는 계산 절차
gradient 전달된 변화율의 결과

이 구조가 다시 보이는 장면

뒤에서 다시 만나는 장면 여기서 먼저 남겨 둘 감각
Part 5의 역전파 손실이 뒤에서 앞으로 전달된다는 말은 chain rule 없이 읽기 어렵습니다.
Part 5의 다층 신경망 층이 깊어질수록 합성함수 구조도 길어진다고 읽을 수 있어야 합니다.
옵티마이저와 gradient 계산 gradient는 갑자기 생기는 숫자가 아니라 전달된 변화율 결과라고 볼 수 있어야 합니다.

이 절에서 남겨야 할 핵심 문장은 간단합니다. 합성함수는 여러 계산 단계를 한 줄로 묶은 구조이고, 연쇄 법칙은 그 단계들을 따라 변화율을 전달하는 규칙이다. 이 문장이 잡히면 역전파를 볼 때도 각 층이 완전히 따로 노는 계산처럼 보이지 않습니다.

체크리스트

  • 합성함수를 단계가 이어진 함수라고 설명할 수 있는가?
  • y = 2x + 1, z = y^2에서 왜 x -> y와 y -> z를 따로 봐야 하는지 말할 수 있는가?
  • 연쇄 법칙을 단계별 변화율을 이어 읽는 규칙이라고 설명할 수 있는가?
  • 역전파와 연쇄 법칙의 역할 차이를 말할 수 있는가?
  • 손실의 변화가 여러 단계를 거쳐 전달된다는 그림으로 역전파를 설명할 수 있는가?

출처와 참고 자료