콘텐츠로 이동

P2-4.4 학습에서 미분이 필요한 이유

Section ID: P2-4.4 Version: v2026.07.20

P2-4.3에서는 미분(derivative), 편미분(partial derivative), 그래디언트(gradient)를 “값이 어떻게 변하는지 읽는 언어”로 봤습니다. 이제 그 언어가 AI 학습(training)에서 왜 필요한지 연결합니다.

이 절의 결론은 단순합니다.

  1. 손실(loss)은 현재 모델이 얼마나 틀렸는지 알려 줍니다.
  2. 미분과 그래디언트는 값을 어느 방향으로 바꾸면 손실이 줄어들지 알려 줍니다.

학습에서 중요한 것은 정답을 한 번에 쓰는 일이 아닙니다. 현재 모델의 결과를 보고, 파라미터(parameter)를 조금씩 조정하며 손실을 줄여 가는 일입니다. 이때 “조금 바꾸면 결과가 어떻게 변하는가”를 알려 주는 도구가 미분입니다.

여기서는 학습(training), 손실(loss), 파라미터(parameter), 조정 방향(update direction), 역전파(backpropagation)를 다시 정리합니다. 4.3에서 그래디언트를 읽었다면, 이제 그 변화 정보가 왜 실제 학습 절차에 필요해지는지 정리합니다.

여기서는 최적화 공식을 자세히 전개하기보다 왜 학습에서 미분과 그래디언트가 필요한지 연결하는 데 집중합니다. 손실, 파라미터, 조정 방향의 관계를 잡아 두면, 뒤에서 경사하강법(gradient descent), 역전파(backpropagation), 옵티마이저(optimizer)를 볼 때 계산 절차보다 목적이 먼저 읽힙니다.

핵심 기준: 학습에서 미분이 필요한 이유

  • 학습(training)을 파라미터(parameter)를 조정해 손실(loss)을 줄이는 과정으로 설명할 수 있습니다.
  • 손실 값만으로는 어느 방향으로 바꿔야 할지 알기 어렵다는 점을 설명할 수 있습니다.
  • 미분과 그래디언트가 손실 변화의 방향 정보를 준다는 점을 설명할 수 있습니다.
  • 역전파(backpropagation)를 “그래디언트를 효율적으로 계산하는 절차”로 예고할 수 있습니다.

세 가지 기준

기준 왜 중요한가 이 절에서 필요한 이해 수준
학습은 파라미터를 조정하는 과정이다 모델은 현재 결과를 보고 내부 숫자를 조금씩 바꾸며 개선되기 때문입니다. 학습을 예측 -> 손실 계산 -> 파라미터 조정의 반복으로 이해합니다.
손실만으로는 방향을 알 수 없다 얼마나 틀렸는지는 보여 줘도 어디로 움직일지는 알려 주지 않기 때문입니다. 손실이 크기만 말해 주고 조정 방향은 따로 필요하다고 이해합니다.
미분과 그래디언트가 방향 정보를 준다 파라미터를 어느 쪽으로 바꿔야 손실이 줄어드는지 판단해야 하기 때문입니다. 미분은 한 파라미터, 그래디언트는 여러 파라미터 방향 정보를 준다고 이해합니다.

학습은 값을 조정하는 과정이다

AI 모델은 입력(input)을 받아 출력(output)을 만듭니다. 학습 전 모델은 아직 좋은 출력을 만들지 못할 수 있습니다. 그래서 학습 데이터(training data)를 이용해 모델 내부의 파라미터(parameter)를 조정합니다.

  1. 입력 데이터가 들어갑니다.
  2. 모델이 예측을 만듭니다.
  3. 손실을 계산합니다.
  4. 파라미터를 조정합니다.
  5. 다시 예측합니다.

여기서 파라미터는 사람이 매번 직접 정하는 규칙이 아닙니다. 모델이 학습을 통해 조정하는 숫자입니다. 학습은 이 숫자들을 바꾸며 손실(loss)을 줄이는 방향을 찾는 과정으로 볼 수 있습니다.

이 구조를 현장 감각으로 바꾸면, 현재 결과를 보고 얼마나 나쁜지 점수화한 뒤 무엇을 어느 방향으로 바꿀지 판단하고, 조금 바꾼 다음 다시 확인하는 반복이라고 할 수 있습니다.

이 반복에서 미분은 “무엇을 어느 방향으로 바꿀지”를 판단하는 데 들어갑니다.

손실은 나쁨의 크기를 말해 준다

손실(loss)은 모델의 예측이 목표와 얼마나 다른지 숫자로 표현한 값입니다.

예를 들어 집값을 예측하는 모델에서 실제 집값이 5억 원인데 모델 예측이 4억 원이라면 오차는 1억 원입니다.

이 오차를 어떤 방식으로 점수화하면 손실이 됩니다. 손실이 크면 모델의 예측이 좋지 않다고 볼 수 있고, 손실이 작으면 현재 기준에서는 더 나은 예측이라고 볼 수 있습니다.

하지만 손실 값만으로는 충분하지 않습니다.

손실이 크면 현재 결과가 좋지 않다는 점은 알 수 있지만, 무엇을 어떻게 바꿔야 하는지는 아직 알 수 없습니다.

학습에는 어떤 파라미터를 바꾸면 손실이 줄어드는지, 그 파라미터를 키워야 하는지 줄여야 하는지, 조금 바꿨을 때 손실이 얼마나 민감하게 변하는지를 묻는 질문이 필요합니다.

미분과 그래디언트는 이 질문에 답하기 위한 언어입니다.

미분은 조정 방향을 읽게 해 준다

아주 단순한 예로, 손실이 하나의 파라미터 \(w\)에 따라 다음처럼 달라진다고 하겠습니다.

\[ L(w) = (w - 3)^2 \]

이 함수는 \(w = 3\)일 때 손실이 0이 됩니다. 실제 학습에서는 이런 답을 미리 알 수 없지만, 여기서는 감각을 잡기 위한 예시로 사용합니다.

도함수는 다음과 같습니다.

\[ L'(w) = 2(w - 3) \]

몇 지점에서 값을 읽어 보겠습니다.

\(w\) \(L(w)\) \(L'(w)\) 읽는 법
0 9 -6 \(w\)를 키우는 쪽을 생각할 수 있다.
2 1 -2 아직 \(w\)를 키우는 쪽이 손실을 줄이는 방향이다.
3 0 0 이 예시에서는 손실이 가장 작다.
5 4 4 \(w\)를 줄이는 쪽을 생각할 수 있다.

여기서 중요한 것은 도함수 값의 부호와 크기입니다.

도함수 값이 음수이면 \(w\)를 조금 키우는 쪽이 손실을 줄이는 방향일 수 있습니다. 반대로 도함수 값이 양수이면 \(w\)를 조금 줄이는 쪽을 생각할 수 있습니다. 또 도함수 값의 크기가 크면 현재 위치에서 손실이 민감하게 변한다고 읽을 수 있습니다.

이 설명은 경사하강법(gradient descent)의 직관으로 이어집니다. 다만 여기서는 업데이트 공식을 외우지 않습니다. “미분은 손실을 줄이는 방향을 읽게 해 준다”는 점만 잡습니다.

파라미터가 많으면 그래디언트가 필요하다

실제 모델은 파라미터가 하나만 있는 경우가 드뭅니다. 파라미터가 \(w_1\), \(w_2\), \(w_3\)처럼 여러 개라면 손실도 여러 방향으로 변합니다.

즉 w_1을 바꾸면 손실이 어떻게 변하는지, w_2를 바꾸면 어떻게 변하는지, w_3을 바꾸면 어떻게 변하는지를 함께 묻게 됩니다.

각 파라미터에 대한 변화율을 모두 모으면 그래디언트가 됩니다.

\[ \nabla L = \left[ \frac{\partial L}{\partial w_1}, \frac{\partial L}{\partial w_2}, \frac{\partial L}{\partial w_3} \right] \]

이 벡터는 현재 위치에서 손실이 각 파라미터 방향으로 어떻게 변하는지 알려 줍니다. 그래서 AI 학습에서는 손실 함수(loss function)와 그래디언트(gradient)가 함께 등장합니다.

손실 함수는 무엇을 줄이고 싶은지를 표현하고, 그래디언트는 그 손실을 줄이려면 어느 방향을 봐야 하는지 알려 줍니다.

모든 값을 시험해 볼 수는 없다

미분이 필요한 이유는 “가능한 값을 모두 시험해 보면 되지 않는가?”라는 질문과도 연결됩니다.

작은 문제에서는 여러 값을 직접 넣어 볼 수 있습니다. 예를 들어 w = 0, 1, 2, 3, 4, 5를 넣어 보고, 손실이 가장 작은 값을 고르는 식입니다.

하지만 모델의 파라미터가 많아지면 가능한 조합이 매우 빠르게 늘어납니다. 모든 값을 전부 시험하는 방식은 현실적인 선택이 되기 어렵습니다.

그래디언트는 모든 가능성을 전부 확인하는 대신, 현재 위치에서 어느 방향으로 움직이면 손실이 줄어들 가능성이 있는지 알려 줍니다.

모든 길을 다 가 보는 방식은 비용이 너무 큽니다. 그래서 실제 학습에서는 현재 위치에서 내려가는 방향을 읽기 위해 그래디언트가 필요합니다.

물론 그래디언트가 항상 전역적으로 가장 좋은 답을 보장한다는 뜻은 아닙니다. 그래디언트는 현재 위치 근처의 변화 정보를 줍니다. 그래서 실제 학습에서는 초기값, 학습률, 데이터, 모델 구조, 옵티마이저가 함께 중요해집니다.

역전파는 왜 등장하는가

딥러닝 모델은 여러 층(layer)의 계산이 이어진 구조입니다. 입력이 여러 계산을 지나 출력이 되고, 그 출력으로 손실을 계산합니다.

입력은 여러 층의 계산을 지나 출력이 되고, 그 출력으로 손실을 계산합니다. 예를 들어 입력 -> 1층 계산 -> 2층 계산 -> 3층 계산 -> 출력 -> 손실 같은 흐름으로 읽을 수 있습니다.

학습하려면 손실이 각 층의 파라미터에 대해 어떻게 변하는지 알아야 합니다. 즉 많은 파라미터에 대한 그래디언트가 필요합니다.

역전파(backpropagation)는 이 그래디언트를 효율적으로 계산하기 위한 절차로 이해할 수 있습니다. 이름 때문에 “학습 자체”처럼 느껴질 수 있지만, 여기서는 다음처럼 구분합니다.

학습(training)은 손실을 줄이도록 파라미터를 조정하는 전체 과정이고, 역전파(backpropagation)는 그 조정에 필요한 그래디언트를 계산해 전달하는 절차입니다.

역전파의 자세한 계산은 딥러닝 파트에서 다룹니다. 여기서는 “왜 미분이 역전파로 이어지는가”만 기억합니다.

현장에서 들리는 문장으로 읽기

현장에서는 미분이라는 말보다 다음 표현을 더 자주 들을 수 있습니다.

현장 표현 미분과 연결해서 읽는 법
손실이 줄어들지 않는다 현재 조정 방향이나 크기가 좋지 않을 수 있다.
학습률이 너무 크다 한 번에 너무 크게 움직여 손실이 불안정할 수 있다.
그래디언트가 작다 현재 위치에서 변화 신호가 약할 수 있다.
그래디언트가 폭주한다 변화 신호가 너무 커져 학습이 불안정할 수 있다.
역전파가 필요하다 여러 층의 파라미터에 대한 변화율을 계산해야 한다.

이 표현들은 모두 뒤에서 더 자세히 다룹니다. 지금은 현장 용어가 결국 “손실을 줄이기 위한 변화 정보”와 연결된다는 점만 기억합니다.

사례 및 예시

사례 1. 집값 예측 모델은 틀렸다는 사실만으로는 고쳐지지 않는다

집값 예측 모델을 운영한다고 하겠습니다. 검증 결과에서 어떤 집의 실제 가격은 5억 원인데 모델은 4억 원으로 예측했습니다. 사람은 곧바로 1억 원 틀렸다는 사실을 확인할 수 있습니다.

하지만 그 숫자만으로는 모델을 어떻게 고쳐야 하는지 알 수 없습니다. 면적을 더 크게 반영해야 하는지, 위치 정보를 더 민감하게 읽어야 하는지, 특정 파라미터를 올려야 하는지 내려야 하는지가 드러나지 않기 때문입니다. 손실은 얼마나 틀렸는가를 말해 주지만 어디로 움직일 것인가는 말해 주지 않습니다.

이때 미분과 그래디언트가 역할을 맡습니다. 파라미터를 조금 바꿨을 때 손실이 줄어드는지 늘어나는지를 보면, 모델이 다음 단계에서 어느 방향으로 조정되어야 할지 판단할 수 있습니다. 즉 학습은 정답을 한 번에 찾는 과정이 아니라, 틀린 정도를 보고 방향 정보를 읽어 조금씩 수정하는 반복입니다.

확인 가능한 결과는 같은 검증 샘플에서 특정 파라미터를 소폭 조정했을 때 손실이 실제로 줄어드는지 비교하는 것입니다. 손실이 0.82에서 0.76으로 내려갔다면 그 조정은 개선 방향이었고, 반대로 0.90으로 올라갔다면 방향이 잘못되었다고 읽을 수 있습니다.

flowchart TD
  A["예측 오차<br/>실제 5억, 예측 4억"]
  B["손실 계산<br/>틀린 정도를 점수화"]
  C["조정 방향 판단<br/>어느 쪽으로 바꿀지 읽기"]
  D["작게 조정<br/>파라미터를 조금 바꿈"]
  E["손실 다시 확인<br/>정말 줄었는지 봄"]

  A --> B --> C --> D --> E

체크리스트

  • 학습(training)을 파라미터(parameter)를 조정해 손실(loss)을 줄이는 과정으로 설명할 수 있다.
  • 손실 값만으로는 무엇을 어느 방향으로 바꿔야 하는지 알기 어렵다는 점을 설명할 수 있다.
  • 미분(derivative)이 한 파라미터를 조금 바꿨을 때 손실이 어떻게 변하는지 알려 준다고 설명할 수 있다.
  • 그래디언트(gradient)가 여러 파라미터의 변화 정보를 모은 벡터라고 설명할 수 있다.
  • 가능한 값을 모두 시험하기 어렵기 때문에 현재 위치의 변화 방향 정보가 중요하다고 설명할 수 있다.
  • 역전파(backpropagation)를 학습 자체가 아니라 그래디언트를 효율적으로 계산하는 절차로 구분할 수 있다.
  • 얼마나 틀렸는가와 어느 방향으로 바꿔야 하는가를 구분해 설명할 수 있다.
  • 손실 함수는 이해했지만 왜 미분과 그래디언트가 바로 이어지는지 연결해서 설명할 수 있다.

출처와 참고 자료