P2-4.3 미분(derivative)과 그래디언트(gradient)¶

Section ID: P2-4.3 Version: v2026.07.20

P2-4.2에서는 변화율(rate of change)과 기울기(slope)를 봤습니다. 직선에서는 기울기가 일정하지만, 곡선에서는 구간이나 위치에 따라 변화율이 달라질 수 있었습니다.

이제 그 흐름을 미분(derivative)과 그래디언트(gradient)로 연결합니다. 여기서는 미분 계산 공식을 많이 외우기보다 AI 문서에서 derivative, gradient, partial derivative라는 말을 만났을 때 무엇을 가리키는지 구분하는 데 집중합니다.

여기서는 미분(derivative), 도함수(derivative function), 편미분(partial derivative), 그래디언트(gradient), 나블라(nabla)를 다시 정리합니다. 4.2에서 변화율과 기울기를 읽었다면, 이제 한 변수의 순간 변화율이 여러 변수의 변화 정보로 어떻게 확장되는지 정리합니다.

여기서는 미분 계산 문제를 많이 푸는 대신, 한 변수의 순간 변화율이 여러 변수의 그래디언트로 어떻게 확장되는지 읽는 데 집중합니다. 미분, 편미분, 그래디언트의 관계를 잡아 두면, 뒤에서 손실(loss), 파라미터(parameter), 최적화(optimization)를 볼 때 수학 용어와 학습 용어가 하나의 흐름으로 이어집니다.

1. 한 입력에 대한 변화율은 미분(derivative)으로 읽습니다.
2. 여러 입력 각각에 대한 변화율 묶음은 그래디언트(gradient)로 읽습니다.

핵심 기준: 미분(derivative)과 그래디언트(gradient)¶

• 미분(derivative)을 한 입력에 대한 순간 변화율로 설명할 수 있습니다.
• 편미분(partial derivative)을 여러 입력 중 하나를 바꿨을 때의 변화율로 설명할 수 있습니다.
• 그래디언트(gradient)를 여러 편미분을 모은 벡터로 설명할 수 있습니다.
• 그래디언트가 값이 가장 빠르게 증가하는 방향과 연결됨을 입문적으로 설명할 수 있습니다.
• AI 학습에서 손실(loss)이 여러 파라미터(parameter)에 대해 어떻게 변하는지 보는 데 그래디언트가 필요함을 설명할 수 있습니다.

세 가지 기준¶

그래디언트가 생소하게 느껴지는 이유¶

그래디언트(gradient)는 한국의 일반적인 수학 학습 흐름에서는 상대적으로 늦게 만나는 표현일 수 있습니다. 고등학교나 기초 교양 수학에서는 보통 다음 흐름이 먼저 나옵니다.

1. 한 입력 x를 둡니다.
2. 함수 y = f(x)를 봅니다.
3. 접선의 기울기를 읽습니다.
4. 미분계수와 도함수로 이어집니다.

이 흐름에서는 그래프가 종이에 그려지고, 기울기도 한 선의 기울기로 이해됩니다. 그러나 그래디언트가 자주 등장하는 문맥은 보통 입력이 여러 개인 문제입니다.

1. 여러 입력 x_1, x_2, x_3, ...가 있습니다.
2. 결과 f(x_1, x_2, x_3, ...)를 봅니다.
3. 각 입력을 조금 바꿨을 때 결과가 어떻게 변하는지 봅니다.
4. 그 변화율을 한 묶음으로 모읍니다.
5. 그 묶음이 그래디언트입니다.

그래서 그래디언트는 “새로운 미분”이라기보다, 입력이 여러 개인 상황에서 미분적 사고가 벡터(vector) 형태로 확장된 것에 가깝습니다. 한 개의 조절 손잡이만 있을 때는 기울기 하나를 보면 됩니다. 여러 개의 조절 손잡이가 있으면, 각 손잡이를 어느 방향으로 얼마나 민감하게 봐야 하는지 함께 기록해야 합니다.

미분은 한 입력에 대한 순간 변화율이다¶

함수(function)가 하나의 입력을 받는다고 하겠습니다.

이때 미분(derivative)은 \(x\)가 아주 조금 변할 때 \(y\)가 얼마나 변하는지를 나타냅니다. P2-4.2의 말로 바꾸면, 특정 지점에서의 순간 변화율(instantaneous rate of change)입니다.

예를 들어 다음 함수를 보겠습니다.

이 함수의 도함수(derivative function)는 다음과 같습니다.

이 식은 각 위치에서의 기울기를 알려 줍니다.

\(x = 1\)에서는 기울기가 2이고, \(x = 3\)에서는 기울기가 6입니다. 같은 함수라도 위치에 따라 변화율이 다릅니다.

여기서 중요한 것은 공식 자체보다 해석입니다.

1
2

f(x) = x^2      -> 입력을 출력으로 바꾸는 함수
f'(x) = 2x      -> 각 위치에서 출력이 얼마나 빠르게 변하는지 알려 주는 함수

미분계수와 도함수는 구분해서 읽는다¶

한국어로 미분을 배울 때 미분계수와 도함수라는 표현을 만납니다.

예를 들어 \(f(x) = x^2\)에서 \(x = 2\)일 때의 미분계수는 다음과 같습니다.

반면 도함수는 다음 함수 전체입니다.

1. 미분계수는 한 지점의 값입니다.
2. 도함수는 지점마다 미분계수를 알려 주는 함수입니다.

이 구분은 나중에 모델 학습을 볼 때도 중요합니다. 어떤 파라미터 값에서 손실이 얼마나 변하는지 보는 것과, 여러 위치에서의 변화 방향을 계산하는 것은 연결되어 있지만 같은 표현은 아닙니다.

입력이 여러 개면 편미분이 필요하다¶

AI 모델에서는 입력이나 파라미터가 하나만 있는 경우가 드뭅니다. 보통 여러 값이 함께 있습니다.

예를 들어 손실 함수(loss function)가 두 파라미터 \(w_1\), \(w_2\)에 따라 달라진다고 하겠습니다.

이때 질문은 하나가 아닙니다.

1. w_1을 조금 바꾸면 손실 L은 어떻게 변하는가?
2. w_2를 조금 바꾸면 손실 L은 어떻게 변하는가?

각 입력을 하나씩 따로 보며 변화율을 계산하는 것이 편미분(partial derivative)입니다.

여기서 \(\partial\) 기호는 여러 변수 중 하나에 대한 변화율을 본다는 뜻으로 이해합니다. 엄밀한 계산 규칙은 나중에 다루더라도, 지금은 다음 두 가지를 기준으로 둡니다.

1. 일반 미분은 입력이 하나일 때의 변화율입니다.
2. 편미분은 입력이 여러 개일 때 하나씩 따로 본 변화율입니다.

그래디언트는 편미분을 모은 벡터다¶

그래디언트(gradient)는 여러 편미분을 모은 벡터(vector)입니다.

손실 함수가 \(w_1\), \(w_2\)에 따라 달라진다면 그래디언트는 다음처럼 쓸 수 있습니다.

\(\nabla\) 기호는 나블라(nabla)라고 읽습니다. 여기서는 기호 자체보다 의미가 중요합니다.

1. 각 파라미터를 조금 바꿨을 때 손실이 어떻게 변하는지 봅니다.
2. 그 변화율들을 한 묶음으로 모읍니다.
3. 그 묶음이 그래디언트입니다.

P2-3장에서 벡터를 “여러 숫자를 순서 있게 묶은 것”으로 봤습니다. 그래디언트도 벡터입니다. 다만 아무 숫자나 모은 벡터가 아니라, 각 방향의 변화율을 모은 벡터입니다.

조금 더 현장적인 말로 바꾸면 다음과 같습니다.

1. 결과에 영향을 주는 조절값이 하나라면 변화율도 하나면 됩니다.
2. 결과에 영향을 주는 조절값이 여러 개라면 각 조절값의 변화율을 함께 봐야 합니다.
3. 그 묶음이 그래디언트입니다.

그래디언트는 방향 정보를 가진다¶

그래디언트가 중요한 이유는 숫자 묶음 이상의 의미를 갖기 때문입니다. 여러 변수로 이루어진 함수에서 그래디언트는 값이 가장 빠르게 증가하는 방향과 연결됩니다.

입문적으로는 다음처럼 기억할 수 있습니다.

1. 그래디언트 방향은 함수값이 가장 빠르게 커지는 방향입니다.
2. 그래디언트 반대 방향은 함수값이 줄어드는 방향입니다.

AI 학습에서는 보통 손실(loss)을 줄이고 싶습니다. 그래서 그래디언트 자체보다 그래디언트의 반대 방향이 중요해지는 경우가 많습니다.

다만 여기서는 그래디언트가 증가 방향과 연결된다는 점까지만 다룹니다. 실제로 얼마나 움직일지, 학습률(learning rate)을 어떻게 정할지, 반복 업데이트를 어떻게 할지는 경사하강법(gradient descent)에서 다룹니다.

작은 예시로 읽기¶

다음과 같은 손실 함수를 생각해 보겠습니다.

이 함수는 \(w_1\)과 \(w_2\)가 0에서 멀어질수록 커집니다.

각 파라미터에 대한 편미분은 다음과 같습니다.

따라서 그래디언트는 다음과 같습니다.

만약 현재 값이 \(w_1 = 3\), \(w_2 = 4\)라면 그래디언트는 다음과 같습니다.

이 말은 현재 위치에서 \(w_1\) 방향으로도 손실이 증가하고, \(w_2\) 방향으로도 손실이 증가한다는 뜻입니다. 손실을 줄이려면 반대쪽을 생각하게 됩니다.

1
2
3

현재 위치: [3, 4]
그래디언트: [6, 8]
손실을 줄이는 직관적 방향: [-6, -8] 쪽

이 예시는 실제 딥러닝 모델보다 훨씬 단순합니다. 하지만 “그래디언트는 여러 파라미터에 대한 변화율을 모은 방향 정보”라는 감각을 잡는 데 도움이 됩니다.

현장에서 만나는 그래디언트 예시¶

그래디언트는 수학 교실보다 현장 문서에서 더 갑자기 등장할 수 있습니다. 현장에서는 보통 “무엇을 바꾸면 결과가 어느 방향으로 움직이는가”라는 질문과 연결됩니다.

이 표는 실제 서비스의 최적화 과정을 단순화한 예시입니다. 현실에서는 데이터 품질, 실험 설계, 사용자 행동, 정책 제약, 비용 같은 요소도 함께 봐야 합니다. 여기서는 그래디언트를 처음 읽을 때 다음 질문으로 정리합니다.

결과를 만드는 조절값이 여러 개 있을 때는 각 조절값을 조금 바꾸면 결과가 어떻게 달라지는지 함께 물어야 합니다.

AI 학습에서 이 질문은 손실(loss)과 파라미터(parameter)의 관계로 바뀝니다. 손실은 줄이고 싶은 결과이고, 파라미터는 모델 안에서 조정되는 값입니다. 그래디언트는 “어떤 파라미터 방향으로 손실이 어떻게 변하는가”를 알려 주는 정보가 됩니다.

예시 1: 광고비와 할인율을 함께 조정하는 상황¶

온라인 상품을 운영한다고 하겠습니다. 매출은 여러 값의 영향을 받습니다.

1. 매출은 가격의 영향을 받습니다.
2. 매출은 할인율의 영향도 받습니다.
3. 매출은 광고비의 영향도 받습니다.
4. 매출은 노출 위치의 영향도 받습니다.

이때 현장의 질문은 단순히 “매출을 올리자”가 아닙니다.

1. 광고비를 조금 늘리면 매출은 얼마나 변하는가?
2. 할인율을 조금 올리면 매출은 얼마나 변하는가?
3. 가격을 조금 낮추면 이익은 얼마나 변하는가?

이 질문들은 모두 “조절값을 조금 바꿨을 때 결과가 얼마나 변하는가”라는 미분적 질문입니다. 조절값이 여러 개라면 각 조절값에 대한 변화율을 함께 봐야 합니다. 이 감각이 그래디언트와 닿아 있습니다.

다만 실제 운영에서는 매출만 보면 안 됩니다. 광고비를 늘려 매출이 올라도 이익은 줄 수 있고, 할인을 늘려 판매량이 늘어도 브랜드나 재고 정책에 영향을 줄 수 있습니다. 그래디언트는 방향을 보는 언어이지, 의사결정 전체를 대신하는 도구는 아닙니다.

예시 2: 추천 점수를 만드는 상황¶

추천 시스템은 하나의 이유만으로 결과를 만들지 않습니다. 예를 들어 어떤 콘텐츠의 추천 점수가 다음 요소에 영향을 받는다고 생각할 수 있습니다.

1. 추천 점수는 사용자의 관심사와의 유사도의 영향을 받습니다.
2. 추천 점수는 콘텐츠의 최신성의 영향도 받습니다.
3. 추천 점수는 콘텐츠의 인기도의 영향도 받습니다.
4. 추천 점수는 사용자가 이미 본 콘텐츠와의 중복 정도의 영향도 받습니다.

현장에서는 이런 질문이 생깁니다.

1. 최신성을 더 중요하게 보면 추천 결과가 어떻게 바뀌는가?
2. 인기도를 더 중요하게 보면 인기 콘텐츠만 반복 추천되는가?
3. 유사도를 더 중요하게 보면 새로운 발견이 줄어드는가?

여기서 각 요소의 가중치(weight)를 조금 바꿨을 때 추천 점수가 어떻게 변하는지 보는 일은 그래디언트식 사고와 연결됩니다. 실제 추천 시스템은 사용자 만족, 다양성, 공정성, 안전성 같은 기준도 함께 보지만, “여러 입력이 결과를 함께 만든다”는 점은 그래디언트를 이해하는 좋은 현장 감각이 됩니다.

예시 3: 모델 학습에서 손실을 줄이는 상황¶

AI 모델 학습에서는 조절값이 사람이 직접 만지는 가격이나 광고비가 아니라 모델 안의 파라미터(parameter)입니다.

1. 손실(loss)은 파라미터 w_1의 영향을 받습니다.
2. 손실은 파라미터 w_2의 영향도 받습니다.
3. 손실은 파라미터 w_3의 영향도 받습니다.
4. 같은 식으로 더 많은 파라미터의 영향도 받습니다.

학습 중에는 다음 질문을 반복합니다.

1. w_1을 조금 바꾸면 손실이 줄어드는가, 늘어나는가?
2. w_2를 조금 바꾸면 손실이 얼마나 민감하게 변하는가?
3. 수많은 파라미터를 어느 방향으로 함께 조정해야 하는가?

이 질문에 필요한 정보가 그래디언트입니다. 그래서 딥러닝 문서에서 그래디언트는 추상적인 수학 용어가 아니라, 학습이 다음에 어느 방향으로 움직일지 판단하는 핵심 신호로 등장합니다.

현장에서 자주 함께 보이는 표현¶

그래디언트를 이해하면 다음 표현을 만났을 때 덜 낯설어집니다.

여기서는 위 표현들을 모두 자세히 설명하지 않습니다. “그래디언트가 여러 변화율을 묶은 방향 정보”라는 중심을 유지합니다.

AI 학습에서 왜 그래디언트가 반복되는가¶

AI 모델은 많은 파라미터(parameter)를 가질 수 있습니다. 딥러닝 모델에서는 그 수가 매우 많아질 수 있습니다. 학습은 이 파라미터들을 조정해 손실(loss)을 줄이는 과정으로 볼 수 있습니다.

이때 필요한 질문은 다음입니다.

1. 각 파라미터를 조금 바꾸면 손실은 어떻게 변하는가?
2. 어떤 파라미터는 손실을 크게 바꾸는가?
3. 어떤 방향으로 움직이면 손실이 줄어드는가?

그래디언트는 이 질문에 답하기 위한 핵심 언어입니다. 그래서 머신러닝과 딥러닝 문서에서 gradient, gradient descent, backpropagation 같은 말이 반복해서 등장합니다.

여기서는 그래디언트를 계산의 결과로만 보지 말고, “여러 방향의 변화율을 모은 벡터”로 기억합니다.

사례 및 예시¶

사례 1. 추천 점수를 만드는 손잡이가 하나가 아닐 때¶

콘텐츠 추천 화면을 운영한다고 하겠습니다. 추천 점수는 사용자 관심사 유사도, 최신성, 인기도 같은 여러 요소를 함께 반영해 계산됩니다. 사람이 수동으로 규칙을 조정할 때는 보통 최신성을 조금 올려 보자, 인기도 비중을 낮춰 보자처럼 손잡이를 하나씩 건드립니다.

문제는 이런 방식만으로는 전체 점수가 어느 방향으로 민감하게 바뀌는지 동시에 보기 어렵다는 점입니다. 최신성을 올리면 신작 노출은 늘 수 있지만, 개인 취향 일치도가 떨어질 수도 있습니다. 인기도를 내리면 다양성은 늘어도 클릭률이 감소할 수 있습니다.

이때 편미분과 그래디언트라는 언어가 필요해집니다. 각 요소를 하나씩 조금 바꿨을 때 점수가 얼마나 달라지는지 따로 보면 편미분이고, 그 변화율을 한 묶음으로 모으면 그래디언트가 됩니다. 즉 어떤 손잡이가 어느 방향으로 결과를 더 크게 흔드는가를 한 번에 읽는 방식입니다.

확인 가능한 결과는 현재 추천 점수에서 각 가중치를 조금 조정했을 때 점수 변화량을 비교하는 것입니다. 예를 들어 최신성 가중치를 0.05 높였을 때 상위 20개 추천 목록이 얼마나 바뀌는지, 인기도 가중치를 0.05 낮췄을 때 클릭 예측 점수가 얼마나 떨어지는지를 보면 변화율 묶음이 왜 필요한지 더 분명해집니다.

체크리스트¶

• 미분(derivative)을 한 입력에 대한 순간 변화율로 설명할 수 있다.
• 미분계수와 도함수를 구분할 수 있다.
• 편미분(partial derivative)을 여러 입력 중 하나를 따로 본 변화율로 설명할 수 있다.
• 그래디언트(gradient)를 여러 편미분을 모은 벡터로 설명할 수 있다.
• 그래디언트가 일반적인 한 변수 미분보다 생소하게 느껴질 수 있는 이유를 설명할 수 있다.
• 그래디언트가 함수값이 빠르게 증가하는 방향과 연결된다는 점을 설명할 수 있다.
• 현장에서 그래디언트를 여러 조절값 중 어느 방향으로 바꿀지 보는 정보로 설명할 수 있다.
• 상품 운영, 추천 시스템, 모델 학습 예시에서 그래디언트식 질문을 구분할 수 있다.
• AI 학습에서 그래디언트가 손실을 줄이는 방향을 찾는 데 쓰인다는 큰 흐름을 설명할 수 있다.
• derivative, partial derivative, gradient가 각각 무엇을 가리키는지 구분할 수 있다.
• 그래디언트를 단순한 숫자 묶음이 아니라 방향별 변화율 벡터로 읽을 수 있다.

출처와 참고 자료¶

• OpenStax, Calculus Volume 1, 3.1 Defining the Derivative, 도함수와 순간 변화율의 관계를 확인할 수 있습니다. 확인 날짜: 2026-07-20.
• OpenStax, Calculus Volume 3, 4.6 Directional Derivatives and the Gradient, 편미분, 그래디언트 벡터, 나블라 표기, 그래디언트와 최대 증가 방향의 관계를 확인할 수 있습니다. 확인 날짜: 2026-07-20.