P2-4.5 그래디언트 보충학습: 고등학교 미분에서 다변수 미분으로¶

Section ID: P2-4.5 Version: v2026.09.15

한 변수 함수의 미분에서는 하나의 입력축을 따라 변화율을 구합니다. 다변수 함수에서는 두 입력을 함께 바꾸는 비율에 따라 변화율이 달라집니다. 같은 거리를 움직여도 함수값이 늘거나 줄 수 있고, 두 입력의 효과가 상쇄될 수도 있습니다.

좌표축과 대각선의 변화율¶

다음 함수는 두 입력으로 숫자 하나를 계산합니다.

\[ F(x,y)=3x+4y,\qquad \nabla F=[3,4] \]

y를 고정하고 x를 바꾸면 변화율은 3이고, x를 고정하고 y를 바꾸면 4입니다. 이 두 편미분은 각각 좌표축의 양의 방향을 기준으로 합니다. 두 입력을 함께 바꿀 때의 변화율은 이 성분들을 이동 방향에 맞게 결합합니다.

현재 위치 [1,1]에서 함수값은 7입니다. 방향 벡터 u=[u₁,u₂]의 길이를 1로 맞추고 거리 h만큼 움직이면, 입력 변화는 [hu₁,hu₂]가 됩니다. 단위벡터를 사용하는 이유는 방향을 비교하면서 이동 거리까지 달라지는 것을 막기 위해서입니다.

미분 가능한 함수에서 방향 u의 순간 변화율은 그래디언트와 u의 내적이며, 방향도함수 또는 방향미분이라고 합니다.

\[ D_{\mathbf u}F=\nabla F\cdot\mathbf u=3u_1+4u_2 \]

길이 1인 방향 u	거리 0.1 이동 후 위치	새 함수값	변화량	방향도함수
`[1,0]`	`[1.1,1]`	7.3	+0.3	3
`[0,1]`	`[1,1.1]`	7.4	+0.4	4
`[0.6,0.8]`	`[1.06,1.08]`	7.5	+0.5	5
`[-0.6,-0.8]`	`[0.94,0.92]`	6.5	−0.5	−5
`[0.8,-0.6]`	`[1.08,0.94]`	7	0	0

이 함수는 선형이므로 유한한 이동에서도 변화량 = 방향도함수 × 거리가 정확히 성립합니다. 일반적인 곡선 함수에서는 작은 이동에 대한 근사로 사용합니다.

두 입력의 변화가 상쇄될 때¶

방향 [0.8,-0.6]의 길이는 √(0.8²+(-0.6)²)=1입니다. 이 방향으로 움직이면 x의 증가가 만드는 3×0.8=2.4와 y의 감소가 만드는 4×(-0.6)=−2.4가 상쇄됩니다. 두 편미분은 0이 아니지만 이 방향의 변화율은 0입니다.

F=3x+4y의 등고선과 현재 위치에서 증가·감소·변화가 없는 방향을 비교한다.

등고선은 함수값이 같은 점을 이은 선입니다. 이 함수에서는 3x+4y=7을 만족하는 직선이 현재 점을 지납니다. 변화율이 0인 초록색 방향은 이 선을 따라가고, 그래디언트 방향은 등고선에 수직으로 더 큰 값의 선을 향합니다.

그래디언트 [3,4]의 길이는 5이므로 같은 방향의 단위벡터는 [0.6,0.8]입니다. 길이 1인 방향끼리 비교할 때 이 방향의 순간 증가율 5가 가장 큽니다. 이 비교는 좌표의 거리를 √(Δx²+Δy²)로 재는 기준입니다.

한 지점의 벡터와 벡터장¶

F=3x+4y의 그래디언트는 어디서나 [3,4]입니다. 하지만 함수가 달라지면 위치마다 그래디언트도 달라집니다. 다음 함수에서는 이를 직접 계산할 수 있습니다.

\[ L(x,y)=x^2+2y^2,\qquad \nabla L(x,y)=[2x,4y] \]

위치	함수값 L	그래디언트
`[1,0]`	1	`[2,0]`
`[0,1]`	2	`[0,4]`
`[1,1]`	3	`[2,4]`
`[-1,1]`	3	`[-2,4]`
`[0,0]`	0	`[0,0]`

공간의 각 위치에 숫자 하나를 대응시키는 함수를 스칼라장이라고 합니다. 여기에 해당하는 L의 각 위치에서 그래디언트를 구해 벡터를 놓으면 벡터장이 됩니다. 그래디언트 하나는 특정 위치의 정보이고, 그래디언트 벡터장은 여러 위치의 정보를 함께 보여 줍니다.

L=x²+2y²의 등고선과 위치별 그래디언트 벡터. 화살표는 모두 같은 비율로 축소했다.

화살표는 각 점에서 함수값이 증가하는 방향을 가리킵니다. 길이는 그래디언트 크기에 비례하도록 같은 비율로 줄였으며, 방향 비교에 쓰는 단위벡터와는 다릅니다. 원점에서는 그래디언트가 0이므로 방향 화살표가 없습니다. 이 함수는 원점이 최솟값이지만, 다른 함수에서도 그래디언트 0이 항상 최솟값을 뜻하는 것은 아닙니다.

변화율 0과 같은 값 유지의 차이¶

위 함수의 [1,1]에서 그래디언트는 [2,4]입니다. 방향 [2/√5,-1/√5]는 길이가 1이고, 그래디언트와의 내적은 0입니다. 이 방향의 순간 변화율은 0이지만, 그 방향으로 직진하면 함수값이 정확히 유지되지는 않습니다.

\[ L\left(1+\frac{2h}{\sqrt5},1-\frac{h}{\sqrt5}\right) =3+\frac65h^2 \]

거리 h=0.1을 움직이면 함수값은 3에서 3.012로 늘어납니다. 순간 변화율에서는 사라지는 제곱항이 유한한 이동에서는 남기 때문입니다. 앞의 선형 함수에서는 등고선이 직선이어서 상쇄 방향으로 계속 직진해도 값이 같았지만, 이 함수의 등고선은 곡선이므로 같은 값을 유지하려면 방향을 바꾸며 따라가야 합니다.

파라미터 이동과 손실 변화¶

학습의 갱신식에서 −η∇L은 파라미터 공간의 이동량입니다. 이를 손실 그래프 위의 대각선 화살표와 같은 것으로 읽으면 이동 축을 혼동하기 쉽습니다. 한 변수 손실 Q(w)=(w−3)²를 보면 구분이 분명해집니다.

w=4에서 도함수는 2입니다. 학습률 0.1로 갱신하면 Δw=−0.1×2=−0.2, 새 파라미터는 3.8입니다. 손실은 1에서 0.64로 줄므로 손실 변화 ΔQ=−0.36은 파라미터 변화 Δw=−0.2와 다른 값입니다.

파라미터 축에서 w가 4에서 3.8로 이동하고 손실은 1에서 0.64로 감소하는 모습을 구분한다.

아래쪽 가로 화살표가 실제 파라미터 이동이며, 곡선의 두 점은 갱신 전후의 손실입니다. 갱신한 위치에서는 기울기가 달라지므로 다음 이동 전에 다시 계산합니다. 반복 갱신과 학습률 선택은 앞 절의 계산과 연결됩니다.

연습: 방향과 이동량 계산하기¶

첫째, F=3x+4y에서 방향 [-0.8,0.6]의 변화율을 구하세요. 둘째, L=x²+2y²의 [-1,1]에서 학습률 0.1로 한 번 갱신한 위치와 손실을 구하세요. 셋째, 두 번째 계산에서 파라미터를 모두 줄였는지 확인하세요.

계산과 해설

첫째는 3×(-0.8)+4×0.6=0입니다. 둘째의 그래디언트는 [-2,4]이고 새 위치는 [-1,1]−0.1×[-2,4]=[-0.8,0.6]입니다. 손실은 3에서 0.8²+2×0.6²=1.36으로 줄어듭니다. x는 늘리고 y는 줄였으므로, 감소 방향은 모든 좌표의 숫자를 작게 만드는 방향이 아닙니다.

체크리스트¶

좌표축 방향의 편미분과 임의 방향의 방향도함수를 연결할 수 있는가?
방향 비교에서 이동 거리를 같게 맞출 수 있는가?
두 입력의 변화가 상쇄되는 방향을 내적으로 확인할 수 있는가?
한 점의 그래디언트와 위치별 벡터장을 구분할 수 있는가?
순간 변화율 0이 유한한 이동에서 같은 값 유지를 보장하지 않는 이유를 설명할 수 있는가?
파라미터 변화량과 손실 변화량을 구분할 수 있는가?

출처와 참고 자료¶

OpenStax, Calculus Volume 3, 4.6 Directional Derivatives and the Gradient. 편미분·방향도함수·그래디언트·등고선의 관계. 확인 날짜: 2026-09-15. 함수 사례와 좌표 기반 도식은 자체 구성했습니다.