콘텐츠로 이동

P5-3.4 ReLU

Section ID: P5-3.4 Version: v2026.07.20

P5-3.2와 P5-3.3에서는 sigmoid와 tanh처럼 값을 일정 범위 안으로 누르는 함수를 보았습니다. ReLU(rectified linear unit)는 훨씬 단순합니다. 음수는 0으로 만들고, 양수는 거의 그대로 통과시킵니다.

이 단순함 때문에 ReLU는 현대 딥러닝에서 매우 자주 등장합니다.

ReLU가 음수를 자르는 질문

  • ReLU는 어떤 수식과 그래프 모양을 가지는가?
  • 왜 음수 차단과 양수 통과로 읽을 수 있는가?
  • ReLU가 깊은 신경망에서 자주 쓰이는 이유는 무엇인가?
  • ReLU만 기억하면 안 되는 이유는 무엇인가?

sigmoid, tanh와의 수식 비교는 P5-3.5에서 정리합니다. 즉, 이번 절은 ReLU의 가장 기본적인 음수 차단, 양수 통과 직관을 먼저 붙잡는 자리입니다.

살아남는 신호와 죽은 신호의 판단 기준

  • ReLU 수식 \(f(z)=\max(0,z)\)를 설명할 수 있습니다.
  • 음수는 0으로 끊고 양수는 그대로 통과한다는 직관을 말할 수 있습니다.
  • 양수 구간에서 포화가 없다는 점을 sigmoid, tanh와 구분할 수 있습니다.
  • ReLU가 자주 쓰이지만 모든 문제의 자동 정답은 아니라는 점을 이해할 수 있습니다.

ReLU의 수식

ReLU는 다음처럼 씁니다.

\[ f(z)=\max(0,z) \]

같은 식을 구간별로 쓰면 더 직관적입니다.

\[ f(z)= \begin{cases} 0 & z < 0 \\ z & z \ge 0 \end{cases} \]

즉, \(z\)가 음수이면 출력은 0이고, \(z\)가 0 이상이면 출력은 \(z\) 그대로입니다.

그래프를 어떻게 읽나

ReLU 그래프는 0보다 작은 구간에서 바닥에 붙어 있다가, 0 이후에는 직선으로 올라갑니다.

ReLU 활성화 함수 곡선

입력 구간 출력 감각 독자가 먼저 읽을 점
음수 0 다음 층에 넘기지 않을 신호로 끊깁니다.
0 근처 양수 작은 양수 약한 신호가 그대로 살아납니다.
큰 양수 큰 양수 강한 신호 차이가 계속 유지됩니다.

sigmoid와 tanh는 큰 양수에서 출력이 1 근처로 눌리지만, ReLU는 양수 구간에서 계속 커질 수 있습니다. 이 차이 때문에 큰 양수 신호의 차이를 끝까지 살리고 싶을 때 ReLU가 직관적으로 보입니다.

사례 및 예시

설비 경고 모델에서 어떤 은닉 노드가 정말 경고로 볼 만한 조합 신호만 다음 층에 남긴다고 해 봅시다. 이 노드는 음수면 아직 경고로 볼 조합이 아니다, 양수면 경고 쪽 조합이 잡혔다고 읽는다고 해 보겠습니다.

| 장면 | \(z\) | ReLU 출력의 직관 | 먼저 남는 판단 | | --- | --- | --- | | 안정 또는 무관한 장면 | \(-1.5\) | 0으로 끊어 다음 층에 넘기지 않습니다. | 이번 노드는 아직 반응하지 않는다고 읽습니다. | | 거의 경계에 걸친 장면 | \(-0.1\) | 약한 음수도 0으로 끊깁니다. | 조금 부족한 신호와 강하게 부족한 신호를 이 노드에서는 구분하지 않습니다. | | 약한 경고 장면 | \(0.2\) | 작은 양수 신호가 그대로 남습니다. | 경고 쪽 신호가 막 살아나기 시작했다고 읽습니다. | | 강한 경고 장면 | \(3.0\) | 큰 양수 신호가 그대로 강하게 전달됩니다. | 강한 경고 조합이 잡혔다고 읽습니다. |

이 사례에서 먼저 봐야 할 것은 ReLU가 음수의 세기 비교보다 양수 신호가 살아 있는가를 더 먼저 남긴다는 점입니다. \(-1.5\)와 \(-0.1\)은 원래는 다른 점수지만, ReLU 뒤에서는 둘 다 0이 됩니다. 반대로 \(0.2\)와 \(3.0\)은 둘 다 양수이므로 차이가 그대로 남습니다.

즉, ReLU는 방향이 음수인가 양수인가보다 더 좁게, 양수 신호를 살릴 것인가 끊을 것인가를 먼저 결정하는 함수에 가깝습니다. 이 덕분에 다음 층은 음수 쪽 장면을 세밀하게 계속 비교하기보다, 살아남은 양수 활성값 중심으로 계산을 이어갈 수 있습니다.

이 사례에서 확인해야 할 결과는 ReLU가 음수 구간의 차이는 0으로 접어 버리고, 양수 구간의 차이는 그대로 유지해 살릴 신호를 더 직접적으로 고르는 함수라는 점입니다.

연습 및 예제

다음 값을 ReLU에 넣는다고 생각해 봅니다.

\(z\) ReLU 출력 먼저 확인할 질문
\(-3\) 0 큰 음수는 어떻게 남는가
\(-0.2\) 0 약한 음수는 큰 음수와 어떻게 달라지는가
\(0\) 0 경계점에서는 무엇이 일어나는가
\(0.2\) 0.2 양수는 언제부터 살아나는가
\(4\) 4 큰 양수 차이는 유지되는가
\(8\) 8 큰 양수는 계속 커질 수 있는가

이 표를 읽을 때는 다음 두 질문을 직접 닫아야 합니다.

  1. \(-3\)과 \(-0.2\)는 원래 크기가 다르지만, 왜 ReLU 뒤에서는 같은 값으로 보이는가?
  2. \(4\)를 \(8\)로 키우면 sigmoid나 tanh처럼 눌리지 않고, 왜 차이가 그대로 더 커질 수 있는가?

정답 방향은 분명합니다. ReLU는 음수 구간을 모두 0으로 접기 때문에 얼마나 음수였는가라는 차이는 사라집니다. 반대로 양수 구간에서는 값을 그대로 통과시키므로 \(0.2\), \(4\), \(8\)의 차이가 계속 유지됩니다. 따라서 ReLU를 읽을 때는 음수 구간은 끊긴다, 0부터 양수가 살아난다, 큰 양수는 포화 없이 계속 커질 수 있다를 함께 봐야 합니다.

체크리스트

  • ReLU 수식 \(f(z)=\max(0,z)\)를 말할 수 있는가?
  • 음수 차단과 양수 통과를 구분할 수 있는가?
  • ReLU가 큰 양수 구간에서 포화되지 않는다는 점을 설명할 수 있는가?
  • 음수 정보가 0으로 사라질 수 있다는 점도 함께 말할 수 있는가?
  • ReLU가 P5-3.5의 수식 비교에서 sigmoid, tanh와 어떻게 달라지는지 예상할 수 있는가?

출처와 참고 자료