P5-10.2 깊은 층의 표현¶

Section ID: P5-10.2 Version: v2026.07.20

P5-10.1에서는 표현 학습(representation learning)을 모델이 유용한 내부 특징을 스스로 배우는 과정으로 설명했습니다. 이제 다음 질문이 자연스럽게 이어집니다.

그렇다면 깊은 신경망에서는 층이 깊어질수록 표현이 어떻게 달라진다고 말하는가?

깊은 층으로 갈수록 표현은 보통 더 국소적이고 단순한 패턴에서, 더 추상적이고 과업(task)에 가까운 패턴으로 이동한다.

층이 깊어질수록 표현이 어떻게 달라진다고 읽어야 하는지 다시 확인할 때는 개념사전의 표현(representation) 항목으로 돌아갑니다.

깊은 층이 표현을 바꾸는 질문¶

낮은 수준(low-level) 특징과 높은 수준(high-level) 표현은 무엇을 뜻하는가?
왜 여러 층을 쌓으면 더 추상적인 표현이 가능하다고 말하는가?
깊은 층의 표현은 데이터 도메인마다 어떻게 비슷하고 또 다르게 보이는가?
이 설명은 왜 완벽한 법칙이 아니라 직관적 경향으로 읽어야 하는가?

이 절에서는 깊은 층의 표현을 원시 입력에 가까운 단순 패턴에서 과업에 더 가까운 추상적 표현으로 이동하는 경향으로 먼저 닫고, 그 직관을 안전하게 설명하는 데 집중합니다.

대신 이번 절에서 바로 더 넓히지 않을 질문도 분명합니다. 이미지의 계층적 표현은 P5-11.1, P5-11.2에서, 순차 데이터와 attention 기반 표현은 P5-12.1, P5-12.2, P5-13.1, P5-13.2, P5-14.1부터 P5-14.6까지의 Transformer 본편에서 다시 회수합니다.

즉, 여기서는 깊은 층 = 무조건 더 지능적 같은 과장을 만들지 않고, 계층적 표현의 직관을 안전하게 설명합니다.

낮은 수준과 높은 수준의 판단 기준¶

깊은 층 표현을 단순 패턴에서 더 추상적 표현으로 이어지는 경향으로 설명할 수 있습니다.
층을 쌓는 이유가 단순히 파라미터 수 증가만이 아니라 표현 수준 변화와도 연결된다는 점을 말할 수 있습니다.
이미지, 음성, 텍스트에서 계층적 표현 직관을 비교할 수 있습니다.
실행 가능한 Python 예제로 여러 층을 거치며 표현 공간이 바뀌는 감각을 확인할 수 있습니다.

낮은 수준과 높은 수준은 무엇을 뜻하나¶

입문 단계에서는 다음 구분으로 충분합니다.

낮은 수준(low-level) 특징: 가장 가까운 원시 패턴
높은 수준(high-level) 표현: 과업에 더 가까운 추상적 조합

예를 들어 이미지라면:

초반에는 edge, 방향, 간단한 질감
중간에는 부분 모양
더 뒤에서는 객체 단서

즉, 이미지에서는 낮은 수준 특징이 부분 모양을 거쳐 더 뒤의 객체 단서로 이어지는 계층이 자주 관찰됩니다.

중요한 점은 이것이 완벽히 모든 네트워크에 동일하게 적용되는 공식이 아니라, 자주 관찰되는 교육적 직관이라는 것입니다.

같은 내용을 층별 역할로 더 또렷하게 쓰면 다음과 같습니다.

표현 수준	자주 드는 설명	과업과의 거리
낮은 수준(low-level)	edge, 짧은 주파수 패턴, 토큰 주변 단서	아직 원시 입력에 가까움
중간 수준(mid-level)	부분 모양, 음절 단서, 구문 패턴	입력과 과업 사이를 잇는 중간 구조
높은 수준(high-level)	객체 단서, 화자 특성, 문장 의미 역할	과업 판단에 더 가까움

왜 층을 쌓으면 표현이 달라질 수 있나¶

한 층은 이전 층 출력 위에서 다시 조합을 만듭니다. 따라서 뒤쪽 층은 원본 입력을 직접 보기보다, 앞단이 만들어 놓은 표현을 재료로 사용합니다.

즉:

첫 층은 입력에 가까운 신호를 다루고
다음 층은 그 신호 조합을 다루며
더 깊은 층은 다시 그 조합의 조합을 다룹니다

이 반복 때문에 층이 깊어질수록 표현이 더 추상화된다고 설명하는 것입니다.

다음처럼 기억하면 충분합니다.

깊은 층은 원본 데이터 그 자체보다, 이미 정리된 중간 표현을 다시 조합하며 더 과업에 가까운 표현을 만든다.

이 과정을 작은 업무 비유로 바꾸면 더 쉽습니다.

첫 단계는 원시 기록에서 눈에 띄는 단서를 적어 둡니다.
다음 단계는 그 단서들을 묶어 더 의미 있는 중간 판단 재료를 만듭니다.
마지막 단계는 그 중간 재료를 사용해 실제 과업에 가까운 결론을 냅니다.

신경망의 각 층도 완전히 같은 방식은 아니지만, 입문 단계에서는 이와 비슷하게 단서 -> 중간 구조 -> 과업 가까운 표현으로 읽을 수 있습니다.

이때 중요한 점은 뒤층이 원본 입력을 그대로 다시 읽는다는 느낌보다, 앞층이 정리한 표현을 재료로 다시 조합한다는 점입니다.

flowchart TD
  A["원본 입력 신호"]
  B["1층이 입력 가까운 단서를 만듦"]
  C["다음 층이 그 단서를 다시 조합"]
  D["더 깊은 층이 다시 재조합"]
  E["과업 가까운 표현"]

  A --> B
  B --> C
  C --> D
  D --> E

즉, 깊이는 단순히 층 수가 늘어나는 문제가 아니라 이미 만든 표현을 다시 조합하는 단계가 추가된다는 뜻으로 읽는 편이 더 정확합니다.

이미지에서의 계층적 표현 직관¶

이미지 영역은 이 설명이 가장 직관적으로 들리는 분야입니다.

예를 들어 CNN을 떠올리면:

초반 필터는 edge나 작은 패턴에 반응하고
중간 층은 눈, 귀, 바퀴 같은 부분 구조에 반응하며
뒤쪽 층은 탱크 윤곽, 밸브 배치, 경광등 위치 같은 더 큰 단서를 조합한다고 설명할 수 있습니다

물론 실제 네트워크 내부는 이보다 더 복잡합니다. 하지만 여기서는 작은 패턴 -> 부분 구조 -> 큰 의미 단서라는 흐름이 핵심입니다.

음성과 텍스트에서의 계층적 표현 직관¶

이 직관은 이미지 밖에서도 유용합니다.

음성¶

원시 파형이나 짧은 주파수 단서
발음 조각
음절, 단어, 화자 특성 같은 단서

즉, 음성에서도 낮은 수준 주파수 단서가 발음 조각을 거쳐 더 큰 언어 단서로 이어지는 계층이 자주 관찰됩니다.

텍스트¶

토큰 수준 정보
인접 문맥 패턴
문장 수준 의미와 역할

즉, 텍스트에서도 토큰과 인접 문맥 패턴이 쌓이며 문장 수준 의미와 역할 단서로 이어지는 계층을 자주 관찰할 수 있습니다.

즉, 데이터 도메인이 달라도 앞단은 더 가까운 신호, 뒤쪽은 더 과업 가까운 구조라는 계층적 설명이 자주 유효합니다.

도메인별로 나란히 두면 차이와 공통점이 더 분명합니다.

도메인	앞단에서 잘 보이는 것	뒤쪽으로 갈수록 더 잘 보이는 것
이미지	경계, 방향, 작은 질감	부분 구조, 객체 단서
음성	짧은 주파수 패턴, 발음 조각	음절, 단어, 화자 특성
텍스트	토큰, 인접 문맥	문장 역할, 의미 관계, 과업 단서

하지만 이 설명을 과장하면 안 된다¶

독자 교육에서는 계층적 표현 직관이 매우 유용하지만, 다음 점도 함께 알아야 합니다.

모든 층이 딱 잘라 명확한 의미를 갖는 것은 아닙니다
도메인과 구조에 따라 표현 양상은 달라집니다
현대 모델에서는 단순한 한 줄 계층 구조보다 더 복잡한 상호작용이 생깁니다

즉, 이 절의 설명은 엄밀한 보편 법칙이라기보다 학습 흐름을 읽기 위한 안전한 기본 지도입니다.

특히 다음 오해는 피하는 편이 좋습니다.

흔한 오해	더 안전한 표현
깊은 층은 항상 더 똑똑하다	깊은 층은 더 과업 가까운 표현을 만들 경향이 있다
각 층은 의미가 딱 하나로 정해진다	층 표현은 겹치고 섞이며, 해석이 항상 깔끔하지는 않다
모든 모델이 같은 계층 구조를 보인다	계층적 직관은 유용하지만 구조와 도메인에 따라 달라진다

이를 아주 단순하게 그리면¶

flowchart TD
  A["원시 입력"]
  B["저수준 패턴"]
  C["중간 수준 구조"]
  D["고수준 과업 특징"]

  A --> B
  B --> C
  C --> D

이 도식은 깊은 층의 표현 직관을 가장 압축한 형태입니다.

사례 및 예시¶

대표 사례. 실링 불량 이미지 분류¶

포장 라인에서 실링이 정상인 파우치와 가장자리가 약하게 뜬 파우치를 나눈다고 해 보겠습니다. 사람은 처음에는 밝은 선 길이, 들뜬 구간 개수처럼 눈에 바로 띄는 국소 단서만 보고 판단하려 하기 쉽습니다. 하지만 촬영 각도가 조금 바뀌거나 반사광이 강하게 들어오면, 같은 약실링도 선 길이와 밝기만으로는 정상처럼 보일 수 있습니다. 초기 층은 이런 짧은 경계, 밝기 변화, 작은 주름 조각 같은 국소 패턴에 먼저 반응하고, 더 깊은 층은 실링 선의 연결 방식, 가장자리 굴곡, 주름과 반사광이 함께 만드는 더 큰 품질 단서를 조합하게 됩니다. 그래서 깊은 층으로 갈수록 단순 반짝임이나 짧은 선 조각보다 실링 전체 구조가 어떻게 이어지는가에 가까운 표현이 만들어진다고 설명할 수 있고, 비슷한 국소 패턴을 가진 이미지 사이에서도 더 안정적인 품질 구분이 가능해집니다. 그래서 이 사례에서 확인해야 할 결과는 짧은 밝기 변화만 보면 헷갈리던 파우치가, 실링 전체 구조 단서까지 반영되면서 정상과 약실링으로 더 안정적으로 갈라지는가입니다.

사람이 먼저 보기 쉬운 기준	계층적 표현 관점으로 다시 읽는 기준
반짝이는 선 몇 개만 비슷하면 같은 품질처럼 느끼기 쉽다	초기 층은 비슷한 반사광에 함께 반응해도, 더 깊은 층에서는 실링 전체 연결 구조가 갈라질 수 있다
짧은 경계 조각만 보면 정상과 약실링이 헷갈리기 쉽다	부분 조각이 쌓여 가장자리 굴곡과 연결 방식으로 재조합되면 구분이 더 안정될 수 있다
깊어질수록 값만 많아지는 정도로 느끼기 쉽다	중요한 것은 값 개수보다 `어떤 품질 구분 축이 더 선명해지는가`이다

같은 관점은 다른 데이터에도 적용됩니다. 다만 이 절에서 붙잡을 핵심은 도메인 이름이 아니라, 앞단의 가까운 단서가 뒤층에서 더 큰 구조 판단 축으로 다시 묶이는가입니다.

장면	사람이 먼저 보기 쉬운 결과	계층적 표현 관점에서 실제로 구분해야 할 것	바로 다음에 확인할 것
실링 불량 이미지 분류	반짝이는 선과 경계 조각만 비슷하면 같은 품질처럼 보입니다.	초기의 국소 패턴이 비슷해도, 더 깊은 층에서는 실링 전체 연결 구조가 더 중요한 축으로 살아날 수 있습니다.	정상과 약실링이 전체 구조 단서로 더 안정적으로 갈라지는지 봅니다.
설비 카메라 장면 재식별	큰 원통 인상만 비슷하면 같은 장면처럼 보입니다.	조명과 각도가 달라도 더 깊은 층에서는 탱크-배관-밸브 배치 같은 구조 축이 더 중요해질 수 있습니다.	지역 반사광 흔들림보다 설비 구조 단서가 더 유지되는지 봅니다.
문장 분류	핵심 단어 몇 개만 비슷하면 같은 유형처럼 보입니다.	더 깊은 표현에서는 단어 자체보다 문장 의도와 위험 방향성이 더 중요한 구분 축으로 살아날 수 있습니다.	상태 보고처럼 보이던 문장이 재점검 요청으로 갈라지는지 봅니다.
생산 배치 시계열	최근값이 비슷하면 상태도 비슷해 보입니다.	더 깊은 표현에서는 반복 리듬과 반응 순서가 최근 평균값보다 더 중요한 축으로 살아날 수 있습니다.	위험군과 안정군이 더 일찍 갈라지는지 봅니다.

연습 및 예제¶

이번 예제의 목표는 생산 배치의 이상 신호가 한 층, 두 층을 지나면서 어떻게 더 다른 표현 공간으로 재배치되는지 보는 것입니다.

문제 상황:

얕은 입력 공간에서는 비슷해 보이는 생산 배치도 층을 거치며 더 구분하기 쉬운 표현 공간으로 바뀔 수 있다
다만 이 예제의 가중치는 실제 학습으로 얻은 값이 아니라, 층별 변환이 표현 공간을 어떻게 바꾸는지 보기 위한 고정 변환이다

입력:

두 개의 이상 신호 지표를 가진 생산 배치 4개
두 단계의 고정 가중치 변환

출력:

입력 공간에서의 배치 신호
첫 번째 은닉 표현
두 번째 은닉 표현
층이 깊어지며 배치 간 거리가 어떻게 달라지는지
어떤 배치 쌍은 더 가까워지고 어떤 배치 쌍은 덜 가까워지는지 비교

확인할 개념:

학습된 깊은 표현은 입력을 그대로 두지 않고 더 유용한 공간으로 다시 배치할 수 있다
이 예제는 그 전체 학습 과정을 구현하지 않고, 층별 변환이 좌표와 거리 관계를 바꾸는 현상만 분리해 확인한다
한 층, 두 층을 거치며 배치 간 거리가 어떻게 달라지는지 봐야 깊이의 의미를 읽을 수 있다
최종 라벨만 보기보다 중간 은닉 표현 변화까지 보는 편이 더 정확하다
깊은 층의 표현은 어떤 배치가 더 비슷해지고 어떤 배치가 덜 비슷한가를 새 좌표계에서 다시 정리할 수 있다

초심자 기준에서는 이 예제를 다음 세 단계로 읽는 편이 좋습니다.

읽는 단계	먼저 볼 것	바로 이어서 붙잡을 질문
1	`signals`, `h1`, `h2`	층을 지날수록 같은 입력 배치가 다른 좌표계로 다시 놓이는가
2	거리 출력값	어떤 배치 쌍이 더 빨리 가까워지고, 어떤 쌍이 상대적으로 덜 가까워지는가
3	두 그래프	단순 거리 감소가 아니라 `관계 재서열화`가 실제로 보이는가

입력(input):

위에 정리한 생산 배치 이상 신호 벡터와 층별 가중치 변환을 사용합니다.

여기서 w1, w2는 학습된 모델 파라미터라고 주장하기 위한 값이 아닙니다. 실제 딥러닝에서는 데이터, 손실, optimizer를 통해 이런 변환이 조정됩니다. 여기서는 그 학습 과정을 생략하는 대신, 이미 정해진 두 변환을 통과할 때 signals -> h1 -> h2로 표현 공간과 거리 관계가 어떻게 바뀌는지만 확인합니다.

코드를 보기 전에 먼저 어떤 배치 쌍이 어떻게 달라질지 예상해 보면 좋습니다.

비교	먼저 예상해 볼 변화	예상 이유
`batch_1` vs `batch_2`	더 가까워질 가능성	입력 지표는 다르지만 층을 지나며 비슷한 이상 조합 축으로 압축될 수 있습니다.
`batch_1` vs `batch_4`	여전히 더 멀 가능성	초반부터 차이가 있는 쌍은 더 깊은 표현에서도 같은 수준으로 붙지 않을 수 있습니다.

이 표의 목적은 깊어질수록 모두 똑같이 움직인다가 아니라, 표현 공간이 배치 관계를 다시 배치한다는 점을 먼저 붙잡는 데 있습니다.

# 생산 배치 신호가 두 층을 지나며 h1과 h2 표현 공간에서 거리 관계를 어떻게 다시 배열하는지 보는 예제입니다.
import numpy as np

def relu(x):
    return np.maximum(0, x)

def pair_distance(a, b):
    return round(float(np.linalg.norm(a - b)), 3)

signals = np.array([
    [1.0, 2.0],
    [2.0, 1.0],
    [0.5, 3.0],
    [3.0, 0.5],
])

w1 = np.array([
    [0.8, 0.2, 0.5],
    [0.1, 0.7, 0.4],
])

w2 = np.array([
    [0.5, 0.3],
    [0.2, 0.9],
    [0.6, 0.1],
])

h1 = relu(signals @ w1)
h2 = relu(h1 @ w2)

print("signals =")
print(np.round(signals, 3))
print()
print("h1 =")
print(np.round(h1, 3))
print()
print("h2 =")
print(np.round(h2, 3))
print()
print("distance(batch_1, batch_2) in signals =", pair_distance(signals[0], signals[1]))
print("distance(batch_1, batch_2) in h1 =", pair_distance(h1[0], h1[1]))
print("distance(batch_1, batch_2) in h2 =", pair_distance(h2[0], h2[1]))
print("distance(batch_1, batch_4) in signals =", pair_distance(signals[0], signals[3]))
print("distance(batch_1, batch_4) in h1 =", pair_distance(h1[0], h1[3]))
print("distance(batch_1, batch_4) in h2 =", pair_distance(h2[0], h2[3]))

출력에서는 signals, h1, h2를 차례로 보고, batch_1과 batch_2 사이 거리가 층을 지날수록 어떻게 달라지는지 이어서 보면 됩니다.

signals =
[[1.  2. ]
 [2.  1. ]
 [0.5 3. ]
 [3.  0.5]]

h1 =
[[1.   1.6  1.3 ]
 [1.7  1.1  1.4 ]
 [0.7  2.2  1.45]
 [2.45 0.95 1.7 ]]

h2 =
[[1.6   1.87 ]
 [1.91  1.64 ]
 [1.66  2.335]
 [2.435 1.76 ]]

distance(batch_1, batch_2) in signals = 1.414
distance(batch_1, batch_2) in h1 = 0.866
distance(batch_1, batch_2) in h2 = 0.386
distance(batch_1, batch_4) in signals = 2.5
distance(batch_1, batch_4) in h1 = 1.639
distance(batch_1, batch_4) in h2 = 0.842

입력 배치 신호는 그대로 정답으로 가지 않고 중간 표현 h1, h2를 거치며 재배치됩니다
같은 두 배치도 층을 지날수록 서로 더 가깝거나 더 멀어질 수 있습니다
깊은 층의 표현이란 단순히 숫자가 늘어나는 것이 아니라, 층별 변환을 거치며 배치 관계 자체가 바뀔 수 있는 과정으로 읽는 편이 좋습니다
실제 학습된 모델에서는 이 관계 변화가 손실을 줄이는 방향으로 조정되었는지를 함께 확인해야 합니다

거리 변화를 그래프로 나누어 보면, 두 배치 쌍이 모두 가까워지더라도 같은 속도와 같은 정도로 가까워지는 것은 아니라는 점이 더 분명합니다. batch_1과 batch_2는 h2에서 더 가까운 이웃으로 남고, batch_1과 batch_4는 가까워지긴 하지만 상대적으로 더 멀리 남습니다.

계층 표현 단계별 배치 쌍 거리 변화

최종 h2 표현 공간만 따로 보면, 깊은 층의 표현이 단순히 값을 줄인 것이 아니라 배치 사이의 위치 관계를 다시 배치했다는 점을 볼 수 있습니다.

h2 표현 공간에서 다시 배치된 생산 배치

출력은 거리 하나만 보는 대신 배치 관계가 어떻게 다시 정리되는가를 같이 읽어야 합니다.

비교	지금 읽어야 할 핵심
`batch_1` vs `batch_2`	입력 공간에서는 다르지만 깊은 층으로 갈수록 더 가까운 표현으로 압축됩니다.
`batch_1` vs `batch_4`	이 쌍도 가까워지지만, 여전히 `batch_1` vs `batch_2`보다 더 멀어 깊은 층이 관계를 다시 서열화하고 있음을 보여 줍니다.
전체 해석	깊이는 배치를 한쪽으로 몰아넣는 과정이 아니라, 학습된 모델에서는 `어떤 배치가 더 비슷하고 어떤 배치가 덜 비슷한가`를 과업에 유용한 새 좌표계에서 다시 정리할 수 있다는 관점입니다. 이 예제에서는 그중 좌표계 변화와 관계 재배치만 분리해 봅니다.

출력 숫자를 읽을 때도 거리가 줄어드는가와 어떤 쌍이 더 중요한 이웃으로 다시 남는가를 분리해서 봐야 합니다.

비교	출력에서 먼저 보이는 것	거리만 보면 남기 쉬운 해석	계층적 표현까지 보면 바뀌는 해석
`batch_1` vs `batch_2`	`1.414 -> 0.866 -> 0.386`으로 빠르게 가까워집니다.	층이 깊어질수록 그냥 모두 비슷해지는 것처럼 보일 수 있습니다.	이 고정 변환에서는 두 배치가 더 가까운 이웃으로 재정렬됩니다. 실제 모델에서는 이 재정렬이 과업에 유용한지까지 확인해야 합니다.
`batch_1` vs `batch_4`	`2.5 -> 1.639 -> 0.842`로 역시 가까워집니다.	결국 모든 배치가 비슷해진다고 보기 쉽습니다.	가까워지더라도 `batch_1` vs `batch_2`보다 더 멀리 남아 있어, 깊은 층이 관계를 새로 서열화하고 있다는 점이 중요합니다.
전체 해석	모든 거리가 줄어드는 듯 보입니다.	깊이는 단지 값을 압축하는 과정처럼 느끼기 쉽습니다.	핵심은 압축 자체보다 `어떤 관계를 더 가까운 것으로 남길지`가 좌표계 변화에 따라 달라질 수 있다는 점입니다. 과업 기준으로 맞는지는 학습과 평가로 확인해야 합니다.

깊은 층의 표현이라는 관점은 딥러닝이 왜 shallow model과 달랐는지를 설명하는 핵심 축입니다. 단순히 층이 많다는 것이 아니라, 계층적 표현을 형성한다는 설명이 있어야 CNN, RNN, Transformer가 단순히 큰 함수가 아니라는 점이 드러납니다.

이 관점은 바로 앞의 P5-10.1 표현 학습을 층이 늘어나면 내부 표현도 바뀐다는 흐름으로 더 구체화하고, 이어지는 P5-11.1, P5-11.2의 CNN, P5-12.1, P5-12.2의 순차 모델, P5-13.1, P5-13.2의 attention으로 자연스럽게 퍼져 나갑니다. 표현 학습 연구, 딥러닝 해석 가능성 연구, 그리고 LLM의 임베딩/은닉 표현 논의로도 이어지므로, Part 5의 이 절은 Part 5로 넘어갈 때 중요한 개념 다리 역할도 합니다.

여기서 한 번 멈추고, 언제 층 수 자체보다 계층적 표현 관점부터 먼저 읽어야 하는가를 짧게 고정해 두면 다음 CNN 장으로 넘어갈 때 깊이 설명이 구조 설명으로 자연스럽게 넘어갑니다.

먼저 떠올릴 질문	계층적 표현 관점이 먼저 필요한 이유	다음 절에서 이어질 것
층을 더 쌓는 이유가 단순 파라미터 증가만은 아닌가	앞단 표현을 다시 조합해 더 과업 가까운 표현을 만들 수 있기 때문	CNN이 지역 패턴을 층별로 어떻게 키우는가
낮은 수준 특징과 높은 수준 표현을 왜 구분하는가	구조 설명보다 먼저 `무엇이 점점 추상화되는가`를 읽어야 하기 때문	이미지, 시퀀스, attention의 표현 차이
왜 깊은 모델이 shallow model과 다르다고 말하는가	깊이는 함수 크기보다 내부 표현 재배치의 연속으로 읽는 편이 안전하기 때문	뒤 장의 구조별 표현 학습 방식

체크리스트¶

깊은 층으로 갈수록 표현이 더 추상적이고 과업 가까운 패턴으로 이동한다는 직관을 설명할 수 있는가?
이 설명이 절대 법칙이 아니라 경향이라는 점을 함께 말할 수 있는가?
여러 층을 쌓는 이유는 단순 파라미터 증가만이 아니라 표현 수준을 바꾸기 위해서이기도 하다는 점을 설명할 수 있는가?
깊이를 층이 많다는 말로만 보지 않고, 중간 표현을 다시 조합하는 단계가 늘어난다는 뜻으로 설명할 수 있는가?
이미지, 음성, 텍스트 모두에서 계층적 표현 직관이 자주 유효하다는 점을 말할 수 있는가?
low-level, mid-level, high-level 구분이 엄격한 법칙이 아니라 교육용 기본 지도라는 점을 분명히 말할 수 있는가?
깊이를 파라미터 수 증가로만 설명하고 있을 때, 계층적 표현 관점을 먼저 떠올릴 수 있는가?
다음 장에서 CNN을 읽을 때도 먼저 지역 패턴이 어떻게 계층적으로 커지는가를 떠올릴 준비가 되어 있는가?

출처와 참고 자료¶

Yoshua Bengio, Aaron Courville, Pascal Vincent, Representation Learning: A Review and New Perspectives, IEEE TPAMI, 2013, 확인 날짜: 2026-07-19. https://arxiv.org/abs/1206.5538
Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016, 확인 날짜: 2026-06-29. https://www.deeplearningbook.org/
Dumitru Erhan et al., Why Does Unsupervised Pre-training Help Deep Learning?, JMLR, 2010, 확인 날짜: 2026-07-19. https://jmlr.org/papers/v11/erhan10a.html