P4-19.5 보충학습: 강화학습 수식 이름 첫 읽기¶

Section ID: P4-19.5 Version: v2026.07.31

P4-19.1에서 가치 기반 강화학습을 읽다 보면 곧 다음 이름들이 따라붙습니다.

이 절은 이 이름들을 엄밀한 증명 순서로 길게 전개하기보다, 가치 기반 강화학습의 점수표가 왜 재귀적으로 쓰이고, 왜 반복 갱신이 안정되는지를 따져 보며, 왜 큰 문제에서는 표를 함수로 바꾸게 되는가를 처음 연결하는 보충학습입니다.

보충학습: 벨만 방정식, 수렴, 함수 근사를 처음 읽는 법에서 닫을 질문¶

이 절은 다음 질문에 답합니다.

벨만 방정식은 왜 지금 보상 + 다음 상태의 가치처럼 읽히는가?
수렴을 본다는 말은 무엇이 더 이상 크게 흔들리지 않는다는 뜻인가?
함수 근사는 왜 Q-table 대신 등장하는가?
DQN은 가치 기반 강화학습의 어떤 확장으로 읽어야 하는가?

이 절은 재귀적 가치 읽기, 반복 갱신의 안정화, 표에서 함수로의 이동이라는 세 손잡이로 강화학습의 확장 배경을 읽는 데 집중합니다.

보충학습: 벨만 방정식, 수렴, 함수 근사를 처음 읽는 법에서 남길 판단 기준¶

벨만 방정식을 현재 보상과 미래 가치의 연결식으로 설명할 수 있습니다.
수렴을 반복 갱신 결과가 일정한 값 근처로 안정되는가를 보는 질문으로 설명할 수 있습니다.
함수 근사를 큰 상태 공간에서 값을 표 대신 모델로 표현하는 방식으로 설명할 수 있습니다.
DQN을 가치 기반 직관을 큰 상태 공간으로 옮긴 대표 확장으로 설명할 수 있습니다.

왜 이 절이 필요한가¶

Q-learning과 SARSA의 직관은 좋지만, 곧 두 가지 벽을 만납니다.

왜 이런 갱신 식이 성립한다고 말하는가?
상태가 너무 많아지면 이 값을 표에 다 적을 수 있는가?

바로 여기서 벨만 방정식, 수렴, 함수 근사가 등장합니다.

즉, 이 절의 핵심은 Q-table 직관이 어디서 수학적 형태를 얻고, 어디서 계산 한계를 만나며, 어떤 확장으로 넘어가는가를 처음 잇는 데 있습니다.

벨만 방정식은 왜 나오는가¶

가치 기반 강화학습의 핵심 생각은 단순합니다.

지금 좋은 행동은, 지금 보상만 큰 행동이 아니라 다음에도 좋은 상태로 이어지는 행동이다.

이 생각을 식처럼 읽으면 자연스럽게 다음 구조가 나옵니다.

지금 얻는 보상(reward)
다음 상태(next state)에서 이어질 미래 가치(value)

즉, 벨만 방정식은 가치란 지금 한 번의 이익만이 아니라, 앞으로 이어질 선택의 좋음까지 합친 것이라는 말을 더 압축해서 적은 형태입니다.

입문적으로는 다음처럼 읽으면 충분합니다.

읽는 질문	벨만 식이 말하는 것
지금 이 행동이 왜 좋은가	지금 보상만이 아니라 다음 상태의 가치도 크기 때문
가치가 왜 재귀적으로 보이는가	다음 상태의 가치도 다시 같은 방식으로 정의되기 때문
왜 한 번 계산으로 끝나지 않는가	미래 가치가 다시 미래 가치에 연결되기 때문

즉, 벨만 방정식은 복잡한 기호보다 먼저 미래를 포함한 점수판이라는 뜻으로 붙잡는 편이 중요합니다.

수렴을 본다는 말은 무엇인가¶

Q-learning이나 SARSA는 값을 한 번에 완성하지 않고, 경험이 쌓일 때마다 조금씩 갱신합니다. 그래서 자연스럽게 다음 질문이 생깁니다.

이 값을 계속 고치다 보면 언젠가 어느 정도 안정되는가?

바로 이 질문이 수렴입니다.

입문적으로는 수렴을 다음처럼 읽으면 됩니다.

업데이트를 반복할수록 값이 계속 크게 흔들리지 않고, 어느 일정한 값 근처로 모여 가는가

수렴이 잘되는 쪽의 감각	수렴을 의심해야 하는 감각
같은 상태-행동 값이 반복될수록 변화폭이 줄어든다	값이 오래 지나도 크게 출렁인다
더 많은 경험이 쌓일수록 점수판이 안정된다	탐험/학습률/표현 문제로 값이 계속 흔들린다
정책 비교가 점점 일관돼진다	어떤 행동이 더 좋은지 판단이 자주 뒤집힌다

현재 절에서 수렴 증명을 끝까지 따라갈 필요는 없습니다. 다만 왜 반복 업데이트가 그냥 감이 아니라 안정성 질문으로 이어지는가는 잡아 두는 편이 중요합니다.

함수 근사는 왜 등장하는가¶

작은 미로에서는 상태와 행동 수가 적어서 Q-table을 직접 적을 수 있습니다. 하지만 현실 문제는 다릅니다.

화면 픽셀이 상태인 게임
센서 값이 매우 많은 로봇 제어
조합이 너무 많은 추천 문제

이런 장면에서는 모든 상태-행동 조합의 값을 표에 직접 적기 어렵습니다.

그래서 등장하는 생각이 함수 근사입니다.

값을 셀마다 적는 대신, 입력을 받으면 값을 예측하는 함수나 모델로 대신 표현하자.

Q-table	함수 근사
상태-행동마다 값을 칸에 직접 적는다	상태를 넣으면 값을 추정하는 모델을 둔다
작은 문제에서는 직관이 좋다	큰 상태 공간을 다루기 쉬워진다
상태 수가 커지면 표가 금방 커진다	일반화는 가능하지만 학습 안정성은 더 어려워질 수 있다

즉, 함수 근사는 가치 기반 강화학습을 버리는 것이 아니라, 그 직관을 더 큰 문제에 옮기기 위한 표현 변경입니다.

DQN은 어떻게 읽어야 하나¶

DQN은 이 함수 근사 흐름의 대표 사례입니다.

아주 짧게 말하면:

Q-value를 표(table) 대신 신경망(neural network)으로 근사해 더 큰 상태 공간을 다루려는 강화학습

그래서 DQN은 완전히 새로운 철학이라기보다, 가치 기반 강화학습을 더 큰 문제로 확장한 이름으로 읽는 편이 맞습니다.

Q-learning에서 유지되는 것	DQN에서 바뀌는 것
여전히 어떤 행동이 더 가치가 큰가를 묻는다	값을 표 대신 함수 근사기로 표현한다
여전히 다음 상태의 가치가 현재 갱신에 들어간다	큰 상태 입력을 신경망으로 읽는다
여전히 가치 기반 직관을 쓴다	학습 안정화를 위한 추가 장치가 중요해진다

즉, DQN은 가치 기반을 버린 이름이 아니라 가치 기반을 더 큰 상태 공간으로 밀어 올린 이름입니다. 그 계보 전체는 P4-19.4에서 다시 큰 흐름으로 읽을 수 있습니다.

강화학습 수식 이름 첫 읽기: 확인할 판단 기준¶

이 사례에서는 벨만 방정식, 수렴, 함수 근사를 처음 읽는 최소 기준이 드러나는지 확인한다.

사례 1. 작은 미로에서는 표가 되지만, 화면 게임으로 가면 표가 무너질 때¶

작은 미로 문제에서는 현재 칸과 이동 방향 조합이 많지 않아서 Q-table로도 충분히 값을 적을 수 있습니다. 사람이 먼저 쓰기 쉬운 기준도 단순합니다. 칸 수가 몇 개 안 되니, 상태마다 값을 한 칸씩 적으면 되겠다는 생각입니다.

이 기준은 작은 장난감 문제에서는 잘 맞습니다. 실제로 5x5 격자처럼 상태 수가 작으면, 지금 칸 -> 위/아래/왼쪽/오른쪽의 값을 표로 적고 반복 갱신해도 전체 그림이 눈에 들어옵니다. 이때는 벨만식도 지금 보상 + 다음 칸 가치라는 직관으로 바로 붙습니다.

하지만 화면 전체 픽셀을 상태로 보는 게임으로 넘어가면 상황이 달라집니다. 이제는 각 장면마다 값을 새 칸에 적는다는 기준이 금방 무너집니다. 비슷해 보이는 장면이 아주 많이 생기고, 화면이 조금만 달라져도 사실상 새 상태처럼 취급해야 하기 때문입니다. 여기서 핵심 질문은 이 상태를 표에 또 하나 적을까가 아니라 비슷한 장면에서도 값을 추정해 줄 공통 규칙이 필요한가로 바뀝니다.

flowchart TD
  A["작은 미로를 읽음"]
  B["상태마다 값을 표에 적음"]
  C["표로도 비교 가능"]
  D["화면 게임으로 확장"]
  E["상태 수가 급증함"]
  F["새 칸 추가 방식이 무너짐"]
  G["함수 근사로 값을 옮김"]

  A --> B --> C
  C --> D --> E --> F --> G

문제 장면	사람이 먼저 쓰기 쉬운 기준	곧 드러나는 한계	현재 절이 바꾸는 해석
5x5 미로	상태마다 값을 한 칸씩 적는다	표가 아직 작아서 감당 가능하다	벨만식과 반복 갱신 직관을 표로 익히기 좋다
화면 게임 초반	새 장면이 나오면 새 칸을 더 만든다	장면 수가 너무 많아 표가 사실상 관리되지 않는다	값 표현을 함수 근사로 바꿔야 한다
비슷한 장면이 계속 바뀌는 환경	거의 같은 장면도 각각 따로 적는다	일반화가 안 되고 학습이 느리고 불안정해진다	공통 패턴을 읽는 모델이 필요하다

즉, 이 사례에서 함수 근사는 가치 기반 강화학습을 버리는 추가 장치가 아닙니다. 표로는 더 이상 같은 판단을 유지할 수 없을 때, 그 판단을 더 큰 상태 공간으로 옮기는 표현 변경입니다. DQN도 바로 이 지점에서 읽어야 합니다.

이 사례의 확인 가능한 결과는 다음처럼 닫힙니다. 작은 미로에서는 각 상태-행동 값을 표로 직접 적고도 어떤 행동이 더 좋은지 안정적으로 비교할 수 있지만, 화면 게임처럼 상태 수가 폭증하면 새 칸을 더 적는 방식으로는 같은 비교를 유지하기 어렵습니다. 그때 독자가 확인해야 할 결론은 가치 기반 직관이 틀린 것이 아니라 그 직관을 표가 아닌 함수로 옮겨야 하는 시점이 왔다는 점입니다.

연습 및 예제¶

이번 연습은 사례 1과 직접 이어서, 현재 보상 + 다음 가치라는 같은 벨만식 읽기가 상태 수에 따라 왜 표 유지와 함수 근사 전환으로 갈리는지 확인하는 데 초점을 둡니다.

입력으로 볼 값은 현재 보상 1.0, 할인율 0.9, 다음 상태 가치 0.8, 그리고 상태 수입니다. 출력처럼 읽어야 할 것은 계산 결과 하나가 아니라, 같은 현재 가치 해석이 작은 상태 공간에서는 Q-table로, 큰 상태 공간에서는 함수 근사로 이어진다는 판단입니다.

따라서 이 연습은 벨만 방정식, 수렴, 함수 근사를 따로 외우는 대신 한 흐름으로 묶습니다. 벨만식은 지금 보상 + 다음 가치를 읽는 재귀 구조이고, 수렴은 이 값을 계속 갱신할 때 변화폭이 줄어드는지 보는 질문이며, 함수 근사는 큰 상태 공간에서 같은 판단을 담는 표현 방식을 바꾸는 일입니다.

장면	계산	현재 가치 읽기	상태 수	더 자연스러운 표현
`small_maze`	`1.0 + 0.9 * 0.8`	1.72	25	Q-table
`screen_game`	`1.0 + 0.9 * 0.8`	1.72	1,000,000	함수 근사(function approximator)

이 예제에서 읽어야 할 것은 다음입니다.

작은 미로와 화면 게임 모두 현재 가치는 지금 보상 + 다음 가치라는 같은 벨만식 구조로 읽힌다.
즉, 상태 공간이 커졌다고 해서 가치 기반 직관 자체가 사라지는 것은 아니다.
달라지는 것은 그 값을 어디에 담을 것인가이며, 상태 수가 커지면 같은 직관을 함수 근사로 옮겨야 한다.

표로 보기: 상태 수가 커질수록 무엇이 먼저 불편해지는가¶

이번에는 보상과 할인율은 그대로 두고, 상태 수만 늘려 보면서 언제 표 기반 직관이 불편해지는지 봅니다. 상태 수 기준으로 표현 방식을 나누어 읽는 장면이므로, 코드보다 비교표가 더 분명합니다.

상태 수	현재 가치 읽기	먼저 불편해지는 지점	표현 방식
25	1.72	상태-행동 값을 표에 적을 수 있음	Q-table
2,500	1.72	표가 커져 관리가 어려워짐	함수 근사
250,000	1.72	모든 값을 직접 저장하기 어려움	함수 근사

이 비교에서 변하지 않는 것은 현재 보상 + 미래 가치라는 해석이고, 먼저 무너지는 것은 표에 직접 적는다는 표현 방식입니다. 그래서 독자가 여기서 확인해야 할 핵심은 벨만식이 틀려졌다가 아니라 같은 판단을 다른 표현으로 옮겨야 한다는 점입니다.

직접 판단해 보기¶

아래 관찰을 보고, 어느 해석이 더 안전한지 먼저 골라 봅니다.

관찰	성급한 결론	더 안전한 해석
작은 미로와 화면 게임의 `bellman view`가 같다	큰 상태 공간에서는 벨만식을 쓰지 않는다	현재 가치 해석은 같고 값 표현 방식만 달라진다
상태 수가 25에서 2500으로 늘자 표현 방식이 바뀌었다	가치 기반 강화학습이 무효가 됐다	표가 불편해져 함수 근사로 옮겨 가는 시점이 드러난다
반복 갱신 뒤 값 변화가 줄어든다	이제 수식은 끝났고 더 볼 것이 없다	값이 안정되는지 보는 수렴 질문으로 이어진다

이 표의 목적은 수학 이름을 외우는 데 있지 않습니다. 왜 현재 값이 미래와 연결되는가, 왜 안정성 질문이 나오고, 왜 표현 방식이 바뀌는가를 한 흐름으로 붙잡는 데 있습니다.

체크리스트¶

벨만 방정식이 현재 보상과 미래 가치를 함께 읽는 재귀적 가치 식이라는 점을 설명할 수 있는가
수렴이 반복 갱신 결과가 점점 안정되는가를 보는 질문이라는 점을 설명할 수 있는가
함수 근사가 Q-table 직관을 더 큰 상태 공간으로 옮기기 위한 표현 변경이라는 점을 설명할 수 있는가
DQN이 가치 기반 강화학습의 대표 확장 흐름이라는 점을 설명할 수 있는가

출처와 참고 자료¶

Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed., The MIT Press, 2018. 벨만 방정식, 가치 기반 방법, 수렴, 함수 근사 흐름을 확인할 때 참고했다. 확인 날짜: 2026-07-19. https://mitpress.mit.edu/9780262039246/reinforcement-learning/
Volodymyr Mnih et al., Human-level control through deep reinforcement learning, Nature, 2015. DQN을 고차원 감각 입력과 Q-value 함수 근사로 연결하는 대표 사례로 확인할 때 참고했다. 확인 날짜: 2026-07-19. https://doi.org/10.1038/nature14236