P1-8.3 강화학습(reinforcement learning): 행동(action)과 보상(reward)¶

Section ID: P1-8.3 Version: v2026.07.20

8.1에서는 지도학습(supervised learning)을 입력(input)과 라벨(label)이 함께 있는 예시에서 배우는 방식으로 설명했습니다. 8.2에서는 비지도학습(unsupervised learning)을 라벨 없는 데이터에서 구조(structure), 군집(cluster), 표현(representation)을 찾는 방식으로 설명했습니다.

이번 절은 세 번째 기본 구분입니다. 강화학습(reinforcement learning)은 라벨을 바로 맞추는 문제도 아니고, 라벨 없이 구조만 찾는 문제도 아닙니다. 어떤 상태(state)에서 행동(action)을 선택하고, 그 행동 이후 돌아오는 보상(reward)을 통해 더 나은 행동 방식(policy)을 찾으려는 학습 방식입니다.

이 구분은 비교적 최근에 갑자기 생긴 것이 아닙니다. 강화학습은 1990년대와 2000년대에도 이미 AI와 머신러닝을 배울 때 중요한 축으로 다뤄졌습니다. 그래서 오래전 AI 입문 자료에서 강화학습이 크게 보였다면 그것이 특별히 시대를 잘못 기억한 것은 아닙니다. 다만 그 시기의 강화학습을 오늘날 대중에게 익숙한 Atari, AlphaGo, RLHF 같은 사례와 곧바로 같은 장면으로 보면 시간축이 섞입니다. 여기서는 딥 강화학습 유행 이전부터 이어져 온 기본 문제 설정, 즉 상태(state), 행동(action), 보상(reward), 정책(policy)의 틀을 기준으로 설명합니다.

이 절의 핵심 질문은 정답 라벨이 바로 주어지지 않을 때 모델이 행동의 결과를 보고 무엇을 바꾸려 하는가입니다.

강화학습은 정답표를 맞히는 방식이 아니라, 행동 뒤에 돌아오는 보상 신호를 통해 행동 방식을 조정하는 방식이다.

이 절에서는 강화학습(reinforcement learning), 에이전트(agent), 환경(environment), 상태(state), 행동(action), 보상(reward), 정책(policy), 탐험(exploration), 활용(exploitation)을 행동 결과의 보상 신호라는 축으로 정리합니다. 상태(state)와 행동(action)의 감각은 7.1에서, 라벨(label)과 지도학습/비지도학습의 구분은 8.1과 8.2에서 먼저 다뤘습니다.

에이전트, 환경, 상태, 행동, 보상, 정책, 탐험, 활용은 초반에 모두 비슷한 시스템 구성 요소처럼 들릴 수 있습니다. 우선 각 용어의 자리를 짧게 구분하면 다음과 같습니다.

이 절에서 유지해야 할 최소 구분은 강화학습은 행동과 보상, 정책은 행동 기준, 보상은 라벨이 아님, 탐험과 활용은 균형 문제입니다.

여기서는 강화학습 알고리즘을 계산하지 않습니다. 마르코프 결정 과정(MDP, Markov decision process), 벨만 방정식(Bellman equation), Q-learning, 정책 경사(policy gradient), 액터-크리틱(actor-critic), 딥 강화학습(deep reinforcement learning)은 이름과 위치만 지나갑니다.

또한 게임 AI, 로봇 제어, 추천 시스템, RLHF(reinforcement learning from human feedback)를 자세히 다루지 않습니다. 강화학습의 후속 알고리즘과 RLHF의 큰 그림은 Part 4 Chapter 19에서 다시 보고, LLM 정렬 맥락의 RLHF는 Part 6에서 다시 연결합니다. 여기서는 강화학습이 지도학습, 비지도학습과 왜 다른 문제 설정인지 잡는 데 집중합니다.

또한 상태(state)와 행동(action)의 기본 직관을 다시 처음부터 정의하지는 않습니다. 그 감각은 7.1의 탐색 맥락에서도 먼저 다뤘고, 여기서는 행동 뒤에 보상이 돌아오는 문제 설정이 왜 따로 구분되는지를 보는 데 집중합니다.

여기서는 다음 정의를 기준선으로 둡니다.

강화학습은 상태에서 행동을 선택하고, 행동 뒤의 보상을 통해 장기적으로 더 나은 정책을 찾는 방식이다.

행동과 보상으로 학습 방향을 잡는 방식¶

• 강화학습(reinforcement learning)을 행동(action)과 보상(reward)의 관점에서 설명합니다.
• 에이전트(agent), 환경(environment), 상태(state), 행동(action), 보상(reward), 정책(policy)을 입문 수준에서 구분합니다.
• 보상(reward)을 지도학습의 라벨(label)과 혼동하지 않습니다.
• 보상이 즉시 돌아오지 않을 수 있다는 지연 보상(delayed reward)의 직관을 이해합니다.
• 탐험(exploration)과 활용(exploitation)의 긴장을 이해합니다.
• 강화학습과 딥러닝(deep learning), 게임 AI, RLHF를 같은 말로 섞지 않습니다.

세 가지 기준¶

여기서는 강화학습 수식보다 왜 “행동의 결과”가 중요한지에 집중합니다.

강화학습은 행동의 결과에서 배운다¶

강화학습에서 중심에 있는 것은 행동입니다. 에이전트(agent)는 어떤 환경(environment) 안에서 현재 상태(state)나 관측(observation)을 보고 행동(action)을 선택합니다. 환경은 그 행동의 결과로 바뀌고, 에이전트는 보상(reward)을 받습니다.

OpenAI의 Spinning Up 문서는 강화학습을 에이전트가 시행착오(trial and error)를 통해 배우는 분야로 소개하고, 에이전트가 환경과 상호작용하며 행동을 선택하고 보상 신호를 받는다고 설명합니다. Google의 Machine Learning Glossary도 강화학습에서 에이전트가 정책(policy)을 사용해 행동을 선택하고, 환경(environment)의 상태(state)를 관찰한다고 설명합니다.

입문 단계의 기준선은 다음 흐름입니다.

상태(state)를 본다. 행동(action)을 선택한다. 환경(environment)이 바뀐다. 보상(reward)을 받는다. 다음 행동 방식을 조정한다.

예를 들어 창고 로봇이 물건을 옮기는 문제를 생각해 봅니다.

이 예시에서 로봇은 각 순간마다 “정답 라벨”을 받지 않습니다. 대신 행동한 뒤 결과를 경험합니다. 충돌하지 않고 목적지에 가까워지는 행동은 좋은 신호를 받을 수 있고, 충돌하거나 시간을 낭비하는 행동은 나쁜 신호를 받을 수 있습니다.

보상(reward)은 라벨(label)이 아니다¶

강화학습을 처음 볼 때 가장 쉬운 오해는 보상을 지도학습의 라벨처럼 이해하는 것입니다. 둘은 모두 학습에 쓰이는 신호이지만 같은 말이 아닙니다.

라벨(label)은 보통 “이 입력에는 이런 출력이 붙는다”는 표식입니다. 반면 보상(reward)은 “이 행동 이후 결과가 목표에 얼마나 도움이 되었는가”를 수치로 돌려주는 피드백입니다.

예를 들어 고객 문의 분류에서는 다음과 같이 라벨이 붙을 수 있습니다.

입력: “환불하고 싶어요.” 라벨: 환불

하지만 강화학습 문제에서는 다음처럼 행동과 결과가 중요합니다.

상태: 고객이 환불 문의를 보냈다. 행동: 환불 정책 안내를 먼저 보낸다. 결과: 고객이 문제를 해결했다. 보상: 양의 보상

여기서 보상은 환불이라는 라벨이 아닙니다. 어떤 행동 순서가 목표 달성에 도움이 되었는지를 평가하는 신호입니다. 그래서 강화학습에서는 하나의 순간 정답보다 여러 행동의 결과가 이어진 흐름이 중요해집니다.

정책(policy)은 행동을 고르는 방식이다¶

정책(policy)은 에이전트가 상태나 관측을 보고 어떤 행동을 선택할지 정하는 방식입니다. Google의 Machine Learning Glossary는 정책을 에이전트가 상태에서 행동으로 매핑하는 것으로 설명합니다. OpenAI Spinning Up도 정책을 에이전트가 어떤 행동을 할지 결정하는 규칙으로 설명합니다.

정책은 다음처럼 읽을 수 있습니다.

정책(policy) = 상태를 보고 행동을 고르는 방식

예를 들어 로봇 청소기의 단순한 정책은 다음처럼 쓸 수 있습니다.

이 표는 실제 강화학습 정책을 그대로 표현한 것은 아닙니다. 다만 정책이 “상태에서 행동으로 이어지는 기준”이라는 점을 이해하는 데 도움이 됩니다.

강화학습의 목표는 단순히 다음 행동 하나를 맞히는 것이 아니라, 여러 상황에서 보상이 커지는 행동 방식을 찾는 것입니다. 그래서 정책은 강화학습에서 매우 중요한 대상입니다.

지연 보상(delayed reward)은 결과를 어렵게 만든다¶

강화학습이 어려운 이유 중 하나는 보상이 즉시 돌아오지 않을 수 있다는 점입니다. 이를 지연 보상(delayed reward)이라고 부를 수 있습니다.

예를 들어 미로를 빠져나가는 에이전트를 생각해 봅니다.

한 걸음 이동할 때마다 정답을 알려 주지 않는다. 출구에 도착했을 때 큰 보상을 받는다. 중간의 어떤 행동이 출구 도착에 기여했는지 나중에 따져야 한다.

이 문제는 지도학습의 라벨 문제와 다릅니다. 지도학습에서는 예시마다 기대 출력이 바로 붙어 있을 수 있습니다. 하지만 강화학습에서는 행동의 결과가 여러 단계 뒤에 나타날 수 있습니다.

업무 예시로도 볼 수 있습니다.

따라서 강화학습에서는 “이번 행동이 지금 좋아 보이는가”뿐 아니라 “이 행동이 이후 결과에 어떤 영향을 주는가”를 함께 생각해야 합니다.

탐험(exploration)과 활용(exploitation)¶

강화학습에는 탐험(exploration)과 활용(exploitation)의 긴장이 있습니다.

탐험(exploration)은 아직 충분히 시도하지 않은 행동을 해 보는 것입니다. 활용(exploitation)은 지금까지 좋다고 알게 된 행동을 선택하는 것입니다.

Google의 Machine Learning Glossary는 epsilon greedy policy를 설명하면서, 초기에는 무작위 정책(random policy)을 더 따르다가 시간이 지나며 greedy policy 쪽으로 옮겨 가는 흐름을 예로 듭니다. 입문 단계에서 중요한 직관은 다음과 같습니다.

모르는 행동을 시도해야 배울 수 있다. 하지만 계속 시도만 하면 성과를 내기 어렵다. 강화학습은 탐험과 활용 사이의 균형을 다룬다.

이 균형은 게임에서만 필요한 것이 아닙니다. 추천, 가격 정책, 로봇 제어, 자원 배분처럼 행동의 결과를 보며 조정해야 하는 문제에서도 비슷한 고민이 생깁니다.

예시는 게임에만 갇히지 않는다¶

강화학습은 게임 AI 사례로 자주 소개됩니다. 게임은 상태, 행동, 보상, 승패가 비교적 명확하기 때문에 설명하기 좋습니다. 하지만 강화학습을 게임으로만 이해하면 범위가 좁아집니다.

강화학습의 핵심은 다음 조건이 함께 있을 때 더 잘 드러납니다.

선택할 행동이 있다. 행동이 다음 상태에 영향을 준다. 결과를 평가하는 보상 신호가 있다. 지금 행동이 미래 결과에 영향을 준다.

이 관점에서 다음 예시를 볼 수 있습니다.

다만 이런 예시는 개념 설명용입니다. 실제 업무에서 강화학습을 적용하려면 보상 설계, 안전 제약, 탐험 비용, 데이터 수집, 평가 방식, 사용자 영향 같은 문제가 매우 중요합니다. 여기서는 적용 가능성을 주장하지 않고, 문제 구조를 이해하는 데만 사용합니다.

강화학습과 다른 학습 유형의 경계¶

8장은 세 가지 기본 학습 유형을 구분하는 장입니다. 다시 정리하면 다음과 같습니다.

딥러닝(deep learning)은 이 표와 같은 분류축이 아닙니다. 딥러닝은 강화학습과 결합될 수 있고, 그 경우 딥 강화학습(deep reinforcement learning)이라고 부를 수 있습니다. 하지만 강화학습 자체가 딥러닝이라는 뜻은 아닙니다.

RLHF(reinforcement learning from human feedback)도 강화학습의 모든 것을 대표하지 않습니다. RLHF는 사람의 피드백을 학습 신호로 활용하는 현대 LLM 학습 맥락에서 자주 등장하지만, 강화학습 전체를 설명하는 출발점으로 삼기에는 범위가 좁습니다. 이 주제는 Part 1 Chapter 11부터 Chapter 14, 그리고 Part 6에서 따로 다룹니다.

체크리스트¶

• 강화학습(reinforcement learning)을 상태(state), 행동(action), 보상(reward)의 흐름으로 설명할 수 있다.
• 에이전트(agent), 환경(environment), 정책(policy)을 입문 수준에서 구분할 수 있다.
• 보상(reward)이 지도학습의 라벨(label)과 같은 말이 아님을 설명할 수 있다.
• 지연 보상(delayed reward)이 강화학습을 어렵게 만드는 이유를 설명할 수 있다.
• 탐험(exploration)과 활용(exploitation)의 차이를 설명할 수 있다.
• 강화학습과 딥러닝(deep learning), 딥 강화학습(deep reinforcement learning), RLHF를 같은 말로 쓰지 않을 수 있다.
• 입력과 정답 틀만이 아니라 행동과 결과의 시간 흐름으로 문제를 읽을 수 있다.
• 보상, 탐험, 활용, 지연 보상이 왜 함께 등장하는지 연결해 설명할 수 있다.

출처와 참고 자료¶

• Google for Developers, Machine Learning Glossary, 확인 날짜: 2026-06-23.
• OpenAI Spinning Up, Part 1: Key Concepts in RL, 확인 날짜: 2026-06-23.
• David L. Poole, Alan K. Mackworth, Artificial Intelligence: Foundations of Computational Agents, 3rd ed., Chapter 12 Planning with Uncertainty, 확인 날짜: 2026-06-23.
• Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, second edition, MIT Press, 2018, 확인 날짜: 2026-07-19.