P1-5.1 학습(learning)은 무엇을 바꾸는가¶

Section ID: P1-5.1 Version: v2026.07.20

4장에서는 현실 문제를 모델이 다룰 수 있는 입력(input), 출력(output), 특징(feature), 표현(representation), 파라미터(parameter)의 관계로 정리했습니다.

이제 질문을 한 단계 옮깁니다. 모델이 학습한다는 말은 모델 안의 무엇이 바뀐다는 뜻인지 묻습니다.

AI에서 학습(learning)은 경험 데이터 이후 특정 과제의 성능이 나아지는 넓은 개념입니다. 그중 훈련(training)은 모델이 예시(example)를 보면서 출력의 오류를 줄이도록 내부 값을 조정하는 구체적인 절차입니다. 여기서 내부 값은 주로 파라미터, 특히 가중치(weights)와 편향(biases)을 가리킵니다.

Part 1에서 학습(learning), 훈련(training), 적합(fitting)의 기본 구분은 이 절에서 잡습니다. 파라미터, 가중치, 편향의 기본 뜻은 4.3에서 먼저 잡았고, 추론(inference)의 실행 관점은 바로 다음 5.2에서 더 자세히 다룹니다. 여기서는 먼저 무엇이 바뀌는가와 어떤 절차가 그 변화를 만드는가를 분리하는 데 집중합니다.

다만 이 문장을 너무 넓게 해석하면 위험합니다. 모델이 학습한다고 해서 사람이 경험을 이해하듯 세계를 이해한다는 뜻은 아닙니다. 여기서는 학습을 다음처럼 제한해서 봅니다.

learning = 경험 데이터 이후 과제 성능이 개선되는 넓은 개념 training = 데이터와 목표에 맞춰 모델 내부 값을 조정하는 절차

세 가지 기준¶

여기서 말하는 학습은 모델이 사람처럼 배운다는 뜻이 아니라, 무엇이 바뀌는지를 좁게 설명합니다. 아래 세 가지를 먼저 가릅니다.

learning, training, fitting, inference는 초반에 비슷하게 들릴 수 있습니다. 아래처럼 자리만 짧게 구분해 두고 읽으면 됩니다.

여기서는 learning은 넓은 결과, training은 값 조정, fitting은 실행 방식, inference는 사용 단계라는 자리 구분을 유지합니다.

왜 학습이라고 부르는가¶

학습(learning)이라는 표현은 모델이 사람처럼 이해하거나 의식을 갖는다는 뜻에서 붙은 말이 아닙니다. 머신러닝에서 이 말은 더 제한적인 의미로 쓰입니다.

Deep Learning Book은 Tom Mitchell의 정의를 소개하며, 어떤 프로그램이 경험(experience)을 통해 특정 과제(task)의 성능(performance measure)을 개선하면 학습한다고 볼 수 있다는 관점을 제시합니다. 이 정의에서 중요한 단어는 세 가지입니다.

따라서 학습이라는 표현을 쓰는 이유는 모델이 “경험에 해당하는 데이터”를 본 뒤 “정해진 과제”에서 “측정 가능한 성능”을 개선하도록 바뀌기 때문입니다.

경험 데이터가 들어온다. 모델 내부 값이 조정된다. 정해진 과제에서 성능이 나아진다. 그래서 learning이라고 부른다.

이 관점은 사람의 학습과 닮은 부분이 있습니다. 둘 다 과거 경험이 이후 행동이나 판단에 영향을 줍니다. 하지만 같은 것은 아닙니다. 사람의 학습은 이해, 기억, 맥락, 목적, 몸의 경험, 사회적 상호작용까지 포함합니다. 반면 머신러닝의 학습은 보통 데이터, 목표, 성능 기준, 내부 값 조정으로 더 좁게 정의됩니다.

그래서 이 책에서 “모델이 학습한다”고 쓸 때는 다음 뜻으로 읽어야 합니다.

모델이 데이터를 보고, 정해진 목표에 맞춰, 출력 계산에 쓰이는 내부 값을 조정한다.

learning과 training은 구분해서 읽는 것이 안전하다¶

학술 문헌에서 learning과 training이 언제나 엄격한 대립쌍으로 분리되는 것은 아닙니다. learning algorithm이라는 표현 안에는 모델을 훈련시키는 절차가 포함될 수 있고, 일상적인 기술 문서에서는 train a model과 learn from data가 가까운 의미로 이어져 쓰이기도 합니다.

그래도 두 표현은 중심이 다릅니다. learning은 경험 이후 성능이 개선되는 현상이나 문제 설정을 가리키는 더 넓은 말로 자주 쓰이고, training은 데이터를 사용해 모델 파라미터를 조정하는 구체적인 절차를 가리키는 경우가 많습니다.

한국어에서는 learning도 training도 모두 학습으로 번역되는 경우가 많습니다. 그래서 AI 문서를 읽을 때 두 층위(level)가 쉽게 섞입니다. 이 책에서는 혼동을 줄이기 위해 다음처럼 구분해서 읽겠습니다.

learning은 결과를 포함한 넓은 말입니다. 경험을 통해 어떤 과제의 성능이 좋아졌다면 학습이라고 부를 수 있습니다. 반면 training은 그 학습을 일으키기 위해 데이터를 넣고 손실을 계산하고 내부 값을 조정하는 절차에 가깝습니다. 따라서 이 둘은 완전히 별개의 개념이라기보다, 넓은 개념과 그 안의 대표적 실행 절차로 보는 편이 안전합니다.

learning: 무엇이 좋아졌는가? training: 어떤 절차로 값을 바꿨는가?

이 구분은 엄격한 분류표보다 흐름으로 읽는 편이 안전합니다. learning은 넓게, training은 그 안의 대표 절차로 읽고, inference는 그 결과를 사용하는 다음 단계로 놓으면 됩니다.

같은 장면도 어느 층위를 말하느냐에 따라 문장이 달라집니다. 예를 들어 모델이 문의 분류를 학습했다고 말하면 보통 결과 쪽, 즉 새 문의에서 성능이 좋아졌다는 뜻에 가깝습니다. 반대로 모델을 문의 데이터로 훈련했다고 말하면 라벨이 붙은 예시를 사용해 내부 값을 조정했다는 절차 쪽 뜻에 가깝습니다.

예를 들어 “모델이 고객 문의 분류를 학습했다”는 말은 넓은 표현입니다. 더 정확히 쓰면 다음처럼 나눌 수 있습니다.

training: 과거 문의와 라벨을 사용해 모델 파라미터를 조정했다. learning: 그 결과 새 문의에 대한 분류 성능이 이전보다 좋아졌다. inference: 조정된 모델로 새 문의의 유형을 예측했다.

따라서 이 절의 제목인 “학습(learning)은 무엇을 바꾸는가”에서의 학습은 입문자를 위한 넓은 표현입니다. 본문에서 내부 값의 조정을 말할 때는 더 정확히 훈련(training) 또는 학습 절차라고 부르겠습니다.

학습 유형에 따라 경험과 신호가 다르다¶

앞의 고객 문의 예시는 지도학습(supervised learning)에 가깝습니다. 입력 문장과 기대 출력 라벨이 함께 있고, 모델은 예측과 라벨의 차이를 줄이도록 훈련됩니다. 하지만 모든 AI 학습이 이런 모양은 아닙니다.

따라서 “훈련은 예측과 라벨의 차이를 줄인다”는 설명은 지도학습을 이해하기 위한 가장 단순한 출발점입니다. 강화학습에서는 정답 라벨 대신 행동(action)과 보상(reward)이 핵심이 됩니다. 비지도학습에서는 사람이 붙인 정답보다 데이터의 구조나 표현을 찾는 것이 중심이 됩니다.

딥러닝(deep learning)은 또 다른 축입니다. 딥러닝은 지도학습, 비지도학습, 자기지도학습(self-supervised learning), 강화학습과 함께 쓰일 수 있는 모델링 방식입니다. 즉 딥러닝은 “학습 유형”이라기보다 여러 층의 신경망을 사용해 표현을 학습하는 접근에 가깝습니다.

학습 유형: 어떤 경험과 신호로 성능을 개선하는가? 딥러닝: 어떤 구조로 표현과 파라미터를 학습하는가?

여기서는 지도학습 예시로 내부 값 조정의 직관을 잡습니다. 강화학습과 딥러닝의 세부 차이는 P1-8과 P1-9, 그리고 Part 4와 Part 5에서 다시 다룹니다.

5.1은 학습(learning)과 훈련(training)의 직관을 설명하는 절입니다. 손실 함수(loss function), 경사하강법(gradient descent), 역전파(backpropagation), 옵티마이저(optimizer)의 수식과 구현은 Part 4와 Part 5에서 다룹니다.

또한 5.1은 학습된 모델을 사용하는 과정인 추론(inference)을 자세히 설명하지 않습니다. inference는 5.2에서 따로 다룹니다. 여기서는 inference와 구분하기 위해 “학습 때 바뀐 값이 이후 사용 때 쓰인다”는 정도만 언급합니다.

훈련으로 내부 값을 조정하는 기준¶

• 훈련(training)을 모델 내부 값의 조정 과정으로 이해합니다.
• 학습(learning)과 훈련(training)의 차이를 구분합니다.
• 지도학습, 비지도학습, 강화학습, 딥러닝을 같은 분류로 섞지 않습니다.
• 파라미터(parameter), 가중치(weight), 편향(bias)이 학습과 어떻게 연결되는지 봅니다.
• 손실(loss)을 학습 방향을 정하는 신호로 이해합니다.
• 학습이 데이터 전체를 그대로 저장하는 일이 아님을 구분합니다.
• 훈련(training), 적합(fitting), 추론(inference)의 경계를 준비합니다.

훈련은 예시를 보고 기준을 맞추는 과정이다¶

Google의 머신러닝 용어집은 훈련(training)을 모델을 구성하는 이상적인 파라미터를 정하는 과정으로 설명합니다. 훈련 중 시스템은 예시를 읽고 파라미터를 점진적으로 조정합니다.

4장의 고객 문의 분류 예시를 이어 보겠습니다.

처음 모델은 어떤 단서가 어떤 출력과 강하게 연결되어야 하는지 모를 수 있습니다. 훈련은 이런 예시를 보면서 내부 기준을 조금씩 조정합니다.

예시 입력 -> 모델 예측 -> 기대 출력과 비교 -> 차이가 줄어드는 방향으로 내부 값 조정

이 흐름에서 “차이”를 수치로 나타낸 것이 손실(loss)입니다. Google 용어집은 지도학습에서 손실을 모델 예측이 라벨(label)에서 얼마나 떨어져 있는지를 나타내는 측도로 설명합니다.

여기서는 손실을 다음처럼 이해합니다.

손실이 크다 = 모델 출력이 기대 출력과 많이 다르다 손실이 작다 = 모델 출력이 기대 출력에 더 가깝다

바뀌는 것은 주로 파라미터다¶

4.3에서 파라미터를 “모델이 입력을 출력으로 바꿀 때 사용하는 조정 가능한 내부 값”으로 봤습니다. 5.1에서는 한 문장을 더 붙일 수 있습니다.

훈련은 파라미터를 바꾸는 과정이다.

Google 용어집은 파라미터(parameter)를 모델이 훈련 중 배우는 가중치와 편향으로 설명합니다. 특히 가중치(weight)는 모델이 어떤 값을 다른 값에 곱하는 값이며, 훈련은 모델의 적절한 가중치를 정하는 과정으로 설명됩니다.

고객 문의 분류를 아주 단순화하면 다음처럼 볼 수 있습니다.

이 표는 실제 모델의 내부를 그대로 보여 주는 것이 아닙니다. 하지만 “학습이 무엇을 바꾸는가”를 이해하는 데는 도움이 됩니다. 학습 전에는 입력 단서와 출력 사이의 연결 기준이 맞지 않을 수 있고, 학습 후에는 많은 예시에 맞춰 그 기준이 조정됩니다.

여기서 초심자가 자주 헷갈리는 점은 모델이 바뀐다는 말을 구조 전체가 새로 만들어진다고 읽는 것입니다. 입문 단계에서는 같은 모델 틀을 두고 내부 값이 달라진다고 이해하면 됩니다. 예를 들어 문의 문장을 받아 분류 점수를 내는 모델이라는 큰 구조는 그대로 두고, 그 안에서 환불 단서를 얼마나 강하게 볼지, 배송 단서를 어느 출력과 더 가깝게 연결할지가 학습으로 조정됩니다. 즉 훈련은 보통 모델 종류를 매번 새로 발명하는 일보다 같은 구조 안의 기준 값을 맞추는 일에 더 가깝습니다.

편향은 기본 위치를 바꾸는 값이다¶

가중치가 입력 단서의 영향을 조정한다면, 편향(bias)은 입력이 없거나 약할 때 모델 출력의 기본 위치를 조정하는 값으로 이해할 수 있습니다.

예를 들어 고객 문의의 대부분이 배송 문의인 서비스가 있다고 하겠습니다. 모델이 아무 단서도 보지 못했을 때도 배송 쪽으로 조금 기울어질 수 있습니다. 이런 기본 기울기 역시 학습 대상이 될 수 있습니다.

가중치: 어떤 입력 단서를 얼마나 크게 볼 것인가 편향: 입력 단서가 약할 때 출력의 기본 위치를 어디에 둘 것인가

단, 이 설명은 선형 모델과 신경망을 이해하기 위한 직관입니다. 모든 모델이 같은 방식으로 가중치와 편향을 드러내는 것은 아닙니다. 결정트리나 규칙 기반 시스템은 다른 내부 구조를 가질 수 있습니다.

학습은 정답표를 외우는 일이 아니다¶

학습을 “데이터를 외운다”로만 이해하면 머신러닝을 잘못 이해하기 쉽습니다. 물론 큰 모델은 학습 데이터의 일부 표현을 기억하거나 재현할 위험이 있습니다. 이 문제는 저작권, 개인정보, 보안 장에서 다시 다룹니다.

하지만 학습의 기본 목표는 훈련 데이터(training data)를 그대로 저장하는 것이 아니라, 새로운 입력에도 쓸 수 있는 관계를 찾는 것입니다. Deep Learning Book은 머신러닝의 핵심 과제 중 하나로 훈련 데이터에 맞추는 것과 새 데이터에 일반화(generalization)되는 패턴을 찾는 것을 구분합니다.

고객 문의 예시로 보면 다음 차이가 있습니다.

예를 들어 다음 두 문장은 표현이 다르지만 비슷한 업무 의도를 가질 수 있습니다.

환불하고 싶어요. 결제 취소 가능한가요?

학습 기반 모델은 이런 사례들을 통해 서로 다른 표현이 같은 출력으로 이어질 수 있음을 맞춰 가려 합니다. 이때 모델이 정말 “환불의 의미”를 사람처럼 이해한다고 단정해서는 안 됩니다. 더 안전한 표현은 다음입니다.

학습된 모델은 훈련 데이터와 학습 목표에 맞춰 입력 표현과 출력 사이의 관계를 계산하도록 조정된다.

학습은 손실을 줄이는 방향을 찾는다¶

학습 과정에는 “무엇을 더 좋게 볼 것인가”라는 기준이 필요합니다. 그 기준을 수치화한 것이 손실 함수(loss function)입니다.

예를 들어 문의 유형 분류에서 모델이 다음처럼 예측했다고 하겠습니다.

실제 학습에서는 이런 “맞았다/틀렸다”보다 더 세밀한 수치가 사용됩니다. 모델이 각 출력에 준 점수나 확률을 보고 손실을 계산할 수 있습니다. 손실이 계산되면 학습 절차는 손실을 줄이는 방향으로 내부 값을 조정합니다.

Google 용어집은 경사하강법(gradient descent)을 손실을 최소화하기 위한 수학적 기법으로 설명하며, 가중치와 편향을 반복적으로 조정해 손실을 줄이는 조합을 찾아간다고 설명합니다.

여기서 중요한 것은 수식보다 역할입니다.

손실: 현재 예측이 얼마나 나쁜지 나타내는 신호 학습 절차: 손실이 줄어드는 방향으로 내부 값을 바꾸는 방법

한 번에 완성되지 않고 반복된다¶

학습은 보통 한 번의 예시로 끝나지 않습니다. 많은 예시를 여러 번 보면서 조금씩 조정됩니다.

초기 모델 -> 예시 묶음 확인 -> 예측과 라벨 비교 -> 손실 계산 -> 파라미터 조정 -> 다시 예시 확인

이 반복 과정에서 손실이 줄어들면 모델이 훈련 데이터에 더 잘 맞아 가고 있다고 볼 수 있습니다. 하지만 훈련 데이터에만 너무 잘 맞는 것이 항상 좋은 것은 아닙니다. 새 데이터에 약해지는 과적합(overfitting) 문제가 생길 수 있기 때문입니다.

따라서 학습은 단순히 훈련 손실을 낮추는 일로 끝나지 않습니다. 데이터 분리, 검증(validation), 일반화(generalization), 과적합은 Part 4에서 더 자세히 다룹니다. 여기서는 “학습 중에는 내부 값이 반복적으로 조정된다”는 점만 남깁니다.

표현도 함께 달라질 수 있다¶

4.3에서는 표현(representation)을 원래 데이터를 모델이 계산하기 쉬운 형태로 바꾼 결과로 설명했습니다. 전통적인 머신러닝에서는 사람이 특징을 설계하고, 모델은 그 특징 위에서 파라미터를 학습하는 경우가 많았습니다.

딥러닝에서는 이 경계가 더 흐려집니다. 신경망의 여러 층(layer)은 입력을 거치면서 내부 표현을 만들고, 학습은 그 표현을 만드는 데 쓰이는 가중치도 함께 조정합니다.

고객 문의 예시를 단순화하면 다음처럼 볼 수 있습니다.

문장 -> 단어 또는 토큰 표현 -> 내부 벡터 표현 -> 문의 유형 출력

딥러닝에서 학습은 마지막 출력 기준만 바꾸는 것이 아니라, 중간 표현을 만드는 내부 값도 함께 바꿀 수 있습니다. 그래서 딥러닝에서는 “특징을 사람이 직접 만드는가”보다 “모델이 유용한 표현을 학습하는가”가 중요해집니다.

여기서는 먼저 중간 표현도 함께 바뀐다는 관점을 붙잡습니다. 이 관점이 은닉 표현(hidden representation), 임베딩(embedding), 깊은 층의 역할로 이어지는 구조는 P1-3.3과 Part 5에서 다시 연결합니다.

적합이라는 표현도 함께 나온다¶

머신러닝 도구를 쓰다 보면 훈련(training)과 함께 적합(fitting)이라는 말을 자주 봅니다. scikit-learn은 fit을 호출하는 일을 fitting으로 설명하고, fitting 뒤의 상태를 fitted라고 부릅니다. 또한 fitted estimator는 예측에 필요한 정보를 내부 속성(attributes)으로 갖게 됩니다.

이 절에서는 다음처럼 구분합니다.

실무 코드에서는 model.fit(X, y)처럼 적합이라는 API 이름을 통해 훈련을 실행하는 경우가 많습니다. 이 책의 개념 설명에서는 학습(learning)을 넓은 말로, 훈련(training)을 내부 값 조정 절차로 사용하겠습니다.

parameter라는 말의 층위(level)를 다시 조심한다¶

4.3에서 이미 보았듯이 parameter라는 말은 문맥에 따라 다르게 쓰입니다. Google 용어집은 모델이 학습 중 배우는 가중치와 편향을 파라미터로 설명합니다. 반면 scikit-learn 용어집은 estimator 생성자에 전달하는 설정값도 parameter라고 부르며, 통계적 의미의 파라미터와 다르게 쓰인다고 밝힙니다.

따라서 이 책에서는 혼동을 줄이기 위해 다음처럼 부르겠습니다.

5.1에서 “학습은 파라미터를 바꾼다”고 말할 때의 파라미터는 첫 번째 의미입니다. LLM의 temperature 같은 생성 설정값은 모델이 학습으로 얻은 내부 파라미터가 아닙니다.

학습(learning)과 모델 실행(inference)은 다르다¶

훈련(training)과 추론(inference)은 자주 이어서 쓰이지만 같은 과정이 아닙니다. Google 용어집은 가중치 설명에서 training을 이상적인 가중치를 정하는 과정으로, inference를 학습된 가중치를 사용해 예측을 만드는 과정으로 구분합니다.

여기서는 다음 경계를 먼저 둡니다.

물론 실제 시스템에서는 온라인 학습, 지속 학습, 캐시, 검색, 도구 호출처럼 더 복잡한 구조가 있을 수 있습니다. 그래도 여기서는 먼저 “훈련은 값을 바꾸고, inference는 바뀐 값을 사용한다”는 구분이 필요합니다.

5.2에서는 이 inference가 실제로 무엇을 실행하는지 따로 봅니다.

작은 예시로 다시 보기¶

문의 분류 모델을 만든다고 가정해 보겠습니다.

목표: 문의 문장을 보고 문의 유형을 분류한다. 입력: 문의 문장 출력: 환불, 배송, 교환, 기타 학습 데이터: 문의 문장과 사람이 붙인 라벨

학습 전 모델은 다음처럼 틀릴 수 있습니다.

학습은 이 차이를 줄이도록 내부 값을 조정합니다. 학습 후 모델은 다음처럼 더 나은 출력을 낼 수 있습니다.

하지만 이것만으로 충분하지는 않습니다. 훈련 데이터에 없던 새 문장에서도 잘 동작하는지 확인해야 합니다.

“어제 받은 물건이 깨져서 다시 받고 싶습니다.”

이 문장을 교환이나 재배송에 가깝게 처리할 수 있다면, 모델은 단순 암기보다 일반화된 관계를 어느 정도 잡았다고 볼 수 있습니다. 이 판단은 반드시 검증 데이터와 평가 기준으로 확인해야 합니다.

체크리스트¶

• 훈련(training)을 모델 내부 값의 조정 과정으로 설명할 수 있다.
• 파라미터, 가중치, 편향이 학습과 어떻게 연결되는지 설명할 수 있다.
• 손실(loss)이 학습 방향을 정하는 신호라는 점을 설명할 수 있다.
• 학습이 훈련 데이터를 그대로 외우는 일과 같지 않음을 설명할 수 있다.
• 훈련(training)과 inference의 기본 차이를 말할 수 있다.
• parameter가 모델 내부 값, 하이퍼파라미터, API 설정값으로 다르게 쓰일 수 있음을 구분할 수 있다.
• 학습은 모델 안에 지식을 사람처럼 주입하는 과정이 아니라, 데이터와 목표에 맞춰 입력 표현을 출력으로 바꾸는 내부 값을 조정하는 과정이라는 점을 설명할 수 있다.
• 무엇을 배웠는가를 묻기 전에 어떤 데이터에서 어떤 출력 목표로 어떤 손실 기준을 통해 어떤 내부 값이 조정되었는지를 물어야 한다는 점을 설명할 수 있다.

출처와 참고 자료¶

• Google for Developers, Machine Learning Glossary, 확인 날짜: 2026-06-22.
• Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, Chapter 5: Machine Learning Basics, MIT Press, 2016, 확인 날짜: 2026-06-22.
• scikit-learn developers, Glossary of Common Terms and API Elements, 확인 날짜: 2026-06-22.