P1-3.2 데이터에서 패턴을 배운다는 것¶
Section ID:
P1-3.2Version:v2026.07.20
3.1에서는 사람이 규칙을 직접 쓰는 방식의 강점과 한계를 봤습니다. 이번 절에서는 그 다음 질문으로 넘어갑니다. 사람이 모든 규칙을 쓰기 어렵다면, 시스템은 어떻게 데이터에서 판단 기준을 얻을 수 있을까요?
여기서 필요한 일은 머신러닝 알고리즘을 자세히 설명하는 것이 아니라, “데이터에서 패턴을 배운다”는 말이 어떤 구조를 뜻하는지와 왜 이것이 규칙 기반 시스템과 다른지를 먼저 이해하는 것입니다. 선형회귀와 결정트리 같은 알고리즘은 Part 4에서, 신경망과 딥러닝 구조는 Part 5에서 다시 다룹니다.
이 절에서는 예시(example), 특징(feature), 라벨(label), 모델(model), 학습(training), 일반화(generalization)를 중심으로 패턴 학습의 기본 구조를 정리합니다. 표현(representation)의 내부 구조와 규칙 기반 접근과의 대비는 3.3에서 이어집니다.
이 절에서는 다음 질문을 정리합니다.
- 데이터에서 패턴을 배운다는 말은 어떤 구조를 뜻하는가?
- 예시, 특징, 라벨, 모델은 각각 어떤 역할을 하는가?
- 왜 패턴 학습은 단순 암기와 다르게 읽어야 하는가?
이 절은 먼저 데이터에서 패턴을 배운다는 말이 어떤 구조를 뜻하는가를 닫습니다. 규칙 기반 접근과 표현 학습의 차이는 P1-3.3에서, 구체 알고리즘은 Part 4와 Part 5에서 이어집니다.
패턴 학습과 일반화를 구분하는 기준¶
- 데이터에서 패턴을 배운다는 말의 기본 구조를 이해합니다.
- 예시(example), 특징(feature), 라벨(label), 모델(model)의 역할을 구분합니다.
- 학습(training)과 사용(inference)의 차이를 간단히 봅니다.
- 패턴 학습이 단순 암기와 다른 이유를 이해합니다.
- 데이터 품질과 일반화(generalization)가 중요한 이유를 봅니다.
- 3.3에서 다룰 규칙 기반 접근(rule-based approach)과 표현 학습(representation learning)으로 연결합니다.
세 가지 기준¶
이 장면에서는 머신러닝의 가장 기본적인 사고방식을 정리합니다. 아래 세 가지가 구조의 기준선입니다.
| 기준 | 왜 중요한가 | 이 절에서 필요한 이해 수준 |
|---|---|---|
학습은 규칙을 직접 쓰는 것이 아니라 예시에서 관계를 찾는 것이라는 점 | 규칙 기반 시스템과의 차이가 가장 먼저 보입니다. | 입력 예시와 정답 예시를 보고 모델이 기준을 조정한다는 점을 구분합니다. |
예시, 특징, 라벨, 모델은 역할이 다른 자리라는 점 | Part 4의 머신러닝 절을 읽기 위한 최소 용어가 됩니다. | 특징은 입력 단서, 라벨은 정답, 모델은 관계를 쓰는 계산 구조라는 점을 정리합니다. |
학습은 암기가 아니라 새 데이터에도 쓸 수 있는 패턴을 찾는 일이라는 점 | 일반화와 과적합 설명으로 자연스럽게 이어집니다. | 본 적 없는 새 입력에도 어느 정도 맞아야 좋은 학습이라는 점을 연결합니다. |
예시, 특징, 라벨, 모델, 학습, 일반화는 이 절 전체를 끌고 가는 핵심 용어입니다. 이 절에서 먼저 남겨야 할 큰 구분은 예시는 사례, 특징은 단서, 라벨은 정답, 모델은 관계를 계산하는 구조, 학습은 기준 조정, 일반화는 새 입력에도 맞는 상태라는 점입니다. 각 용어는 아래 본문에서 한 번 더 묶어 정리합니다.
먼저 작은 예제로 보기¶
추상적인 정의로 시작하면 “패턴을 배운다”는 말이 막연하게 느껴질 수 있습니다. 먼저 고객 문의를 분류하는 작은 예시를 보겠습니다.
고객센터에 다음과 같은 문의가 들어온다고 해 봅니다.
| 문의 문장 | 사람이 붙인 분류 |
|---|---|
| “환불하고 싶어요.” | 환불 |
| “결제 취소 가능한가요?” | 환불 |
| “배송이 언제 오나요?” | 배송 |
| “내일까지 안 오면 취소할게요.” | 배송 |
| “상품이 깨져서 왔어요.” | 교환 또는 재배송 |
| “다시 보내 주세요.” | 교환 또는 재배송 |
| “주소를 바꾸고 싶어요.” | 배송 정보 변경 |
| “받는 사람 전화번호를 수정하고 싶어요.” | 배송 정보 변경 |
규칙 기반으로 접근하면 사람이 다음과 같은 규칙을 직접 작성해야 합니다.
문장에 "환불" 또는 "취소"가 있으면 환불로 분류한다. 문장에 "배송" 또는 "내일"이 있으면 배송으로 분류한다. 문장에 "깨져" 또는 "다시 보내"가 있으면 교환 또는 재배송으로 분류한다. 문장에 "주소" 또는 "전화번호"가 있으면 배송 정보 변경으로 분류한다.
처음에는 이 방식도 그럴듯합니다. 하지만 곧 애매한 문장이 나옵니다.
배송이 늦으면 환불 말고 다시 받을 수 있나요?
이 문장에는 배송, 환불, 다시 받을이라는 단서가 함께 있습니다. 단어 하나만 보고 분류하면 틀릴 수 있습니다. 그래서 학습 기반 접근은 질문을 바꿉니다.
어떤 단어가 있으면 무조건 어떤 분류로 보낼까?
가 아니라,
과거 문의와 분류를 많이 봤을 때, 새 문의는 어떤 분류와 가장 비슷한 구조를 가지는가?
를 묻습니다.
이 절의 나머지 설명은 이 작은 예시를 기준으로 읽으면 됩니다. 여기서는 예시, 특징, 라벨, 모델, 학습, 추론을 학습 데이터와 모델 사용 과정을 설명하는 최소 용어로만 다룹니다. 특징과 표현이 모델 내부에서 어떻게 달라지는지는 3.3에서 따로 정리합니다.
규칙을 쓰는 대신 관계를 찾는다¶
규칙 기반 시스템은 사람이 판단 기준을 문장이나 코드로 작성합니다.
조건 A와 조건 B가 만족되면 결과 C를 낸다.
머신러닝(machine learning)은 접근이 다릅니다. 사람이 모든 조건을 직접 쓰는 대신, 과거 데이터나 예시에서 입력과 출력 사이의 관계를 찾습니다.
예시 데이터 -> 학습 -> 모델 -> 새 입력에 대한 예측
Tom Mitchell의 머신러닝 교재 소개 페이지도 머신러닝을 경험을 통해 자동으로 개선되는 알고리즘을 연구하는 분야로 설명합니다. 여기서 중요한 말은 “경험”입니다. 이 절의 고객 문의 예시에서 경험은 과거 문의 문장과 사람이 붙인 분류입니다.
앞의 고객 문의 분류 예시로 다시 보면 다음과 같습니다.
| 접근 | 질문 | 작업 |
|---|---|---|
| 규칙 기반 | 어떤 단어가 있으면 어떤 분류로 보낼 것인가? | 사람이 단어, 조건, 예외를 규칙으로 작성합니다. |
| 학습 기반 | 과거 문의와 분류에는 어떤 관계가 반복되는가? | 문의 문장과 분류 예시를 모아 모델이 구분 기준을 학습하게 합니다. |
두 방식 모두 입력을 받아 결과를 냅니다. 차이는 판단 기준을 어디서 얻는가에 있습니다. 규칙 기반 시스템은 사람이 기준을 명시적으로 쓰고, 머신러닝 모델은 데이터에서 기준을 조정합니다.
flowchart TD
RuleInput[입력]
Rules[사람이 작성한 규칙]
RuleOutput[결과]
Data[예시 데이터]
Train[학습]
Model[학습된 모델]
NewInput[새 입력]
Pred[예측]
RuleInput --> Rules --> RuleOutput
Data --> Train --> Model
NewInput --> Model --> Pred
이 도식은 사람이 기준을 직접 쓰는 흐름과 예시 데이터로 기준을 맞추는 흐름을 나란히 비교하게 해 줍니다. 여기서 읽어야 할 핵심은 규칙 기반은 기준이 바깥에 적혀 있고, 학습 기반은 기준이 데이터로 조정된다는 대비입니다.
패턴은 반복되는 관계다¶
여기서 말하는 패턴(pattern)은 단순히 눈에 띄는 반복이 아닙니다. 학습에 쓸 수 있는 패턴은 새 데이터에 적용했을 때도 어느 정도 도움이 되는 관계여야 합니다.
고객 문의 예시에서 단순 반복은 다음처럼 보일 수 있습니다.
| 관찰 | 왜 조심해야 하는가 |
|---|---|
취소라는 단어가 있으면 환불일 때가 많다 | “배송이 늦으면 취소할게요”는 배송 문제일 수도 있습니다. |
다시라는 단어가 있으면 재배송일 때가 많다 | “다시 로그인해도 안 돼요”는 계정 문제일 수 있습니다. |
주소라는 단어가 있으면 배송 정보 변경일 때가 많다 | “주소를 잘못 입력해서 환불하고 싶어요”는 환불 문제일 수 있습니다. |
따라서 패턴은 단어 하나가 아니라, 단어와 문맥, 문장 구조, 과거 분류 결과가 함께 만드는 반복 관계에 가깝습니다.
Fayyad, Piatetsky-Shapiro, Smyth의 KDD(knowledge discovery in databases) 개요 논문은 데이터에서 찾는 패턴을 데이터의 일부를 설명하는 표현이나 모델로 설명하고, 그런 패턴이 새 데이터에서도 어느 정도 유효해야 한다고 봅니다. 이 관점은 머신러닝을 이해할 때도 중요합니다. 데이터에서 찾은 관계가 과거 데이터에만 맞고 새 데이터에는 맞지 않는다면 좋은 패턴이라고 보기 어렵습니다.
예를 들어 다음 관계는 겉보기에는 패턴처럼 보일 수 있습니다.
지난달에 파란색 아이콘을 클릭한 고객은 이탈률이 낮았다.
하지만 이 관계가 우연인지, 특정 이벤트 때문에 생긴 일시적 현상인지, 앞으로도 반복될 관계인지는 따로 확인해야 합니다. 머신러닝에서 중요한 것은 과거 데이터를 잘 설명하는 것만이 아니라, 새 입력에도 쓸 수 있는 관계를 찾는 것입니다.
| 구분 | 설명 |
|---|---|
| 단순 반복 | 과거 데이터 안에서 우연히 같이 나타난 현상일 수 있습니다. |
| 유용한 패턴 | 새 데이터에서도 예측이나 분류에 도움이 되는 관계입니다. |
| 과적합(overfitting) | 과거 데이터에 너무 맞춰져 새 데이터에 약한 상태입니다. |
| 과소적합(underfitting) | 데이터 안의 관계를 충분히 배우지 못해 학습 데이터에도 약한 상태입니다. |
| 일반화(generalization) | 학습하지 않은 새 데이터에도 어느 정도 맞는 상태입니다. |
이 절에서는 과적합(overfitting), 과소적합(underfitting), 일반화(generalization)를 “패턴 학습이 잘되었는지 판단하는 기본 상태”로만 소개합니다. 평가 방법과 검증 절차는 Part 4에서 자세히 다룹니다.
예시, 특징, 라벨, 모델¶
지도학습(supervised learning)을 기준으로 보면 데이터는 보통 예시(example)의 모음으로 생각할 수 있습니다. 각 예시는 모델이 참고할 입력 값과, 예측해야 할 정답을 함께 가질 수 있습니다.
Google의 머신러닝 입문 자료는 지도학습에서 예시가 특징(features)과 라벨(label)을 포함한다고 설명합니다. 특징은 모델이 라벨을 예측하는 데 사용하는 값이고, 라벨은 모델이 맞히려는 정답 또는 목표 값입니다.
| 용어 | 영어 표현 | 의미 |
|---|---|---|
| 예시 | example | 하나의 관찰 사례 또는 데이터 행 |
| 특징 | feature | 모델이 입력으로 사용하는 값 |
| 라벨 | label | 모델이 예측하려는 정답 또는 목표 값 |
| 모델 | model | 특징을 입력으로 받아 예측을 내는 계산 구조 |
| 학습 | training | 예시를 사용해 모델의 내부 값을 조정하는 과정 |
| 추론 | inference | 학습된 모델을 새 입력에 실행해 출력을 얻는 과정 |
여기서 먼저 고정해야 할 구조는 한 예시 안에 특징 여러 개와 라벨 하나가 함께 들어간다는 점입니다. 예시는 사례 전체를 가리키고, 특징은 그 사례 안에서 모델이 읽는 입력 단서이며, 라벨은 그 사례에 붙은 정답입니다. 뒤 문단에서는 이 구조를 전제로 패턴 학습과 일반화를 읽습니다.
| 용어 | 아주 짧은 뜻 | 고객 문의 예시에서의 모습 |
|---|---|---|
| 예시 | 한 건의 사례 | 문의 문장 한 줄과 그 분류 결과 |
| 특징 | 모델이 읽는 입력 단서 | 환불, 배송, 주소 변경 같은 단어·표현 단서 |
| 라벨 | 사람이 붙인 정답 | 환불, 배송, 교환 또는 재배송 |
| 모델 | 특징과 라벨의 관계를 쓰는 계산 구조 | 새 문의를 어느 분류에 보낼지 점수로 계산하는 구조 |
| 파라미터 | 학습 중 바뀌는 내부 값 | 어떤 단서를 얼마나 중요하게 볼지에 영향을 주는 값 |
| 학습 | 내부 값을 조정하는 과정 | 과거 문의를 보며 분류 기준을 맞추는 단계 |
| 추론 | 학습된 모델을 실제로 써 보는 과정 | 새 문의가 들어왔을 때 분류를 예측하는 단계 |
이 절에서 먼저 남겨야 할 구분은 예시는 사례, 특징은 단서, 라벨은 정답, 모델은 관계를 쓰는 구조, 파라미터는 학습으로 바뀌는 내부 값이라는 점입니다.
고객 문의 분류 예시로 보면 다음과 같습니다. 여기서 특징은 실제 모델이 쓰는 최종 입력 형식을 뜻한다기보다, 입문자가 구조를 이해하기 위한 단순화된 단서입니다.
| 예시 | 특징 | 라벨 |
|---|---|---|
| 문의 1 | 환불, 하고 싶어요 | 환불 |
| 문의 2 | 배송, 언제 | 배송 |
| 문의 3 | 깨져서, 왔어요 | 교환 또는 재배송 |
| 문의 4 | 주소, 바꾸고 싶어요 | 배송 정보 변경 |
모델은 여러 예시를 보면서 특징과 라벨 사이의 관계를 학습합니다. 학습이 끝나면 라벨이 아직 없는 새 문의에 대해 어느 분류가 그럴듯한지 예측할 수 있습니다.
초심자에게는 여기서 한 단계가 더 중요합니다. 실제 현장에는 처음부터 예시, 특징, 라벨이 예쁘게 정리되어 들어오지 않는 경우가 많습니다. 보통은 고객 문의 원문, 상담 기록, 처리 결과 같은 거친 데이터가 먼저 있고, 그중 무엇을 한 건의 예시로 볼지 정하고, 어떤 분류를 라벨로 붙일지 정하고, 문장 안에서 어떤 단서를 특징으로 사용할지 정리하는 준비 단계가 필요합니다. 즉 데이터에서 패턴을 배운다는 말은 원시 데이터를 그냥 집어넣는다는 뜻이 아니라, 현실의 기록을 학습 가능한 예시 구조로 바꾸는 작업까지 포함한다고 이해하는 편이 정확합니다.
즉 문의 1, 문의 2처럼 한 줄 전체가 예시이고, 그 안에서 환불, 배송, 깨져서처럼 모델이 읽는 입력 단서가 특징입니다. 라벨은 그 예시 전체에 대해 사람이 붙인 정답이며, 모델은 개별 단어 하나가 아니라 이런 특징 묶음과 라벨의 관계를 여러 예시에서 함께 배웁니다.
flowchart TD
Ex[라벨이 있는 예시]
Features[특징]
Label[라벨]
Train[학습]
Model[모델]
New[새 문의의 특징]
Output[예측값]
Ex --> Features
Ex --> Label
Features --> Train
Label --> Train
Train --> Model
New --> Model --> Output
이 그림은 지도학습을 예시 -> 특징과 라벨 -> 학습 -> 모델 -> 새 입력 예측 순서로 읽게 해 줍니다. 여기서 중요한 점은 모델이 새 입력을 바로 외워서 처리하는 것이 아니라, 예시에서 맞춘 기준으로 새 입력을 해석한다는 데 있습니다.
학습은 모델 안의 기준을 조정하는 일이다¶
규칙 기반 시스템에서는 사람이 기준을 직접 고칩니다. 반면 머신러닝에서는 학습 데이터와 평가 기준을 사용해 모델 내부의 파라미터(parameter)를 조정합니다.
파라미터는 모델이 입력을 출력으로 바꿀 때 사용하는 조정 가능한 값입니다. 선형 모델에서는 계수(coefficient)가 파라미터가 될 수 있고, 신경망에서는 가중치(weights)가 파라미터가 됩니다. 이 절에서는 수식을 깊게 다루지 않고, 파라미터를 학습 과정에서 바뀌는 내부 값으로 이해하면 됩니다.
학습 과정을 단순화하면 다음과 같습니다.
- 모델이 입력을 보고 예측한다.
- 예측과 정답의 차이를 계산한다.
- 차이가 줄어들도록 모델 내부 값을 조정한다.
- 여러 예시에 대해 이 과정을 반복한다.
이 구조를 표로 보면 규칙 기반 시스템과 차이가 분명해집니다.
| 구분 | 규칙 기반 시스템 | 학습 기반 모델 |
|---|---|---|
| 기준을 만드는 주체 | 사람이 규칙을 작성함 | 데이터와 학습 절차가 파라미터를 조정함 |
| 수정 방식 | 규칙 추가, 삭제, 우선순위 변경 | 학습 데이터, 목적 함수, 알고리즘으로 내부 값 조정 |
| 오류 대응 | 어떤 규칙이 잘못되었는지 확인 | 어떤 데이터, 특징, 평가 기준, 모델 구조가 문제인지 확인 |
| 결과 설명 | 적용된 규칙을 추적하기 쉬움 | 모델에 따라 설명이 어려울 수 있음 |
이 차이 때문에 머신러닝 모델은 복잡한 패턴을 다룰 수 있지만, 규칙 기반 시스템보다 검토 방식이 달라집니다. 규칙을 읽어 보는 것만으로는 충분하지 않고, 데이터 품질, 평가 결과, 실패 사례를 함께 봐야 합니다.
학습은 암기가 아니다¶
“데이터에서 배운다”는 말을 “과거 사례를 저장했다가 그대로 꺼낸다”로 이해하면 곤란합니다. 머신러닝의 목표는 과거 데이터를 그대로 외우는 것이 아니라, 새 데이터에도 적용할 수 있는 관계를 찾는 것입니다.
앞에서 본 고객 문의 예시를 다시 사용해 보겠습니다.
| 입력 문장 | 라벨 |
|---|---|
| “환불하고 싶어요.” | 환불 |
| “배송이 언제 오나요?” | 배송 |
| “상품이 깨져서 왔어요.” | 교환 또는 재배송 |
| “주소를 바꾸고 싶어요.” | 배송 정보 변경 |
모델이 단순히 이 네 문장만 외웠다면, 다음 문장을 처리하기 어렵습니다.
어제 받은 물건이 파손되어 다시 받고 싶습니다.
좋은 모델은 이 문장이 기존 예시와 단어가 완전히 같지 않아도, “파손”, “다시 받기” 같은 단서와 문맥을 통해 교환 또는 재배송 의도에 가깝다고 판단할 수 있어야 합니다.
즉 학습의 목표는 다음 둘을 구분하는 데 있습니다.
그 문장을 본 적이 있는가?
가 아니라,
그 문장이 이전에 본 어떤 유형의 문제와 비슷한가?
를 판단하는 것입니다.
| 상태 | 설명 |
|---|---|
| 암기 | 학습 데이터와 같은 입력에는 맞지만 조금만 달라져도 틀립니다. |
| 일반화 | 학습 데이터와 다르지만 비슷한 구조의 새 입력에도 대응합니다. |
| 과적합 | 학습 데이터의 세부 우연까지 따라가 새 데이터에 약해집니다. |
| 과소적합 | 충분한 관계를 배우지 못해 학습 데이터에도 약합니다. |
과적합과 과소적합은 서로 반대 방향의 실패 상태로 볼 수 있습니다. 과적합은 너무 많이 맞춘 문제이고, 과소적합은 충분히 배우지 못한 문제입니다. 여기서는 “데이터에서 패턴을 배운다”는 말이 “새 데이터에도 적용 가능한 관계를 찾는다”는 뜻임을 기억하면 됩니다.
간단한 구분 연습¶
아래 사례를 보고 암기에 가까운지, 일반화에 가까운지, 데이터 문제를 먼저 의심해야 하는지를 먼저 판단해 보겠습니다.
| 상황 | 먼저 떠올릴 질문 | 이 절 기준의 1차 해석 |
|---|---|---|
| 학습 때 본 문장과 완전히 같은 문의에는 잘 맞지만, 표현이 조금만 바뀌면 자주 틀린다 | 본 적 있는 문장만 외운 것은 아닌가 | 암기에 가까울 수 있습니다. |
환불하고 싶어요를 학습한 뒤 결제 취소 가능할까요도 환불로 잘 분류한다 | 단어가 달라도 같은 의도를 잡았는가 | 일반화에 가까울 수 있습니다. |
| 특정 지역 문의에는 잘 맞는데 다른 지역 표현에는 성능이 떨어진다 | 학습 데이터의 다양성이 부족한가 | 데이터 범위 문제를 먼저 의심해야 합니다. |
| 학습 데이터에서도 자주 틀리고 새 데이터에서도 틀린다 | 관계를 충분히 배우지 못했는가 | 과소적합 가능성을 먼저 봅니다. |
| 학습 데이터에는 거의 완벽하지만 운영 데이터에서는 성능이 급격히 떨어진다 | 학습 데이터에 너무 맞춰진 것은 아닌가 | 과적합 가능성을 먼저 봅니다. |
이 연습의 핵심은 모델이 맞았는가만 보는 것이 아니라, 왜 그렇게 맞거나 틀렸는가를 데이터와 일반화 관점에서 읽는 데 있습니다.
scikit-learn의 과적합과 과소적합 예제도 같은 관점을 보여줍니다. 너무 단순한 모델은 학습 데이터를 충분히 설명하지 못하고, 너무 복잡한 모델은 학습 데이터의 잡음까지 배워 새 데이터에 약해질 수 있습니다.
데이터 품질이 모델 품질을 제한한다¶
학습 기반 모델은 데이터에서 기준을 얻습니다. 따라서 데이터가 좁거나, 편향되어 있거나, 라벨이 틀렸거나, 실제 사용 환경과 다르면 모델도 그 한계를 그대로 가질 수 있습니다.
Google의 머신러닝 입문 자료는 데이터셋의 크기(size)와 다양성(diversity)이 모델의 성능과 일반화에 영향을 준다고 설명합니다. 큰 데이터셋이라도 다양성이 부족하면 실제 환경을 충분히 대표하지 못할 수 있고, 다양성이 있어도 예시가 너무 적으면 안정적인 패턴을 찾기 어렵습니다.
| 데이터 문제 | 모델에 생길 수 있는 문제 |
|---|---|
| 예시가 너무 적음 | 우연한 관계를 패턴으로 착각할 수 있습니다. |
| 다양성이 부족함 | 특정 상황에서는 잘 맞지만 다른 상황에서 약해집니다. |
| 라벨이 부정확함 | 틀린 정답을 기준으로 학습합니다. |
| 중요한 특징이 빠짐 | 판단에 필요한 정보를 보지 못합니다. |
| 실제 사용 환경과 다름 | 배포 후 성능이 떨어질 수 있습니다. |
예를 들어 여름 데이터만으로 비 예측 모델을 만들면 겨울 강수 패턴에는 약할 수 있습니다. 특정 지역의 고객 문의만으로 모델을 만들면 다른 지역의 표현, 상품, 배송 정책에는 약할 수 있습니다. 데이터에서 학습한다는 것은 데이터가 가진 세계관을 모델이 따라간다는 뜻이기도 합니다.
따라서 머신러닝 프로젝트에서 중요한 질문은 “어떤 모델을 쓸 것인가?”만이 아닙니다.
어떤 데이터를 모았는가? 무엇을 라벨로 삼았는가? 어떤 특징을 입력으로 넣었는가? 학습 데이터와 실제 사용 데이터는 얼마나 비슷한가? 새 데이터에서도 성능이 유지되는가?
표현 문제로 이어지는 지점¶
지금까지는 학습 데이터와 라벨, 모델, 일반화의 기본 구조를 봤습니다. 하지만 “비슷한 문장”을 알아보려면 입력을 어떤 형태로 다룰지도 중요합니다. 같은 뜻을 다른 단어로 말할 수 있고, 같은 단어도 문맥에 따라 다른 뜻을 가질 수 있기 때문입니다.
예를 들어 취소라는 단어가 항상 취소 요청을 뜻하지는 않습니다. 취소하지 않으려면 언제 도착하나요?처럼 조건, 부정, 문맥에 따라 의미가 달라집니다. 이런 문제는 3.3에서 규칙 기반 접근(rule-based approach)과 표현 학습(representation learning)의 차이로 이어집니다.
패턴 학습은 확률적 판단과 연결된다¶
현실의 데이터는 깔끔하게 나뉘지 않습니다. 같은 단어를 써도 의도가 다를 수 있고, 비슷한 행동을 해도 결과가 다를 수 있습니다. 그래서 학습 기반 모델은 많은 경우 결과를 확정 규칙이 아니라 점수(score), 확률(probability), 순위(ranking) 같은 형태로 냅니다.
예를 들어 고객 문의 분류 모델은 다음처럼 판단할 수 있습니다.
| 후보 라벨 | 모델 점수 |
|---|---|
| 배송 문의 | 0.62 |
| 주문 취소 | 0.24 |
| 환불 | 0.09 |
| 기타 | 0.05 |
이 점수는 “모델이 이렇게 계산했다”는 신호이지, 반드시 실제 정답이라는 뜻은 아닙니다. 그래서 학습 기반 시스템에서는 모델 출력 뒤에 임계값(threshold), 사람 검토, 규칙 기반 안전장치가 붙을 수 있습니다.
flowchart TD
Input[새 입력]
Model[학습된 모델]
Score[점수 또는 확률]
Rule[업무 규칙]
Human[사람 검토]
Action[처리]
Input --> Model --> Score
Score --> Rule
Rule --> Action
Rule --> Human
Human --> Action
이 구조는 3.1의 결론과 연결됩니다. 규칙 기반 시스템과 머신러닝은 서로 대체만 하는 관계가 아닙니다. 모델은 사람이 규칙으로 쓰기 어려운 패턴을 찾고, 규칙은 반드시 지켜야 하는 절차와 안전 조건을 관리할 수 있습니다.
사례 및 예시¶
사례 1. 문의 분류 규칙이 자꾸 늘어나는 이유¶
고객센터가 문의를 환불, 배송, 교환, 정보 변경으로 나눈다고 해 보겠습니다. 사람이 직접 규칙을 쓰면 처음에는 환불이라는 단어가 있으면 환불, 배송이라는 단어가 있으면 배송처럼 간단하게 시작할 수 있습니다.
하지만 실제 문의는 금방 섞입니다. 배송이 늦어서 환불하고 싶다, 환불은 말고 다시 보내 달라, 주소를 바꾸고 싶은데 이미 발송됐는지 알고 싶다처럼 한 문장 안에 여러 단서가 함께 들어옵니다. 사람이 규칙을 더 붙일수록 예외와 우선순위도 함께 늘어납니다.
학습 기반 접근은 이 문제를 단어 규칙을 더 많이 적는 일이 아니라 과거 문의와 분류 사이의 반복 관계를 찾는 일로 바꿉니다. 그래서 같은 뜻을 다른 표현으로 말해도, 모델이 비슷한 패턴으로 묶을 가능성이 생깁니다.
이 사례는 왜 3.1 다음에 3.2가 오는지를 보여 줍니다. 규칙 기반 분류가 틀렸기 때문이 아니라, 사람이 직접 적기 어려운 패턴이 늘어나면서 데이터에서 관계를 배우는 방식이 필요해진 것입니다.
체크리스트¶
- 데이터에서 패턴을 배운다는 말을 새 데이터에 적용 가능한 관계를 찾는 과정으로 설명할 수 있다.
- 예시, 특징, 라벨, 모델, 학습, 추론의 역할을 구분할 수 있다.
- 학습이 모델 내부의 파라미터를 조정하는 과정임을 설명할 수 있다.
- 학습이 단순 암기와 다르며 일반화가 중요하다는 점을 설명할 수 있다.
- 데이터의 크기, 다양성, 라벨 품질이 모델 성능에 영향을 준다는 점을 설명할 수 있다.
- 입력 표현 방식이 다음 절의 표현 학습 문제로 이어진다는 점을 설명할 수 있다.
- 모델 출력이 점수나 확률일 수 있으며, 실제 시스템에서는 규칙과 검토 절차가 함께 필요하다는 점을 설명할 수 있다.
- 데이터에서 패턴을 배운다는 것이 과거 사례를 그대로 외우는 것이 아니라, 입력과 출력의 관계를 찾아 새 데이터에도 적용하려는 시도라는 점을 설명할 수 있다.
- 학습 기반 AI를 이해할 때는 모델만이 아니라 데이터가 어떻게 만들어졌고 어떤 기준으로 학습되었으며 새 데이터에서 어떻게 검증되는지를 함께 봐야 한다는 점을 설명할 수 있다.
출처와 참고 자료¶
- Stanford Encyclopedia of Philosophy, Selmer Bringsjord and Naveen Sundar Govindarajulu, Artificial Intelligence, 2018-07-12, 확인 날짜: 2026-06-22.
- Tom Mitchell, Machine Learning textbook, Carnegie Mellon University, McGraw Hill, 1997, 확인 날짜: 2026-06-22.
- Google for Developers, Supervised Learning, 확인 날짜: 2026-06-22.
- scikit-learn, Underfitting vs. Overfitting, 확인 날짜: 2026-06-22.
- Usama Fayyad, Gregory Piatetsky-Shapiro, Padhraic Smyth, From Data Mining to Knowledge Discovery in Databases, AI Magazine, 1996, 확인 날짜: 2026-06-22.