P4-6.1 평가 지표(metric)의 역할¶

Section ID: P4-6.1 Version: v2026.07.20

P4-5장에서는 과적합(overfitting)과 일반화(generalization)를 봤습니다. 이제 다음 질문이 이어집니다. 새 데이터에서도 버틴다는 말을 실제로 무엇으로 확인할까요? 그때 등장하는 것이 평가 지표(metric)입니다.

평가 지표는 모델이 얼마나 잘 맞는지 숫자로 보여 주는 도구입니다. 하지만 더 중요한 점은, 지표가 단순히 점수판이 아니라 무엇을 중요하게 보겠다는 약속이라는 사실입니다. 같은 모델이라도 어떤 지표를 보느냐에 따라 좋아 보일 수도 있고, 위험해 보일 수도 있습니다.

이 절은 평가 지표(metric), 정확도(accuracy), 정밀도(precision), 재현율(recall), F1의 기본 역할을 설명합니다. 뒤 절에서는 이 손잡이를 바탕으로 현재 맥락의 판단을 이어 가고, 무엇을 중요한 오류로 볼지 정하는 기준은 이 절과 개념사전을 기준으로 다시 연결합니다.

평가 지표(metric)의 역할에서 닫을 질문¶

이 절은 평가 지표의 역할을 설명하는 도입 절입니다. 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 점수(F1 score)를 처음 만나는 수준으로 연결합니다. ROC-AUC, PR-AUC, 로그 손실(log loss), 캘리브레이션(calibration), 실루엣(silhouette) 같은 지표는 P4-6.4 보충학습에서 따로 회수하고, 회귀 지표와 군집화 관점은 P4-6.2에서 이어서 봅니다.

즉, 본편의 책임은 무엇을 중요하게 볼 것인가를 정하는 데 있습니다. 확률 점수의 세밀한 해석, reliability diagram, Brier score, threshold 세부 조정처럼 한 단계 더 섬세한 읽기는 P4-6.4와 뒤의 P4-15.3으로 넘기고, 이 절은 지표가 왜 하나가 아닌지부터 분명히 잡습니다.

또한 이 절은 지표를 읽는 기본 태도도 함께 고정합니다. 분류(classification)에서는 혼동 행렬(confusion matrix)과 대표 오류 사례를 먼저 보고, 뒤의 P4-8.2에서는 baseline과 비교해 그 오류 구조 개선이 실제로 의미 있는지 다시 읽습니다. 즉, Part 4의 평가는 숫자 하나보다 어디서 틀렸는가와 무엇과 비교해 나아졌는가를 우선 보는 흐름으로 이어집니다.

P4-6.2에서는 문제 유형별로 어떤 평가 기준을 더 우선해야 하는지 이어서 다룹니다. 지금은 지표는 왜 하나가 아니며, 왜 같은 숫자라도 의미가 다를 수 있는가, 왜 업무 목표와 오류 비용이 지표 선택에 들어와야 하는가를 잡는 데 집중합니다.

• 평가 지표(metric)는 왜 필요한가?
• 정확도 하나만 보면 왜 오해가 생길 수 있는가?
• 정밀도와 재현율은 각각 어떤 질문에 답하는가?
• 지표는 모델 성능이 아니라 무엇을 중요하게 보는지까지 함께 드러내는가?
• 다음 절에서 문제 유형별 지표를 따로 볼 이유는 무엇인가?

평가 지표(metric)의 역할에서 남길 판단 기준¶

• 평가 지표를 모델 성능을 읽는 기준으로 설명할 수 있습니다.
• 정확도(accuracy)가 모든 상황의 대표 지표는 아니라는 점을 이해할 수 있습니다.
• 정밀도(precision)와 재현율(recall)이 서로 다른 질문에 답한다는 점을 말할 수 있습니다.
• 업무 목표와 오류 비용이 지표 선택에 영향을 준다는 점을 설명할 수 있습니다.
• P4-6.2에서 문제 유형별 평가 기준으로 넘어갈 준비를 할 수 있습니다.

학습 배경¶

평가 지표는 무엇을 하는가¶

scikit-learn 문서는 평가 지표(metrics and scoring)를 예측의 품질을 수치화하는 도구로 다룹니다. 동시에 어떤 지표를 쓸지는 결국 예측을 무엇에 쓰는가와 연결된다고 설명합니다.

평가 지표(metric)는 모델의 결과를 숫자로 요약하면서, 우리가 어떤 오류를 더 중요하게 보는지도 함께 드러내는 기준이다.

즉, 지표는 단순히 “몇 점인가”만 말하지 않습니다.

• 무엇을 잘 맞추고 싶은가?
• 어떤 실수를 특히 줄이고 싶은가?
• 이 모델을 실제로 어떤 결정에 연결할 것인가?

이 질문들까지 함께 끌고 옵니다.

flowchart TD
  A["과제<br/>모델을 어디에 쓰는가?"]
  B["예측<br/>점수 또는 클래스"]
  C["결정<br/>승인 / 차단 / 검토"]
  D["오류 비용<br/>어떤 실수가 더 아픈가?"]
  E["지표 초점<br/>정확도 / 정밀도 / 재현율 / F1"]

  A --> B --> C --> D --> E

이 도식은 평가 지표가 모델 내부 숫자만의 문제가 아니라, 실제 의사결정 맥락과 연결된 기준이라는 점을 보여 줍니다. 같은 예측이라도 어떤 오류가 더 아픈지에 따라 결국 먼저 보게 되는 지표가 달라집니다.

이 흐름에서 핵심은 지표가 모델 바깥의 결정 맥락과 연결된다는 점입니다. 모델은 예측을 만들지만, 지표는 그 예측이 실제 결정에서 어떤 의미를 가지는지까지 함께 읽게 만듭니다.

주요 학습내용¶

왜 정확도 하나로 끝나지 않는가¶

Google의 머신러닝 용어집은 정확도(accuracy)를 전체 예측 중 맞춘 비율로 설명합니다. 이 정의 자체는 단순하고 유용합니다. 하지만 같은 용어집은 클래스 불균형(class imbalance) 데이터에서는 정확도가 매우 오해를 만들 수 있다고도 설명합니다.

예를 들어 스팸 메일이 거의 없는 데이터에서 모든 메일에 대해 정상 메일이라고만 예측해도 정확도는 높게 나올 수 있습니다. 하지만 그런 모델은 스팸을 실제로 걸러 주지 못합니다.

즉, 정확도는 출발점일 수는 있지만, 끝까지 책임지는 지표는 아닐 수 있습니다.

평가 지표의 출발점은 지금 어떤 오류와 성공을 먼저 묻고 있는가를 확인하는 데 있습니다.

먼저 혼동 행렬(confusion matrix)로 읽는다¶

정밀도와 재현율을 이해하려면 혼동 행렬(confusion matrix)을 먼저 가볍게 봐야 합니다. Google 용어집은 혼동 행렬을 모델이 맞춘 것과 틀린 것을 표로 요약한 표로 설명합니다.

flowchart TB
  A["정답<br/>실제 클래스"]
  B["모델 예측<br/>예측한 클래스"]
  C["혼동 행렬<br/>TP / FP / FN / TN"]
  D["평가 지표<br/>정확도 / 정밀도 / 재현율"]

  A --> C
  B --> C
  C --> D

이 도식은 혼동 행렬이 왜 평가 지표의 출발점이 되는지 보여 줍니다. 실제값과 예측값을 한 표 안에 모아 두어야, 정확도만이 아니라 FP와 FN처럼 서로 다른 종류의 실수를 따로 읽을 수 있습니다.

혼동 행렬에서 독자가 먼저 잡아야 할 네 칸은 다음과 같습니다.

여기서 중요한 점은 틀림도 두 종류라는 것입니다.

• FP는 “괜히 경보를 울린 실수”
• FN은 “있어야 할 경보를 놓친 실수”

이 둘의 비용이 같지 않기 때문에 지표도 하나로 끝나지 않습니다.

작은 예시로 보면 더 빠릅니다.

이 표를 독자 질문으로 다시 읽으면 다음과 같습니다.

• 실제 양성 10건 중 8건을 잡았다 -> 재현율(recall) 쪽 질문
• 양성이라고 말한 14건 중 8건만 실제 양성이다 -> 정밀도(precision) 쪽 질문

즉, 같은 표를 보더라도 놓친 양성이 얼마나 되는가를 물을 수도 있고, 괜히 양성이라고 한 것이 얼마나 되는가를 물을 수도 있습니다.

같은 결과표라도 독자가 먼저 보는 질문은 하나가 아닙니다. 놓침이 더 아픈 장면이면 재현율을 먼저 읽고, 잘못 경보가 더 아픈 장면이면 정밀도를 먼저 읽습니다.

정밀도와 재현율은 서로 다른 질문에 답한다¶

Google 용어집은 재현율(recall)을 다음 질문으로 설명합니다.

실제 양성이었을 때, 모델은 그중 몇 퍼센트를 양성으로 제대로 잡았는가?

같은 관점으로 정밀도(precision)를 입문 수준에서 정리하면 다음 질문이 됩니다.

모델이 양성이라고 말한 것들 중, 실제로 양성이었던 비율은 얼마인가?

이 둘을 표로 나누면 더 명확합니다.

이 표만 이해해도 다음 절로 넘어갈 준비가 됩니다.

세부 학습내용¶

평가 지표의 역사적 배경¶

평가 지표는 최근 머신러닝에서 갑자기 생긴 도구가 아닙니다. 정보 검색(information retrieval) 연구에서는 오래전부터 무엇을 좋은 결과라고 부를 것인가가 핵심 문제였습니다. C. J. van Rijsbergen의 고전적인 정보 검색 교재는 평가(evaluation)를 별도 장으로 다루며, 왜 평가해야 하는가를 사회적(social) 질문과 경제적(economic) 질문으로 설명합니다. 같은 장은 Cyril Cleverdon이 정리한 측정 항목들 가운데 재현율(recall)과 정밀도(precision)이 검색 시스템의 효과성(effectiveness)을 설명하는 핵심 쌍으로 자리 잡았다고 소개합니다.

1. 컴퓨터 시스템은 일찍부터 관련 있는 것과 관련 없는 것을 구분해야 했다.
2. 그래서 단순히 많이 찾는 것이 아니라, 놓치지 않았는가와 쓸데없는 것을 너무 많이 내놓지 않았는가를 따로 보게 되었다.
3. 이 생각이 정보 검색을 넘어 분류(classification), 탐지(detection), 머신러닝 평가로 넓게 이어졌다.

즉, 평가 지표는 숫자를 붙이기 위한 장식이 아니라, 이 시스템이 사용자에게 실제로 어떤 도움과 어떤 피해를 주는가를 따지기 위해 발전한 언어입니다.

사례 및 예시¶

사례 1. 불량 경보를 많이 울리는 검사 모델을 어떻게 읽을까¶

공장 검사 시스템이 제품 사진을 보고 불량과 정상을 나누고 있습니다. 사람이 먼저 보던 기준은 금이 보이는가, 표면 얼룩이 있는가, 모서리가 깨졌는가 같은 신호였습니다.

처음 모델은 정확도가 높게 나와서 좋아 보였지만, 현장에서는 정상 제품도 자꾸 불량으로 올려 재검사가 많이 발생합니다. 반대로 다른 설정은 재검사는 줄었지만 실제 불량을 놓치는 건수가 늘어납니다. 이때는 정확도 하나만으로는 어떤 모델이 더 나은지 말하기 어렵습니다.

flowchart TD
  A["검사 이미지"]
  B["모델 예측"]
  C["혼동 행렬"]
  D["오탐이 많음"]
  E["놓친 불량이 많음"]
  F["정밀도 먼저 확인"]
  G["재현율 먼저 확인"]

  A --> B --> C
  C --> D --> F
  C --> E --> G

여기서 평가 지표는 무엇을 더 아프게 보는가를 드러내는 기준이 됩니다. 재검사 비용이 큰 현장이라면 정밀도를 더 주의 깊게 봐야 하고, 불량 놓침이 더 위험하다면 재현율을 더 우선 봐야 합니다. 같은 혼동 행렬도 어떤 오류 비용을 먼저 읽느냐에 따라 판단이 달라집니다.

확인 가능한 결과는 혼동 행렬과 정밀도, 재현율을 함께 볼 때 드러납니다. 괜히 불량이라고 한 건수와 실제 불량을 놓친 건수를 따로 세어 보면, 정확도만 높던 모델이 실제 운영에서는 왜 문제가 되는지 설명할 수 있습니다.

예시 1. 업무 목표가 지표를 바꾼다¶

같은 분류 문제라도 업무 목표가 다르면 먼저 보는 지표가 달라집니다.

즉, 지표는 수학 공식만의 문제가 아니라 어떤 오류가 더 아픈가의 문제이기도 합니다.

SW 엔지니어에게 익숙한 운영 장면으로 바꾸면 더 직관적일 수 있습니다.

이 비유가 완전히 같은 뜻은 아닙니다. 하지만 어떤 실패를 더 줄여야 하는가에 따라 보는 숫자가 달라진다는 점에서는 매우 비슷합니다.

사회현상 예시로 다시 보기¶

이 문제는 기업 서비스 안에서만 생기지 않습니다. 사회현상을 다루는 분류와 탐지에서도 같은 질문이 나옵니다.

이 표에서 중요한 것은, 좋은 지표가 항상 하나로 정해지지 않는다는 점입니다. 사회현상에서는 오류가 누구에게 어떤 비용으로 돌아가는지가 다르기 때문입니다.

예를 들어 재난 경보에서는 놓침(false negative)이 특히 크고, 채용 자동 분류에서는 잘못 탈락시킴(false positive 또는 false negative의 정의가 설정에 따라 달라짐)이 큰 사회적 문제가 될 수 있습니다. 온라인 표현 탐지처럼 양쪽 비용이 모두 큰 경우에는 정밀도와 재현율을 함께 보아야 합니다.

복지 대상자 선별을 아주 단순하게 예시로 들면 다음처럼 읽을 수 있습니다.

이 예시가 중요한 이유는, 사회현상에서는 전체적으로 얼마나 맞췄는가보다 누가 빠졌는가, 누가 잘못 포함되었는가가 더 중요한 경우가 많기 때문입니다.

같은 정확도라도 다른 모델일 수 있다¶

다음 표를 보면 같은 정확도라도 해석이 달라질 수 있습니다.

이 두 모델은 정확도만 보면 같아 보입니다. 하지만 어떤 실수를 더 줄이고 싶은지에 따라 선택이 달라질 수 있습니다.

• 높은 정확도는 좋은 출발일 수 있다
• 하지만 양성을 놓치는 문제와 괜히 양성이라고 말하는 문제는 다르다
• 그래서 정밀도와 재현율을 같이 봐야 한다

F1 점수는 둘을 함께 보려는 시도다¶

Google 용어집은 F1 점수를 정밀도와 재현율을 함께 쓰는 대표적인 요약 지표로 설명합니다. 여기서 먼저 붙잡을 정의는 다음과 같습니다.

F1 score는 정밀도와 재현율을 한 숫자로 함께 보고 싶을 때 쓰는 절충 지표다.

하지만 F1도 마법은 아닙니다.

따라서 F1은 둘을 함께 보자는 요약일 뿐, 항상 최종 결론은 아닙니다.

이 절은 지표 이름을 많이 외우기보다, 분류 평가를 다음 순서로 읽는 쪽이 더 정확하다고 봅니다.

연습 및 예제¶

Python 예제로 지표의 역할 읽기¶

다음 코드는 실제 학습이 아니라, 혼동 행렬 수치로부터 지표를 직접 계산해 보는 예제입니다. 조작할 값은 tp, tn, fp, fn입니다. 특히 tn이 매우 큰 불균형 장면에서 accuracy가 거의 완벽해 보여도 precision과 recall은 전혀 다른 신호를 줄 수 있음을 확인합니다.

출력에서는 accuracy, precision, recall, F1을 나란히 보고, 어떤 숫자가 현재 오류 비용을 숨기는지 읽습니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

# TP, TN, FP, FN으로 정확도, 정밀도, 재현율을 계산해 평가 지표의 역할을 확인하는 예제입니다.
tp = 30
tn = 4999000
fp = 950
fn = 20

accuracy = (tp + tn) / (tp + tn + fp + fn)
precision = tp / (tp + fp)
recall = tp / (tp + fn)
f1 = 2 * precision * recall / (precision + recall)

print("accuracy:", round(accuracy, 4))
print("precision:", round(precision, 4))
print("recall:", round(recall, 4))
print("f1:", round(f1, 4))

실행 결과는 다음처럼 읽을 수 있습니다.

1
2
3
4

accuracy: 0.9998
precision: 0.0306
recall: 0.6
f1: 0.0583

이 숫자는 아주 중요한 감각을 줍니다.

• 정확도는 거의 완벽해 보입니다.
• 하지만 정밀도는 매우 낮습니다.
• 재현율은 60% 수준입니다.

즉, 정확도만 보면 좋아 보이지만 실제로는 문제가 많은 모델이 존재할 수 있다는 뜻입니다.

표로 같은 정확도, 다른 해석 보기¶

이번에는 정확도는 같지만 정밀도와 재현율이 다를 수 있다는 점을 간단한 기록으로 읽어 봅니다.

이 예제에서 중요한 것은 누가 더 낫다를 기계적으로 고르는 일이 아닙니다. 중요한 것은 무엇을 더 중요하게 보느냐에 따라 해석이 달라진다는 점입니다.

운영 문장으로 아주 짧게 바꾸면 다음처럼 적을 수 있습니다. 모델 A는 놓침(FN)이 많으니 위험 사례 재검토가 먼저 필요하다. 모델 B는 괜한 경보(FP)가 늘 수 있으니 재검사 비용과 threshold를 함께 다시 봐야 한다. 즉, 지표 표를 읽은 뒤에는 어느 오류가 더 늘었는가와 그 오류 때문에 다음에 무엇을 점검할 것인가가 바로 이어져야 합니다.

체크리스트¶

• 왜 정확도 하나만으로는 중요한 오류 비용을 놓칠 수 있는지 설명할 수 있는가
• 지금 장면에서 precision을 먼저 볼지 recall을 먼저 볼지 어떤 기준으로 판단할지 말할 수 있는가
• 혼동 행렬과 오류 사례를 먼저 보고 지표를 읽어야 하는 이유를 설명할 수 있는가
• 평가 지표는 모델 결과를 숫자로 요약하는 동시에, 어떤 오류를 더 중요하게 보는지도 드러낸다는 점을 설명할 수 있는가
• 정확도는 유용한 출발점이지만 모든 상황의 대표 지표는 아니며, 같은 정확도라도 정밀도와 재현율이 다르면 해석과 선택이 달라진다는 점을 설명할 수 있는가
• 정밀도, 재현율, F1이 각각 어떤 질문에 답하는지 설명할 수 있는가

출처와 참고 자료¶

• scikit-learn developers, Metrics and scoring: quantifying the quality of predictions, scikit-learn User Guide, 확인 날짜: 2026-07-19. https://scikit-learn.org/stable/modules/model_evaluation.html
• Google for Developers, Machine Learning Glossary, 확인 날짜: 2026-07-19. https://developers.google.com/machine-learning/glossary/
• C. J. van Rijsbergen, Foundation of Evaluation, Journal of Documentation 30(4), 1974. 정보 검색 평가에서 precision과 recall을 중심으로 효과성 척도를 구성한 역사적 배경을 확인할 때 참고했다. 확인 날짜: 2026-07-19. https://doi.org/10.1108/eb026584