P3-8.6 일부 사례에만 남은 확정 라벨¶
Section ID:
P3-8.6Version:v2026.09.20
검토 큐에서 일부 사건만 사람이 확인하면, 확정 결과도 그 사건에만 남을 수 있습니다. 이때 미검토는 정상이라는 뜻이 아닙니다. 선택적 라벨은 어떤 사례가 결과 확인을 받았는지가 라벨의 관측 범위를 결정하는 문제입니다. 라벨이 정확하더라도 그 라벨을 가진 집합이 전체를 대표하는지는 별도 질문입니다.
전체 10건 중 어떤 4건을 보았는가¶
다음은 자체 구성한 가상 사건 10건입니다. review_score는 검토 대상을 고르는 예시 점수이며 고장 확률이 아닙니다. review_score ≥ 0.75인 사건만 검토를 완료했다고 가정합니다. fixed_prediction은 검토 범위를 바꾸어도 그대로 둘 가상 이진 예측값입니다. 점수에서 계산하거나 이 표로 모델을 학습해 만든 값이 아닙니다. 1은 고장 예측, 0은 비고장 예측입니다.
confirmed_failure는 검토 결과이며 1은 고장 확인, 0은 비고장 확인, ?는 미확인입니다. 여기서는 검토를 완료하면 정확한 라벨을 얻는다고 가정하여 라벨 오류와 선택 문제를 분리합니다. 고장 여부를 확인한 것이 특정 근본 원인까지 확인했다는 뜻은 아닙니다.
| event_id | review_score | fixed_prediction | confirmed_failure |
|---|---|---|---|
| A | 0.92 | 1 | 1 |
| B | 0.88 | 1 | 1 |
| C | 0.81 | 0 | 0 |
| D | 0.76 | 1 | 1 |
| E | 0.69 | 1 | ? |
| F | 0.62 | 1 | ? |
| G | 0.55 | 1 | ? |
| H | 0.48 | 1 | ? |
| I | 0.37 | 1 | ? |
| J | 0.29 | 1 | ? |
A~D 네 건만 라벨이 있고 E~J 여섯 건은 미확인입니다. 라벨 확보율(coverage)은 라벨이 있는 건수/전체 건수, 따라서 4/10=40%입니다. 검토된 집합의 고장 비율은 고장 확인 건수/검토 건수, 즉 3/4=75%입니다. 두 값은 분모도 질문도 다릅니다. 75%를 전체 고장 비율로 옮겨 쓰면 안 됩니다.
선택된 검토 사례와 전체 평가 범위 구분하기¶
flowchart TD
A["전체 사건 10건"] --> B["검토 A~D: 4건"]
A --> C["미검토 E~J: 6건"]
B --> D["라벨 확보 4 / 10 = 40%"]
B --> F["검토 집합 고장 3 / 4 = 75%"]
C --> E["결과 미확인, 0이 아님"]
E --> G["전체 고장 비율·정확도 미확인"]
정확도는 예측과 확정 결과가 같은 건수를 평가한 건수로 나눈 값입니다. A~D에서는 네 예측이 모두 맞아 검토된 집합의 정확도는 4/4=100%입니다. 이 예제에는 학습 단계가 없으므로 학습 데이터 재평가 점수가 아닙니다. 그렇다고 새로운 사건이나 미검토 집합의 성능이 입증된 것도 아닙니다. 점수가 높은 네 건만 선택해 확인한 결과입니다.
전체 정확도를 구하려면 E~J에서 예측이 맞았는지도 알아야 합니다. ?를 0으로 채워 계산하면 모르는 결과를 비고장으로 발명하는 셈입니다. 네 건이 맞았다는 정보만으로 전체 열 건의 정확도를 하나의 값으로 확정할 수 없습니다.
교육용으로 숨은 결과를 열어 보기¶
선택된 집합과 전체의 차이를 계산해 보기 위해서만, 다음 여섯 결과를 교육용 숨은 정답으로 가정합니다. 실제 운영에서 자동으로 얻을 수 있는 열이 아닙니다. 현실에서는 추가 검토나 적절한 후속 결과 확인이 필요합니다.
| event_id | actual_failure_for_demo | fixed_prediction | 예측 일치 여부 |
|---|---|---|---|
| E | 1 | 1 | 일치 |
| F | 0 | 1 | 불일치 |
| G | 1 | 1 | 일치 |
| H | 0 | 1 | 불일치 |
| I | 1 | 1 | 일치 |
| J | 0 | 1 | 불일치 |
숨은 결과를 열면 미검토 여섯 건 중 고장은 E·G·I의 세 건이고 예측 일치도 세 건입니다. 전체 고장 비율은 (3+3)/10=60%, 전체 데모 정확도는 (4+3)/10=70%입니다. 60%는 고장 구성 비율이고 70%는 예측 일치 비율이므로 서로 바꿔 읽지 않습니다.
| 지표 | 분자/분모 | 현재 검토 기록만으로 계산 가능한가 |
|---|---|---|
| 라벨 확보율 | 4/10=40% | 가능 |
| 검토 집합 고장 비율 | 3/4=75% | 가능 |
| 전체 데모 고장 비율 | 6/10=60% | 불가, 숨은 결과 필요 |
| 검토 집합 정확도 | 4/4=100% | 가능, 검토 집합으로 범위 제한 |
| 전체 데모 정확도 | 7/10=70% | 불가, 숨은 결과 필요 |
100%와 70%는 같은 고정 예측을 서로 다른 집합에서 계산한 값입니다. 오류 세 건은 F·H·J로 모두 처음에는 미검토였지만, 모든 선택적 검토에서 정확도가 반드시 높게 나오는 것은 아닙니다. 이 사례가 보여 주는 것은 검토된 정확도를 전체 성능으로 그대로 일반화할 수 없다는 점입니다.
검토 범위와 결과 확인 경로를 함께 남기기¶
보고에는 “전체 10건 중 점수 0.75 이상인 4건을 검토했고 라벨 확보율은 40%다. 검토 집합 정확도는 100%이며, 나머지 6건의 결과가 없어 전체 정확도는 미확인이다”라고 씁니다. 검토 정책·실제 완료 여부·라벨 정의·확인 시점과 출처도 함께 보존합니다. 검토 요청이 생성되었다는 사실만으로 확정 라벨을 얻었다고 처리하지 않습니다.
추가 확인을 설계할 때는 낮은 점수 구간에서도 무작위로 일부 사례를 뽑거나 점수 구간별로 표본을 확보하는 방식을 고려할 수 있습니다. 선택 규칙과 선정 확률, 미완료 사례를 기록하고 같은 라벨 정의와 결과 확인 기간을 적용합니다. 추가 라벨 몇 건을 얻었다고 전체 대표성이 자동 확보되지는 않으며, 전체 추정에는 그 표본 설계를 반영해야 합니다.
직접 계산하기¶
교육용 숨은 결과를 사용할 수 있다는 가정 아래, 검토 기준을 review_score ≥ 0.60으로 바꾸고 해당 사건의 검토를 모두 완료해 보세요. 예측값은 고정합니다. 라벨 확보율, 검토 집합 고장 비율, 검토 집합 정확도는 각각 얼마일까요?
해설: E·F가 추가되어 A~F 여섯 건을 검토합니다. 확보율은 6/10=60%, 고장 비율은 A·B·D·E의 4/6≈66.7%, 정확도는 F만 틀리므로 5/6≈83.3%입니다. 전체 데모 정확도는 예측과 실제 결과가 바뀌지 않아 여전히 7/10=70%입니다. 검토 집합 정확도 변화는 모델 재학습의 효과가 아닙니다. 실제로 E·F 결과를 확인하지 않았다면 이 연습의 새 수치를 계산할 수 없습니다.
체크리스트¶
- 확보율·고장 비율·정확도 각각의 분자와 분모를 말할 수 있는가?
- 미확인을 비고장으로 채우지 않고, 현재 기록으로 계산할 수 없는 지표를 구분하는가?
- 고정 예측의 평가 집합 변경과 학습 효과를 구분하고, 추가 결과 확인 경로를 제안할 수 있는가?
출처와 참고 자료¶
- Lakkaraju 외, The Selective Labels Problem, KDD 2017 — 학회 공식 초록에서 선택적 결과 관측이 평가를 왜곡할 수 있다는 문제 설정을 확인했습니다. 본문의 사건·고정 예측·숨은 결과는 자체 가상 예시이며 논문의 실험 결과가 아닙니다. 확인일: 2026-09-20.