P3-9.6 라벨 일관성 점검¶
Section ID:
P3-9.6Version:v2026.09.20
같은 사건에 서로 다른 라벨이 붙으면 어느 판단을 다시 확인해야 할까요? 라벨 일관성은 같은 대상과 정보, 기준에서 판단이 얼마나 일치하는지 살펴보는 문제입니다. 모두 같은 답을 써도 모두 틀릴 수 있으므로, 판단의 일치와 정답 여부는 따로 확인합니다.
사건 12건과 검토 기록 36건을 구분한다¶
검토 기록 CSV는 이 절의 교육용 사례입니다. 한 행은 event_id 하나에 대해 특정 월의 검토자 한 명이 남긴 판단입니다. 여기의 A~L은 이 파일 안의 사건 ID이며, 앞 절의 비교 구간 A~C와 연결하지 않습니다.
12개 사건을 kim과 lee가 4월에, park가 5월에 각각 한 번씩 검토했습니다. 따라서 사건은 12건, 검토 기록은 12 × 3 = 36건입니다. review_needed는 검토 필요 판단, normal은 정상으로 분류한 판단이라는 라벨 이름이며, 독립적으로 확인한 고장 유무가 아닙니다. 아래의 R과 N은 두 문자열을 짧게 표시한 것입니다.
| event_id | kim · 4월 | lee · 4월 | park · 5월 |
|---|---|---|---|
| A | R | N | R |
| B | N | N | N |
| C | R | R | R |
| D | N | N | R |
| E | R | R | R |
| F | N | R | N |
| G | R | N | N |
| H | N | N | N |
| I | R | R | N |
| J | R | R | R |
| K | N | N | N |
| L | R | N | R |
핵심 열은 event_id, review_month, reviewer, review_label입니다. CSV의 diff, repeatability는 이 집계에 사용하지 않습니다. 라벨을 해당 열의 숫자나 표현만으로 정답이라고 판정하지도 않습니다.
무엇을 분모로 세었는가¶
서로 다른 라벨이 하나라도 붙은 사건은 A, D, F, G, I, L의 6건입니다. 불일치 사건 비율은 6 / 12 = 50%입니다. 사건마다 한 번씩 세었으므로 분모는 검토 기록 36건이 아닙니다. 이 값은 검토자 쌍의 일치율이나 모델 정답률도 아닙니다.
A의 R·N·R은 세 판단 중 두 개가 같아도 불일치 사건 한 건으로 셉니다. 검토자 쌍을 비교하려면 kim–lee, kim–park, lee–park를 따로 세는 다른 계산이 필요합니다. 여기서는 그 지표 대신 재검토할 사건을 찾습니다.
| 월 | R 기록 수 | N 기록 수 | 전체 검토 기록 | R 비율 |
|---|---|---|---|---|
| 2026-04 | 12 | 12 | 24 | 12 / 24 = 50% |
| 2026-05 | 6 | 6 | 12 | 6 / 12 = 50% |
R 기록은 12건에서 6건으로 줄었지만 전체 검토 기록도 절반으로 줄었습니다. 월별 R 비율은 모두 50%이므로 “검토 필요 비율이 낮아졌다”는 해석은 맞지 않습니다. 월별 집계만 같다고 사건별 판단까지 같다는 뜻도 아닙니다. D는 N·N에서 R로, I는 R·R에서 N으로 달라졌습니다.
라벨 불일치 원인과 재검토 항목¶
이 파일은 두 달에 같은 사건 12건을 사용하지만 검토자가 바뀝니다. 각 검토자가 본 정보와 기준 버전은 기록되어 있지 않습니다. 따라서 차이를 시간 효과나 기준 변경의 결과로 확정할 수 없습니다. 다른 자료에서는 사건 구성까지 바뀔 수 있으므로 비교 대상 목록도 확인해야 합니다.
| 먼저 찾을 기록 | 확인할 질문 | 다음 행동 |
|---|---|---|
| A의 kim·lee 원판정 | 같은 월에 같은 정보를 보고 달랐는가? | 당시 제공 자료와 판정 근거를 나란히 확인 |
| D·I의 4월·5월 원판정 | 검토자, 정보, 기준 중 무엇이 달랐는가? | 동일 자료 묶음과 명시된 기준으로 재판정 |
| 라벨 정의와 기준 버전 | 두 사람이 R과 N을 같은 뜻으로 썼는가? | 경계 사례와 적용 기준을 문서화 |
| 별도의 확정 점검 기록 | 판단 자체가 맞았는가? | 필요한 실제 결과를 독립적으로 확인 |
재판정에서는 사건 ID·제공 정보·기준 버전을 고정하고 검토자가 서로의 답을 보기 전에 판단을 남기도록 할 수 있습니다. 의견을 조정한 최종 라벨이 필요하면 담당자와 조정 이유도 기록합니다. 원판정은 덮어쓰지 않고 새 판정에 연결해야 변경 과정을 설명할 수 있습니다. 다수결만으로 실제 고장 여부를 확정하지 않습니다.
라벨 불일치에서 판단 기준 재검토로¶
flowchart TD
A["12개 사건 · 36개 검토 기록"]
B["불일치 6건과 원판정 찾기"]
C["같은 사건 · 정보 · 기준으로 재검토"]
D["원판정 보존 · 새 판정과 이유 연결"]
E["일치 여부와 별도로 실제 결과 확인"]
A --> B --> C --> D
A --> E
D --> E
이 흐름은 불일치를 지워서 일치율을 높이는 절차가 아닙니다. 차이가 생긴 조건을 확인하고, 목적에 맞는 결과 근거를 갖추는 절차입니다. 일치한 사건도 정확성 점검에서 자동으로 제외하지 않습니다.
비교 범위를 바꾸어 직접 검산하기¶
연습: 표에서 5월의 park 열을 가리고 4월만 비교해 보세요. 사건 수, 검토 기록 수, 불일치 사건 목록과 비율은 어떻게 바뀌나요? 이 결과만으로 4월 기준이 더 정확했다고 말할 수 있나요?
해설: 사건은 여전히 12건이고 검토 기록은 24건입니다. kim과 lee가 다른 사건은 A, F, G, L의 4건이므로 불일치 사건 비율은 4 / 12 ≈ 33.3%입니다. D와 I는 4월의 두 판단이 같아서 빠집니다. 50%에서 33.3%로 줄어든 것은 비교에 포함한 판단이 달라진 결과이며, 정확성이 개선되었다는 증거가 아닙니다. 원본 CSV를 고치지 않고 비교 범위만 바꾼 계산입니다.
체크리스트¶
- 사건 12건, 검토 기록 36건, 불일치 사건 6건과 각각의 분모를 설명할 수 있는가?
- 월별 R 비율 50%와 사건별 판단 변경을 동시에 설명할 수 있는가?
- 재검토할 원판정과 고정할 정보·기준을 고르고, 일치 여부와 정답 여부를 구분할 수 있는가?
출처와 참고 자료¶
- Google, Machine Learning Glossary,
rater,inter-rater agreement,label. 사람이 예제에 라벨을 제공하는 rater 역할과, 여러 rater의 판단 일치 여부를 보는 inter-rater agreement 관점을 확인하는 데 참고했습니다. https://developers.google.com/machine-learning/glossary / 확인일: 2026-07-20 - W3C, PROV-Overview: An Overview of the PROV Family of Documents, provenance and activity context overview. 라벨 후보가 어떤 검토자와 시기, 활동 맥락에서 생겼는지 추적해야 한다는 provenance 관점을 확인하는 데 참고했습니다. https://www.w3.org/TR/prov-overview/ / 확인일: 2026-07-20