P3-9.12 오탐과 놓침의 비용은 판단 기준을 어떻게 바꾸는가¶

Section ID: P3-9.12 Version: v2026.09.20

같은 점수라도 놓침과 오탐의 부담을 어떻게 정하느냐에 따라 선택할 임계값이 달라질 수 있습니다. 여기서는 목표 결과와 모델 점수를 고정하고, 판정 규칙별 오류 비용을 계산합니다. 비용 가정을 바꾸는 것이 실제 결과의 정의를 바꾸는 일은 아닙니다.

먼저 양성 1이 무엇인지 정한다¶

아래 A~E는 이 절의 가상 장비 샘플입니다. 각 샘플의 예측 시점은 2026-09-01 10:00 KST이며, 목표는 P3-9.7의 failure-v1에 따른 7일 내 고장 여부입니다. 결과 기간은 9월 1일 10:00 이상, 9월 8일 10:00 미만입니다. 양성 actual=1은 이 기간에 확인된 고장, 음성 actual=0은 전체 기간을 빠짐없이 추적하고 기록 확인을 마친 고장 없음입니다.

점수는 미리 주어진 가상 모델 출력이며 실제 모델 학습 결과나 검증된 고장 확률이 아닙니다. 예측 때 사용 가능했던 입력에서 점수를 냈다고 가정하고, actual은 이후 확인한 결과로만 사용합니다. 이 표는 고정된 과거 결과로 규칙을 비교하는 교육용 사례이지 조치의 예방 효과를 실험한 자료가 아닙니다.

판정은 score >= threshold이면 1, 아니면 0입니다. 경계값도 포함합니다. 예측 1은 검토 후보에 포함한다는 정책과 연결하고, 우선 모든 후보를 처리할 수 있다고 가정합니다.

오탐은 이 고장 목표와 비교했을 때의 오류입니다. 실제 검토가 모든 면에서 무가치했다는 뜻은 아닙니다. 이 사례에서 정답 판정의 비용은 0, 놓침 한 건은 10, 오탐 한 건은 2라는 가상 비용 단위를 사용합니다. 실제 금액·작업 시간의 추정값은 아닙니다.

다섯 사례에서 놓침과 오탐을 직접 센다¶

임계값 0.3에서는 C만 오탐이고 놓침은 없습니다. 0.5에서는 D를 놓치고, 0.7에서는 B와 D를 놓칩니다. 0.3에서 놓침이 0이라는 것은 이 다섯 점수와 결과에 대한 계산이지, 낮은 임계값이 모든 고장을 잡는다는 보장은 아닙니다.

총비용 = 놓침 건수 × 10 + 오탐 건수 × 2로 계산합니다.

0.3과 0.5는 모두 다섯 건 중 네 건을 맞혔습니다. 정답률은 같아도 오류가 오탐 한 건인지 놓침 한 건인지에 따라 가정한 비용은 2와 10으로 달라집니다. 이 세 후보 중 0.3이 가장 저렴하지만, 모든 임계값을 탐색한 운영 최적값이라는 뜻은 아닙니다.

비용을 바꾸어도 목표와 점수는 그대로다¶

놓침 비용 10은 유지하고 오탐 비용만 12로 바꿔 봅시다. 세 임계값의 총비용은 각각 0×10 + 1×12 = 12, 1×10 + 0×12 = 10, 2×10 + 0×12 = 20입니다. 이제 비교한 세 후보 중에서는 0.5가 가장 저렴합니다. 바뀐 것은 비용 가정에 따른 정책 선택이며, actual, 점수, 고장의 정의는 그대로입니다.

이는 P3-9.11에서 학습 라벨을 만드는 기준 자체가 바뀐 경우와 다릅니다. 여기서는 어떤 오류를 더 부담스럽게 볼지 정하고 같은 결과를 기준으로 판정을 비교합니다. 실제 적용에서는 비용의 근거·단위·담당자와 정책 버전을 남겨야 합니다.

임계값 선택과 큐 안의 정렬을 구분한다¶

점수순은 항상 A→B→C→D→E입니다. 임계값을 바꾸면 후보의 포함 범위가 달라지지만, 고정 점수의 내림차순 자체는 바뀌지 않습니다. P3-9.8의 처리 용량까지 적용하면 후보 등록과 오늘 처리 선택을 다시 나누어야 합니다.

연습: ① 오탐 비용만 12로 바꿀 때 임계값 0.3에서 C가 후보에서 자동으로 빠지나요? ② 임계값 0.3을 유지하되 오늘 처리 가능한 수가 2건이라면 누구를 먼저 고르나요? 이때 위 표의 총비용 2를 실제 처리 선택에 그대로 붙여도 될까요?

해설: ① 아닙니다. 임계값이 그대로라면 판정도 그대로이고 비용만 12가 됩니다. 후보를 바꾸려면 정책을 변경해야 합니다. ② 점수순으로 A·B를 고릅니다. C·D는 기준을 충족한 용량 대기입니다. “오늘 선택=1, 미선택=0”을 별도 판정으로 평가하면 실제 고장 D를 놓쳐 놓침 1·오탐 0, 원래 비용으로 10입니다. 이는 임계값만 적용한 비용 2와 다릅니다. 이후 대기자를 언제 처리하는지에 따라 운영 결과가 달라질 수 있으므로 이 계산도 실제 예방 효과로 읽지 않습니다.

오류 비용을 판단 규칙에 반영하기¶

flowchart TD
    A["양성 정의 · 확인된 결과 · 점수 고정"]
    B["임계값별 판정과 오류 건수 계산"]
    C["놓침 비용 · 오탐 비용으로 총비용 계산"]
    D["용량과 결합한 최종 선택도 다시 평가"]
    E["비용 가정 · 용량 · 정책 버전 기록"]
    A --> B --> C --> D --> E

고정된 결과와 점수에 규칙을 적용해 오류를 센 뒤 비용과 처리 가능성을 함께 봅니다. false_negative_cost, false_positive_cost, review_capacity, 임계값·동점 규칙, policy_version, 비용 근거와 담당자를 기록하면 어떤 가정으로 선택했는지 다시 확인할 수 있습니다. 실제 비용과 용량이 정해지지 않았다면 이 예제의 숫자를 그대로 운영 정책으로 옮기지 않습니다.

체크리스트¶

• 양성의 뜻을 먼저 설명하고 B·C·D에서 놓침과 오탐을 셀 수 있는가?
• 비용 2·10·20을 검산하고 오탐 비용 12일 때의 선택 변화를 설명할 수 있는가?
• 임계값 변경·점수순 정렬·용량 제한을 구분하고 최종 선택에 맞추어 비용을 다시 계산할 수 있는가?

출처와 참고 자료¶

• Google, Machine Learning Glossary, false negative, false positive, ROC curve. false negative와 false positive의 용어 기준, 실제 임계값 선택에는 오류별 비용 차이가 영향을 줄 수 있다는 설명을 확인하는 데 참고했습니다. https://developers.google.com/machine-learning/glossary / 확인일: 2026-07-20
• Google, Thresholds and the confusion matrix. 임계값이 달라지면 true/false positive와 true/false negative 수가 달라지고, 오류 비용이 비대칭이면 단순한 기본 임계값이 적절하지 않을 수 있다는 설명을 확인하는 데 참고했습니다. https://developers.google.com/machine-learning/crash-course/classification/thresholding / 확인일: 2026-07-20