콘텐츠로 이동

P3-9.13 Part 4로 넘길 문제 경계

Section ID: P3-9.13 Version: v2026.07.23

보조제목: 시간, 개체, 정보, 산출물 형식은 예측 문제로 넘기기 전에 왜 함께 닫아야 하는가

학습 문제를 세울 수 있을 만큼 구조를 정리했다면, 마지막으로 함께 닫아야 하는 경계가 있습니다. 시간 순서가 중요한 문제인지, 같은 개체가 양쪽에 섞이면 안 되는지, 예측 시점 뒤 정보가 입력에 스며들지 않았는지, 실제 산출물이 0/1 분류보다 순서나 연속값에 더 가까운지 같은 경계입니다. 여기서 중요한 일은 항목 이름을 많이 늘리는 것이 아니라, 현재 문제 구조가 이 경계들 앞에서 서로 모순 없이 서 있는지 확인하는 것입니다.

지금 여기서 확인할 항목 지금 붙잡을 최소 문장
time split 시간 순서가 중요한 문제는 무작위 분할과 다르게 봐야 한다
group split 같은 개체가 양쪽에 섞이면 과장된 성능이 생길 수 있다
data leakage 예측 시점 이후 정보가 섞이면 점수가 좋아 보여도 쓸 수 없다
evaluation design 어떤 지표와 분할이 맞는지는 문제 구조와 연결된다
ranking 상위 몇 건 선별은 순서 문제가 중심일 수 있다
multiclass / regression 결과 구조가 0/1 하나가 아닐 수 있다

즉 현재 문제 유형을 정리하는 단계에서는 다음 정도의 경계가 닫혀 있으면 충분합니다.

  • 이 문제가 시간 순서 분할을 먼저 요구하는가
  • 같은 개체를 양쪽에 두지 말아야 하는가
  • 결과 뒤 정보가 입력에 섞이지 않았는가
  • 실제 목표가 0/1 분류보다 순서나 연속값에 더 가까운가

작은 도식으로 보기

이 마지막 점검은 항목을 외우는 것보다, 현재 문제 구조를 어떤 순서로 닫아 보는지가 더 중요합니다.

flowchart TD
    A[현재 문제 구조가 거의 정리되었다] --> B{시간 순서가 중요한가}
    B -- 예 --> C[시간 순서를 반영한 분할을 먼저 쓴다]
    B -- 아니오 --> D[개체가 섞여도 되는지 본다]
    C --> D
    D --> E{같은 개체가 양쪽에 함께 있어도 되는가}
    E -- 아니오 --> F[group 또는 entity 기준으로 나눈다]
    E -- 예 --> G[정보 경계를 다음으로 본다]
    F --> G
    G --> H{예측 뒤 정보가 스며들었는가}
    H -- 아니오 --> I[분류, ranking, regression 중 산출물 형식을 확정한다]
    H -- 예 --> J[누출을 제거한 뒤 평가한다]
    J --> I

이 절에서는 이름을 모두 외우는 것보다, 현재 데이터 구조가 시간 경계와 개체 경계, 정보 경계, 산출물 형식을 제대로 닫고 있는지 확인하는 편이 더 중요합니다. 지금 단계에서 필요한 것은 세부 절차를 길게 펼치는 일이 아니라, 현재 구조가 무엇을 예측하고 무엇을 아직 예측하면 안 되는지 스스로 모순 없이 말할 수 있게 만드는 일입니다. 이 절은 항목 이름 모음이 아니라, 분할 설계, 정보 경계 점검, 산출물 형식 선택이 현재 문제 구조 안에서 서로 모순 없이 닫혀 있는지 확인하는 마지막 점검표로 읽어야 합니다.

출처와 참고 자료

  • Google, Machine Learning Glossary, label leakage. 예측 시점 뒤 정보가 특징에 섞이면 라벨의 대리값을 입력으로 쓰는 설계 결함이 될 수 있다는 정보 경계 근거로 참고했다. 확인일: 2026-07-20. https://developers.google.com/machine-learning/glossary
  • Google, Classification: ROC and AUC. AUC와 ROC가 양성 예시를 음성 예시보다 높게 순위화하는 능력 및 threshold와 구분되는 평가 관점과 연결된다는 설명을 ranking/evaluation design 근거로 참고했다. 확인일: 2026-07-20. https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc
  • W3C, PROV-Overview: An Overview of the PROV Family of Documents. 처리 단계, 재현 가능성, 버전 관리, 파생 관계를 provenance 관점에서 남기는 기준을 확인하는 데 참고했다. 확인일: 2026-07-20. https://www.w3.org/TR/prov-overview/
  • Hyndman, Athanasopoulos, Forecasting: Principles and Practice (3rd ed.), Section 5.10 Time series cross-validation. 시간 순서가 있는 문제에서는 test 관측값보다 앞선 관측값만 training set에 넣어야 하며 미래 관측값을 forecast 구성에 사용할 수 없다는 설명을 time split 근거로 참고했다. 확인일: 2026-07-20. https://otexts.com/fpp3/tscv.html
  • scikit-learn developers, Cross-validation: evaluating estimator performance, cross-validation iterators for grouped data. 같은 개체나 그룹의 dependent samples가 train/test 양쪽에 섞이지 않도록 해야 한다는 설명을 group split 근거로 참고했다. 확인일: 2026-07-20. https://scikit-learn.org/stable/modules/cross_validation.html#cross-validation-iterators-for-grouped-data