P3-3.2 질문에 맞는 데이터셋은 어떻게 다시 설계하는가¶

Section ID: P3-3.2 Version: v2026.07.20

데이터셋을 다시 설계한다는 말은 이미 있는 파일을 그대로 쓰지 않고, 질문이 요구하는 샘플 단위와 열 구조를 다시 고른다는 뜻입니다. 즉 무엇을 한 행으로 둘지, 어떤 열을 남길지, 무엇과 비교할지를 다시 정하는 일입니다. 동작 단위 표, 비교 리포트, 예측 문제 후보 표가 서로 다른 이유도 바로 이 재설계에서 생깁니다.

같은 원천 시계열이라도 서로 다른 데이터셋으로 다시 만들 수 있습니다. 예를 들어 자동으로 실행되는 동작의 원천데이터가 있을 때, 다음 세 가지 표는 모두 가능하지만 역할이 다릅니다.

이 세 표 가운데 어느 것도 저절로 정답 데이터셋이 아닙니다. 무엇을 풀려는지에 따라 적합한 표가 달라집니다. 동작 1회의 구조를 비교하려면 동작 단위 표가 필요하고, 최근 상태가 평소와 달라졌는지 보려면 최근 구간 비교표가 필요합니다. 즉 이 절에서 중요한 것은 데이터셋의 정의를 한 번 더 외우는 일이 아니라, 질문이 바뀌면 표 구조도 함께 다시 설계되어야 한다는 점입니다.

이 부분에서 독자가 자주 막히는 지점은 표 종류 설명은 알겠는데, 지금 내 질문에는 어느 표를 골라야 하는가입니다. 그래서 질문과 표 구조를 바로 대응시켜 보면 선택 기준이 훨씬 분명해집니다.

즉 질문이 동작 1회를 묻는가, 최근 구간의 변화를 묻는가, 세부 시점 원인을 묻는가에 따라 먼저 만드는 표가 달라집니다. 데이터셋 재설계가 어렵게 느껴지는 이유는 표를 많이 만든다는 사실보다, 질문이 바뀌면 기준 표도 바뀐다는 점을 놓치기 쉽기 때문입니다.

그래서 데이터셋을 만든다는 말에는 적어도 다음 판단이 포함됩니다.

• 샘플 1건은 무엇인가
• 어떤 값은 그대로 두고 어떤 값은 요약할 것인가
• 비교를 위해 기준선 열이 필요한가
• 출력 구조가 경고인지, 검토 후보인지, 예측 목표 라벨(target)인지

이 판단이 빠진 채 데이터셋이 있다고 말하면 실제로는 아직 원천 기록만 들고 있는 경우가 많습니다. 특히 시계열 데이터에서는 원시 로그의 행 수가 많기 때문에 더 쉽게 속습니다. 행이 많고 열도 많으면 이미 풍부한 데이터셋처럼 보이지만, 분석 단위가 정해지지 않았다면 그 표는 아직 문제를 제대로 표현하지 못합니다.

이 지점에서는 표가 이미 있는데 왜 데이터셋이 아니지?라는 질문이 자연스럽게 나옵니다. 여기서는 파일이 있다와 비교 가능한 샘플 표가 있다를 분리해서 봐야 합니다.

즉 파일이 있다고 해서 데이터셋이 이미 완성된 것은 아닙니다. 원천 기록을 어떤 질문으로 다시 읽을지 정하고 나서야 비로소 이 문제의 데이터셋이라는 말을 더 정확하게 쓸 수 있습니다.

여기서 중요한 점은 데이터셋이 하나만 존재하지 않는다는 사실입니다. 같은 원천데이터라도 비교 리포트를 위한 데이터셋, 검토 우선순위를 위한 데이터셋, 나중에 지도학습으로 넘길 데이터셋이 서로 다를 수 있습니다. 이 차이를 인정해야 왜 같은 데이터인데 표를 여러 번 다시 만드나라는 질문에도 답할 수 있습니다.

아래 예시는 같은 원천데이터에서 질문이 바뀔 때 어떤 표가 먼저 필요해지는지 보여 줍니다.

문제 상황: 같은 원천데이터를 보고도 동작 1회 비교, 최근 상태 비교, 나중의 학습 후보 준비라는 질문이 서로 다른 표를 요구한다는 점을 확인합니다.

입력(input): event_id별 시점 로그와, 각 동작이 최근 구간에 속하는지 보여 주는 구분 열

기대 출력(output): 같은 원천 표에서 동작 단위 표, 비교 리포트 표, 학습 후보 표가 목적에 따라 다르게 만들어지는 흐름이 드러납니다.

확인할 개념: 데이터셋은 파일 하나의 이름이 아니라 질문에 맞게 다시 설계한 표 구조다

같은 원천 시계열을 놓고도, 질문이 달라지면 먼저 만들어야 할 표 초안은 아래처럼 달라집니다. 앞에서 본 질문 -> 먼저 만들어야 할 표를 이번에는 샘플 단위, 남길 열, 바로 읽히는 출력까지 내려가서 다시 펼쳐 놓은 것입니다.

핵심은 원천데이터가 세 번 바뀌는 것이 아니라, 같은 기록을 어떤 질문으로 읽느냐에 따라 한 행의 뜻, 남길 열, 바로 필요한 출력이 달라진다는 점입니다. 동작 1회 비교를 하려면 먼저 event_id 기준으로 묶인 표가 필요하고, 최근 구간 비교를 하려면 동작별 표보다 최근 묶음과 기준 묶음을 나란히 두는 구조가 더 먼저 필요합니다. 반대로 나중의 학습 후보를 생각하면 비교 리포트 문장보다 입력 열과 결과 후보를 분리한 표가 더 중요해집니다.

작은 도식으로 보기¶

질문이 바뀌면 어떤 표를 먼저 만들어야 하는지도 함께 바뀐다는 점은 아래 재설계 흐름으로 압축해 볼 수 있습니다.

flowchart TD
    A[먼저 질문을 적는다] --> B{질문이 무엇을 비교하는가}
    B -- 동작 1회 --> C[동작 단위 표를 만든다]
    B -- 최근 구간 변화 --> D[최근 구간 비교표를 만든다]
    B -- 나중의 학습 후보 --> E[예측 문제 후보 표를 만든다]
    C --> F[샘플 단위와 열 구조를 다시 설계한다]
    D --> F
    E --> F

즉 표를 여러 번 다시 만든다는 말은 같은 일을 반복한다는 뜻이 아니라, 질문이 바뀔 때마다 필요한 구조를 분리한다는 뜻입니다. 동작 단위 특징 표는 동작 1회를 샘플로 비교하려고 시점 로그를 요약한 결과이고, 비교 리포트 표는 최근 상태와 기준선 차이를 바로 읽기 위해 비교 열을 더 붙인 구조입니다. 예측 문제 후보 표는 거기서 한 걸음 더 나아가 입력 열과 목표 라벨 후보를 분리해 놓은 표입니다.

표를 다시 만들 때는 먼저 아래 순서로 현재 설계 단계를 고정할 수 있습니다.

1. 원천 표에서 한 행이 무엇인지 적는다.
2. 내가 비교하려는 샘플 1건이 무엇인지 적는다.
3. 그 샘플 1건에 대해 남길 요약 열 2~3개만 먼저 정한다.
4. 그 표가 비교 리포트용인지, 예측 문제 준비용인지 적는다.

이 네 줄을 적고 나면 지금 하는 일이 저장 구조 확인인지, 데이터셋 설계인지가 분명해집니다.

이 절은 파일을 다시 만드는 절차가 아니라, 질문 맞춤 표 재설계(question-aligned table redesign)를 어떤 기준으로 할 것인가의 문제로 다시 볼 수 있습니다.

따라서 데이터셋 재설계는 표를 많이 만든다는 뜻보다, 질문이 바뀔 때 행의 뜻과 열의 역할을 다시 정렬하는 일로 읽는 편이 더 정확합니다.

출처와 참고 자료¶

• W3C, PROV-Overview. provenance framework가 representing processing steps, derivation, versioning을 지원해야 한다고 정리하므로, 같은 원천데이터에서도 목적에 따라 어떤 변환을 거쳐 어떤 표를 만들었는지 분리해 남겨야 한다는 일반 근거가 됩니다. https://www.w3.org/TR/prov-overview/ / 확인일: 2026-07-20
• Google for Developers, Machine Learning Glossary의 labeled example. example는 features와 label 구조를 전제로 하므로, 질문에 따라 한 행의 뜻과 결과 열의 역할이 달라질 때 표도 다시 설계해야 한다는 점을 보강합니다. https://developers.google.com/machine-learning/glossary / 확인일: 2026-07-20
• U.S. Bureau of Labor Statistics, Base period. 기준 시점은 다른 시점과 비교하기 위한 reference라고 설명하므로, 최근 구간 비교표처럼 무엇을 기준 묶음으로 둘지에 따라 표 구조가 달라질 수 있다는 점을 뒷받침합니다. https://www.bls.gov/bls/glossary.htm / 확인일: 2026-07-20