P5-15.2 생성 모델(generative model)의 후보 분포(candidate distribution)¶

Section ID: P5-15.2 Version: v2026.07.23

보조제목: 왜 정답 하나 대신 후보 분포를 남기는가

P5-15.1에서는 생성형 AI를 딥러닝 관점에서 보려면 출력 경험부터 달라져야 한다는 점을 보았습니다. 분류 모델은 라벨이나 점수를 내놓는 경우가 많지만, 생성형 AI는 문장, 이미지, 코드처럼 사용자가 바로 읽고 고칠 수 있는 출력물을 만듭니다.

그렇다면 생성 모델(generative model)은 그 출력물을 어떻게 준비한다고 볼 수 있을까요?

이 절의 핵심은 생성 모델이 정답 하나를 외워 꺼내는 것이 아니라, 가능한 출력 후보들의 상대적 그럴듯함을 함께 남긴다는 점입니다. 이 감각이 있어야 다음 P5-15.3에서 샘플링을 아무거나 뽑기가 아니라 후보 분포에서 실제 출력을 꺼내는 절차로 읽을 수 있습니다.

후보 분포는 지금 입력 뒤의 가능성이다¶

분류 모델(classification model)은 보통 이 입력은 어떤 클래스인가라는 질문에 답합니다. 생성 모델은 이 입력 뒤에는 어떤 출력들이 자연스럽게 이어질 수 있는가라는 질문에 더 가깝습니다.

여기서 후보 분포(candidate distribution)는 지금 입력 뒤에 이어질 수 있는 후보들이 각각 얼마나 그럴듯한가를 나란히 남긴 것입니다. 예를 들어 배치 점검 결과 뒤에 세 문장이 모두 가능하다면, 생성 모델은 그중 하나만 정답처럼 저장해 두는 것이 아니라 각 후보가 상대적으로 얼마나 자연스러운지 비교할 수 있는 형태를 만듭니다.

데이터 분포와 후보 분포는 어떻게 이어지는가¶

독자는 분포(distribution)라는 말에서 바로 어려움을 느낄 수 있습니다. 여기서는 이를 자주 함께 나타나는 패턴과 자연스러운 조합에 대한 통계적 감각으로 먼저 잡습니다.

텍스트라면 어떤 단어와 문장 구조가 자주 이어지는지 봅니다. 이미지라면 어떤 색, 윤곽, 배치가 함께 나타나는지 봅니다. 운영 응답이라면 어떤 경보 뒤에 어떤 조치 문구가 자주 붙는지 봅니다.

이 말은 모델이 모든 정답 문장을 그대로 저장해 두었다는 뜻이 아닙니다. 더 정확히는 학습 데이터에서 반복적으로 나타난 패턴을 바탕으로, 현재 입력에 이어질 수 있는 후보들의 그럴듯함을 계산할 수 있게 되었다는 뜻입니다.

여기서 두 층위를 나누어야 합니다. 데이터 분포(data distribution)는 학습 데이터 전체에서 어떤 패턴과 조합이 자주 나타나는가에 대한 큰 그림입니다. 후보 분포는 그 큰 그림을 바탕으로 지금 이 입력 다음에는 무엇이 얼마나 자연스러운가를 현재 자리에서 다시 펼쳐 놓은 것입니다.

most_likely와 probabilities는 다르다¶

생성 문제에서는 가장 그럴듯한 후보 하나만 보는 것으로 설명이 끝나지 않습니다. 같은 앞문장 뒤에도 여러 문장이 자연스럽게 이어질 수 있기 때문입니다.

예를 들어 배치 점검 결과 뒤에는 다음과 같은 후보가 모두 가능합니다.

• 재확인이 필요합니다
• 담당자 확인 후 재개합니다
• 10분 뒤 재측정합니다

가장 높은 후보는 most_likely로 따로 읽을 수 있습니다. 하지만 생성 모델이 남긴 것은 그 하나만이 아닙니다. 후보 전체의 상대적 비중, 즉 probabilities를 함께 보아야 모델이 어떤 출력 공간을 배웠는지 보입니다.

most_likely만 보면 생성 모델도 분류 모델처럼 보이기 쉽습니다. 입력 하나에 대해 가장 높은 답 하나를 고른다고 읽기 때문입니다. 반대로 probabilities까지 보면, 가장 높은 후보 뒤에 남아 있는 두 번째, 세 번째 후보가 보입니다. 이 후보들은 지금 당장 첫 출력으로 선택되지 않더라도, 다음 문장이나 다른 맥락에서는 충분히 이어질 수 있는 가능성입니다.

flowchart TD
  A["학습 데이터의 반복 패턴"]
  B["현재 입력<br/>배치 점검 결과"]
  C["후보 분포<br/>재확인 0.46<br/>담당자 확인 0.34<br/>재측정 0.20"]
  D["most_likely만 보기<br/>재확인만 남음"]
  E["probabilities 함께 보기<br/>후보 공간이 남음"]

  A --> B
  B --> C
  C --> D
  C --> E

이 도식에서 중요한 것은 후보 분포를 본 뒤 어디에서 해석이 갈리는가입니다. most_likely만 보면 가장 높은 후보 하나가 남지만, probabilities를 함께 보면 같은 입력 뒤에 남아 있는 후보 공간이 보입니다. 다음 절의 샘플링은 바로 이 후보 공간에서 실제 출력을 꺼내는 절차로 이어집니다.

사례 및 예시¶

운영 기록에서 두 종류의 경보와 후속 조치 문구가 다음처럼 남아 있다고 해 보겠습니다. 이 절에서는 계산 절차보다 분포를 읽는 감각이 중요하므로, 기록 수와 분포 해석을 먼저 나란히 놓고 봅니다.

이 표에서 먼저 볼 것은 0.50이나 0.52처럼 가장 큰 숫자 하나가 아닙니다. 온도 경보에서는 유량 점검, 팬 상태, 센서 보정이 하나의 후보 공간을 이루고, 실링 경계 경보에서는 실링 압력, 필름 장력, 칼날 마모가 다른 후보 공간을 이룹니다.

생성 모델은 다음에 뭐가 올까를 한 문장으로 외우는 것이 아니라, 이 맥락에서는 무엇이 얼마나 자주 이어졌는가를 분포로 정리합니다. 이 차이를 봐야 생성 문제를 정답 라벨 하나 선택이 아니라 후보 분포를 학습하는 일로 읽게 됩니다.

연습 및 예제¶

다음 후보 비중을 보고 직접 판단해 보겠습니다. 먼저 most_likely를 표시하고, 그다음 나머지 두 후보가 왜 완전히 사라진 것이 아닌지 말로 설명해 봅니다.

이 표에서 most_likely는 재확인이 필요합니다입니다. 하지만 후보 분포 전체를 보면 담당자 확인 후 재개합니다도 낮지 않은 비중으로 남아 있고, 10분 뒤 재측정합니다도 완전히 사라지지 않았습니다.

따라서 가장 높은 후보만 보고 이 입력의 답은 재확인이다라고 말하면 생성 모델을 분류처럼 읽게 됩니다. 후보 분포로 읽으면 재확인이 가장 자연스럽지만, 담당자 확인과 재측정도 같은 맥락 안에서 가능한 후속 문구로 남아 있다고 설명할 수 있습니다.

이 연습의 목적은 후보가 많을수록 무조건 좋다고 말하는 데 있지 않습니다. 목적은 생성 모델이 무엇을 배웠는지 설명할 때 가장 높은 하나와 함께 남은 후보 공간을 구분하는 데 있습니다.

체크리스트¶

• 생성 모델(generative model)이 분류 모델과 다른 질문을 푼다는 점을 설명할 수 있는가?
• 데이터 분포를 배운다는 말을 자주 함께 나타나는 패턴과 자연스러운 조합의 감각으로 풀어 말할 수 있는가?
• most_likely와 probabilities가 왜 다른지 설명할 수 있는가?
• 생성 모델을 무언가를 만들어 내는 모델 정도로만 말하지 않고, 어떤 출력이 자연스러운지에 대한 후보 분포를 학습하는 모델로 설명할 수 있는가?
• 다음 절의 샘플링을 읽을 때도 먼저 무엇을 배웠는가와 무엇을 실제로 꺼낼 것인가를 나눠 볼 준비가 되어 있는가?

출처와 참고 자료¶

• Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016, Chapter 20 Deep Generative Models, 확인 날짜: 2026-07-21. https://www.deeplearningbook.org/