콘텐츠로 이동

P6-1.3 생성은 후보 분포와 선택의 반복이다

Section ID: P6-1.3 Version: v2026.07.22

Part 5에서 본 생성 모델의 핵심 감각은 후보를 만들고 그중 하나를 고른다는 흐름이었습니다. LLM도 완성 문장을 한 번에 꺼내지 않습니다. 현재 문맥에서 다음 후보를 만들고, 선택된 조각을 다시 문맥에 붙인 뒤 다음 후보를 다시 만듭니다.

완성 문장보다 다음 후보를 먼저 본다

사용자는 보통 완성된 답변을 봅니다. 그래서 LLM이 어딘가에 저장된 문장을 찾아온다고 느끼기 쉽습니다. 그러나 생성 과정을 이해하려면 완성 답변을 잠시 접고, 지금 문맥에서 다음에 무엇이 올 수 있는가를 먼저 봐야 합니다.

예를 들어 환불 정책은이라는 문맥 뒤에는 여러 후보가 올 수 있습니다. 구매, 상품, 고객, 영수증 같은 후보는 모두 말이 될 수 있지만 같은 정도로 그럴듯하지는 않습니다. 모델은 이 후보들에 상대적인 점수를 붙이고, 선택 규칙에 따라 실제 다음 조각을 고릅니다. 그 조각이 붙으면 문맥이 바뀌고, 바뀐 문맥에서 다음 후보 점수도 다시 달라집니다.

이때 후보 분포(distribution)라는 말은 후보들이 같은 가능성으로 놓여 있지 않다는 뜻입니다. 어떤 후보는 강하고, 어떤 후보는 약합니다. 생성은 이 분포를 한 번 보고 끝내는 일이 아니라, 선택된 조각을 문맥에 붙인 뒤 새 분포를 다시 만드는 반복입니다.

작은 후보 선택표

후보를 만들고 하나를 고르는 한 번의 장면을 작게 보면 다음과 같습니다.

현재 문맥 후보와 상대 점수 선택 방식 선택 결과
환불 정책은 구매 0.46, 상품 0.21, 영수증 0.18, 고객 0.15 가장 높은 점수 선택 구매
환불 정책은 구매 후 0.38, 일 0.24, 내역 0.20, 취소 0.18 항상 1등만 고르지 않고 후보 중 하나를 고름 후
환불 정책은 구매 후 14일 0.44, 7일 0.33, 30일 0.23 안정성 우선 선택 14일

이 표는 실제 LLM 내부 구현이 아닙니다. 숫자는 후보 사이의 강약을 보여 주기 위한 예시입니다. 0.46은 구매가 다른 후보보다 더 그럴듯하게 잡혔다는 뜻으로만 읽으면 됩니다. 여기서 필요한 학습은 생성이 완성 답변을 꺼내는 일이 아니라 후보 분포와 선택을 반복하는 흐름이라는 감각입니다. 이 감각이 있어야 뒤에서 토큰, next-token prediction, temperature, sampling을 단순 설정값이 아니라 생성 과정을 읽는 도구로 볼 수 있습니다.

선택 결과는 다음 계산의 입력이 됩니다. 그래서 앞에서 무엇을 골랐는지가 뒤 후보를 바꿉니다.

앞에서 선택된 조각 새 문맥 다음에 강해지는 후보 약해지는 후보
구매 환불 정책은 구매 후, 일, 취소 고객, 문의
고객 환불 정책은 고객 문의, 센터, 상담 7일, 14일

같은 시작 문장이라도 한 번 선택이 달라지면 다음 후보의 방향이 바뀝니다. 이 때문에 생성은 정해진 문장을 찾아오는 검색이 아니라, 현재 문맥을 계속 갱신하면서 다음 후보를 다시 계산하는 과정으로 읽어야 합니다.

flowchart LR
  A["현재 문맥"]
  B["다음 후보 점수"]
  C["선택"]
  D["선택된 조각을 문맥에 붙임"]

  A --> B
  B --> C
  C --> D
  D --> A

사례 및 예시

사용자 요청이 조금만 달라져도 후보 분포가 바뀝니다.

사용자 요청 현재 문맥 강해질 후보 약해질 후보
짧게 사과문을 써 줘 불편을 드려 죄송합니다, 사과드립니다 따라서, 계산하면
환불 조건을 설명해 줘 환불은 구매 후 7일, 14일, 영업일 감사합니다, 첨부파일
파이썬 코드로 계산해 줘 total = price, sum, amount 안녕하세요, 정책은

이 표는 모델이 실제로 쓰는 점수를 보여 주는 자료가 아닙니다. 독자가 붙잡아야 할 것은 문맥이 후보를 바꾼다는 관계입니다. 같은 LLM이라도 요청, 앞에서 선택된 토큰, 제공된 문서, 시스템 지시가 바뀌면 다음 후보의 강약이 달라집니다.

바로 적용해 보면

다음 두 시작 문장을 비교해 보세요.

시작 문맥 다음 후보를 예상해 보기 확인 해설
배송 지연의 원인은 폭설, 물류, 재고, 통관 같은 설명 후보 원인을 설명하는 명사가 강해지기 쉽다.
배송 지연에 대해 고객에게 사과, 안내, 알려, 전달 같은 행동 후보 고객 응대 문장으로 이어질 후보가 강해지기 쉽다.

두 문맥은 모두 배송 지연을 말하지만, 다음에 필요한 말의 역할이 다릅니다. 첫 문맥은 원인 설명으로 이어지고, 둘째 문맥은 고객 응대 행동으로 이어집니다. 이렇게 문맥이 바뀌면 후보 분포가 바뀌고, 후보 분포가 바뀌면 실제 생성 결과도 달라집니다.

연습 및 예제

다음 두 문맥에서 다음 후보가 어떻게 달라질지 비교해 보세요.

현재 문맥 강해질 가능성이 큰 후보 이유
회의록을 요약하면 결정, 할 일, 쟁점 요약문에서는 핵심 항목이 이어질 가능성이 크다.
회의록을 번역하면 The, Meeting, Summary 번역 요청에서는 다른 언어의 첫 표현이 이어질 가능성이 크다.

두 문장은 앞부분이 비슷하지만, 요약하면과 번역하면이 다음 후보 분포를 다르게 만듭니다. Part 6에서 말하는 문맥(context)은 단순히 앞에 놓인 글자 묶음이 아니라, 다음 후보 점수를 바꾸는 조건입니다.

텍스트 생성에서 후보가 어떤 단위로 만들어지는지 물으면, 그 답이 토큰입니다. 그래서 토큰은 Part 6의 출발점이 아니라, 생성형 AI 산출물과 LLM의 후보 선택 흐름을 잡은 뒤 등장하는 계산 단위입니다.

체크리스트

  • 생성을 후보 분포와 선택 반복으로 설명할 수 있다.
  • 완성 문장을 한 번에 꺼낸다는 오해가 왜 부족한지 말할 수 있다.
  • 토큰이 왜 후보 계산의 기본 단위로 등장하는지 설명할 수 있다.