P6-1.4 생성은 하나의 반복 방식이 아니다¶
Section ID:
P6-1.4Version:v2026.08.28
P6-1.3에서 LLM은 현재 문맥을 바탕으로 다음 토큰 후보를 계산하고, 선택된 토큰을 다시 문맥에 붙이며 생성한다고 보았습니다. 이 흐름은 텍스트 생성의 중요한 설명이지만, 생성형 AI 전체의 공통 절차는 아닙니다. Part 5에서 본 이미지 디퓨전은 다음 토큰을 하나씩 고르는 대신, 무작위 노이즈 상태 전체를 여러 번 복원합니다.
이 절의 질문은 LLM의 자기회귀 생성과 이미지 디퓨전의 반복 복원은 무엇을 한 단계로 삼고, 무엇을 바꾸어 결과를 제어하는가입니다.
같은 반복이라는 말 아래의 다른 단위¶
두 모델 모두 학습 데이터의 패턴을 바탕으로 조건에 맞는 결과를 만들고, 생성 중 여러 번 계산합니다. 그러나 매 반복에서 바뀌는 대상이 다릅니다.
| 관점 | 자기회귀 LLM | 이미지 디퓨전 |
|---|---|---|
| 반복 단위 | 다음 토큰 하나 | 이미지 또는 잠재 표현 전체의 한 복원 단계 |
| 출발 상태 | 입력 문맥과 이미 생성된 토큰 | 무작위 초기 노이즈 |
| 한 단계의 핵심 계산 | 다음 토큰 후보 분포 | 현재 상태에 섞인 노이즈 또는 복원 방향 예측 |
| 한 단계 뒤 상태 | 선택된 토큰이 붙은 새 문맥 | 조금 덜 노이즈인 새 상태 |
| 멈추는 기준 | 종료 토큰, 길이 제한, 도구 호출 같은 생성 규칙 | 정한 역방향 단계가 끝남 |
LLM에서 배송이 다음에 지연되었습니다를 고르면, 새 토큰이 문맥에 추가되어 다음 후보 분포가 바뀝니다. 디퓨전에서는 처음부터 문장 조각처럼 분리된 후보를 붙이지 않습니다. 현재 이미지 상태 전체와 시간 단계 t를 넣어 노이즈를 예측하고, scheduler가 그 예측을 이용해 다음 상태를 계산합니다.
제어값도 같은 역할이 아니다¶
생성 화면에서 여러 설정값을 만나면 모두 결과를 바꾸므로 같은 종류의 손잡이처럼 보일 수 있습니다. 하지만 어떤 상태를 바꾸는 값인지 구분해야 결과 차이를 설명할 수 있습니다.
| 제어 관점 | 자기회귀 LLM의 대표 값 | 이미지 디퓨전의 대표 값 | 먼저 물을 질문 |
|---|---|---|---|
| 출발 조건 | 시스템 지시, 프롬프트, 문서 문맥 | 텍스트, 참조 이미지, 구조 조건 | 모델이 무엇을 참고해야 하는가 |
| 결과 변주 | temperature, top-k, top-p | seed | 같은 조건에서 어떤 다른 출발·선택이 가능한가 |
| 반복 방식 | 토큰 선택 규칙과 종료 규칙 | steps, scheduler | 다음 상태를 몇 번, 어떤 규칙으로 갱신하는가 |
| 조건을 따르는 강도 | 지시 구조, 문맥 구성, 후처리 규칙 | guidance | 조건 충족과 자연스러운 변주 사이에 어떤 절충이 생기는가 |
temperature는 LLM의 다음 토큰 후보 분포를 더 넓거나 좁게 읽는 데 쓰는 값입니다. 반대로 scheduler는 디퓨전에서 노이즈 상태를 다음 복원 상태로 옮기는 수치 규칙입니다. 둘 다 결과의 다양성·안정성에 영향을 줄 수 있지만, 한쪽을 다른 쪽의 이름만 바꾼 것으로 읽으면 안 됩니다.
결과 한 장이나 한 문장보다 실행 기록을 먼저 남긴다¶
두 생성 방식 모두 결과만 보면 원인을 잃기 쉽습니다. LLM에서는 입력 문맥과 선택 규칙을, 디퓨전에서는 seed·steps·scheduler·조건을 함께 남겨야 같은 결과를 다시 해석할 수 있습니다.
| 결과가 달라졌을 때 | LLM에서 먼저 확인할 기록 | 디퓨전에서 먼저 확인할 기록 |
|---|---|---|
| 내용이나 장면이 달라짐 | 시스템 지시, 문서 문맥, 프롬프트, 선택 규칙 | prompt, 조건 입력, seed, guidance |
| 길이·반복 양상이 달라짐 | max tokens, 종료 규칙, temperature | steps, scheduler, 해상도 |
| 다시 같은 결과를 확인하려 함 | 모델 버전, 입력 전문, sampling 설정 | 모델 버전, seed, 조건 전문, scheduler 설정 |
다음 P6-2부터는 LLM이 텍스트를 어떤 계산 단위로 읽는지 이어서 봅니다. 공개 디퓨전 모델을 실제로 실행하고 한 값을 바꾸어 기록하는 일은 P6-21.3에서 다룹니다. 여기서는 LLM의 다음 토큰 선택과 디퓨전의 복원 단계를 서로 바꾸어 설명하지 않는 것이 핵심입니다.
체크리스트¶
- LLM의 다음 토큰 선택과 이미지 디퓨전의 전체 상태 복원을 서로 다른 반복 단위로 설명할 수 있다.
- LLM이 문맥과 생성된 토큰에서, 디퓨전이 초기 노이즈에서 출발한다는 점을 구분할 수 있다.
- temperature·top-k·top-p와 seed·steps·scheduler·guidance를 같은 역할로 뭉뚱그리지 않을 수 있다.
- 결과 차이를 설명하려면 각 생성 방식의 실행 조건을 함께 기록해야 하는 이유를 말할 수 있다.
출처와 참고 자료¶
- Tom B. Brown et al., Language Models are Few-Shot Learners, arXiv, 2020, 확인 날짜: 2026-08-28. 이전 토큰 문맥에 조건부로 다음 토큰을 예측하는 자기회귀 언어 모델의 근거로 사용했다.
- Jonathan Ho, Ajay Jain, Pieter Abbeel, Denoising Diffusion Probabilistic Models, arXiv, 2020, 확인 날짜: 2026-08-28. 노이즈 상태에서 시작하는 반복적 역방향 생성의 근거로 사용했다.