콘텐츠로 이동

P1-10.2 다음 출력 생성(next-output generation)의 직관

Section ID: P1-10.2 Version: v2026.07.20

10.1에서는 분류(classification), 예측(prediction), 생성(generation)을 구분했습니다. 분류는 범주를 고르고, 예측은 값이나 상태를 추정하고, 생성은 조건에 맞는 새 산출물을 만듭니다.

여기서는 생성이 어떻게 일어나는지 아주 큰 직관만 설명합니다.

여기서 던지는 핵심 질문은 생성형 AI가 완성된 답을 한 번에 꺼내는가, 아니면 작은 출력 조각을 이어 가며 만드는가입니다.

입문 단계에서 유용한 기준선은 다음과 같습니다.

생성형 AI는 대체로 조건(condition)을 바탕으로 다음 출력 조각을 만들고, 그 결과를 다시 다음 단계의 조건으로 사용하면서 산출물을 구성한다.

Part 1에서 다음 출력 생성(next-output generation), 다음 토큰 예측(next-token prediction)의 입문 직관, 오디오 샘플(audio sample) 순차 생성, diffusion model의 점진적 복원 직관을 구분하는 기본 기준은 여기서 잡습니다. 10.1에서는 분류/예측/생성의 출력 차이를 먼저 구분했고, 여기서는 그중 생성이 어떻게 이어지는지의 계산 직관만 잡습니다. 세부 구조와 수식은 뒤 Part에서 다시 다룹니다.

다만 이 문장은 모든 모델이 같은 방식으로 동작한다는 뜻이 아닙니다. 텍스트 생성(text generation), 음성 생성(audio generation), 이미지 생성(image generation)은 모두 반복적 생성이라는 공통 직관을 공유할 수 있지만, 실제 생성 단위와 알고리즘은 다릅니다.

여기서는 먼저 생성이 완성본을 한 번에 꺼내는가, 아니면 작은 출력 조각을 이어 가며 만드는가를 닫습니다. 토큰화(tokenization)는 Part 6의 P6-1.1과 P6-1.2에서, 다음 토큰 예측(next-token prediction)은 P6-5.1에서, sampling과 temperature는 Part 5의 P5-15.3과 Part 6의 P6-5.2에서, Transformer 구조는 P1-11.3과 Part 5, Part 6에서, 프롬프트(prompt)와 평가는 P1-12.1부터 P1-12.3에서 다시 다룹니다. diffusion model의 자세한 구조는 여기서 먼저 꺼내지 않습니다.

다음 출력 생성, 다음 토큰, 오디오 샘플, diffusion은 초반에 모두 같은 생성 알고리즘처럼 들릴 수 있습니다. 우선 각 용어의 자리를 짧게 구분하면 다음과 같습니다.

용어 아주 짧은 뜻 이 절에서의 역할
다음 출력 생성 작은 출력 조각을 이어 가며 산출물을 만드는 직관 생성 과정을 보는 큰 틀
다음 토큰 예측 문맥을 바탕으로 다음 토큰 후보를 계산하는 방식 텍스트 생성의 기본 직관
오디오 샘플 생성 이전 파형을 바탕으로 다음 샘플을 잇는 방식 음성 생성의 순차 직관
diffusion 복원 노이즈를 점진적으로 줄여 이미지를 복원하는 방식 이미지 생성이 텍스트와 다른 점
sampling 후보 중 실제 출력을 선택하는 절차 같은 입력에도 결과가 달라지는 이유의 일부

여기서 유지해야 할 최소 구분은 텍스트는 다음 토큰, 음성은 다음 샘플, 이미지는 복원 과정, sampling은 선택 절차입니다.

여기서는 다음 직관을 기준선으로 둡니다.

조건을 읽는다. 가능한 다음 출력 후보를 계산한다. 하나의 출력을 선택하거나 복원한다. 그 결과를 바탕으로 다음 단계를 이어 간다.

또한 여기서는 좋은 생성 결과를 어떻게 판단할 것인가를 다루지 않습니다. 그 질문은 10.3에서 품질, 근거, 안전, 권리와 책임으로 따로 나눠 봅니다.

작은 출력 조각을 이어 가는 생성 기준

  • 생성형 AI가 완성된 산출물을 한 번에 꺼내는 것처럼 보이지만, 실제로는 반복적 생성 과정으로 이해할 수 있음을 봅니다.
  • 텍스트 생성에서는 다음 토큰(next token)이라는 단위가 중요하다는 점을 이해합니다.
  • 음성 생성에서는 다음 오디오 샘플(audio sample) 또는 파형 조각을 순차적으로 다룰 수 있음을 봅니다.
  • 이미지 생성은 다음 픽셀을 단순히 이어 붙이는 방식으로만 설명하면 안 되며, diffusion 계열에서는 노이즈를 점진적으로 복원한다는 점을 구분합니다.
  • 다음 출력 생성은 입문용 직관이지, 모든 생성 모델의 정확한 알고리즘 설명이 아님을 기억합니다.

세 가지 기준

여기서는 생성 알고리즘 세부를 배우기보다, 생성이 어떻게 이어지는지 직관을 잡는 데 집중합니다. 아래 세 가지 기준이 잡히면 흐름이 정리됩니다.

기준 왜 중요한가 이 절에서 필요한 이해 수준
생성은 완성본을 한 번에 꺼내기보다 단계적으로 이어질 수 있다는 점 생성형 AI를 더 현실적인 계산 과정으로 보게 해 줍니다. 작은 출력 조각을 이어 가며 만든다고 이해하면 됩니다.
텍스트에서는 다음 토큰(next token) 직관이 중요하다는 점 LLM 설명으로 넘어갈 때 핵심 손잡이가 됩니다. 문장을 통째로 고르는 게 아니라 다음 토큰 후보를 계속 고른다고 알면 됩니다.
이미지와 음성도 반복 생성이라는 공통점은 있지만 단위와 방식은 다르다는 점 모든 생성 모델을 같은 알고리즘으로 오해하지 않게 해 줍니다. “반복 생성”은 공통 직관일 뿐, 실제 구현은 다르다고 이해하면 됩니다.

텍스트는 다음 토큰을 이어 가며 만들어진다

LLM(large language model)의 텍스트 생성은 보통 토큰(token)을 단위로 설명합니다. 토큰은 사람이 읽는 단어(word)와 항상 같지 않고, 모델이 텍스트를 처리하기 위해 나눈 기본 단위입니다.

토큰이 만들어지는 모습을 아주 단순화하면 다음과 같습니다.

원문: AI를 다시 공부한다.

사람이 보기 쉬운 단어 단위: AI를 / 다시 / 공부한다

모델이 다루는 토큰의 예: AI / 를 / 다시 / 공부 / 한다 / .

이 예시는 실제 tokenizer의 결과를 그대로 보여 주는 것이 아닙니다. 실제 토큰화(tokenization)는 모델과 tokenizer에 따라 달라집니다. 어떤 경우에는 한 단어가 여러 토큰으로 나뉘고, 어떤 경우에는 공백이나 기호까지 토큰의 일부가 될 수 있습니다.

여기서 중요한 점은 하나입니다.

LLM은 사람이 읽는 문장을 그대로 읽는 것이 아니라, 문장을 토큰이라는 계산 가능한 조각으로 나누어 다룬다.

예를 들어 사용자가 다음과 같이 입력했다고 합시다.

입력: AI를 다시 공부하는 이유를 한 문장으로 설명해 줘.

모델은 완성된 문장을 머릿속 창고에서 꺼내는 것이 아닙니다. 앞의 문맥(context)을 조건으로 삼아 다음에 올 가능성이 높은 토큰 후보의 분포를 계산하고, 선택된 토큰을 출력에 붙입니다.

단순화하면 다음과 같습니다.

문맥: AI를 다시 공부하는 이유는

다음 토큰 후보: 기초를 변화를 잊었던 ...

하나의 토큰이 선택되면 문맥은 다시 바뀝니다.

문맥: AI를 다시 공부하는 이유는 기초를

다음 토큰 후보: 회복하고 다지고 이해하고 ...

이 과정을 반복하면 문장이 만들어집니다.

AI를 다시 공부하는 이유는 기초를 회복하고 새로운 기술 변화에 적응하기 위해서다.

GPT-3 논문은 GPT-3를 175B 파라미터의 자기회귀 언어 모델(autoregressive language model)로 설명합니다. 자기회귀(autoregressive)라는 말은 여기서 앞의 출력과 문맥을 다음 출력의 조건으로 사용한다는 직관과 연결됩니다.

다음 토큰은 정답 하나가 아니다

다음 토큰 예측(next-token prediction)을 “정답 맞히기”로만 이해하면 생성형 AI의 특성을 놓치기 쉽습니다. 같은 문맥에서도 가능한 다음 토큰은 여러 개입니다.

문맥: 오늘 회의의 핵심은

가능한 다음 토큰: 일정 위험 결정 비용

모델은 후보마다 점수를 계산할 수 있습니다. 하지만 어떤 후보를 실제로 선택할지는 모델 설정과 생성 방식에 따라 달라질 수 있습니다.

이 때문에 생성 결과는 다음 특성을 가집니다.

특성 의미
확률적 선택(probabilistic choice) 같은 입력에서도 다른 출력이 나올 수 있습니다.
문맥 의존성(context dependency) 앞에서 무엇을 입력했는지에 따라 다음 후보가 바뀝니다.
누적 효과(accumulation effect) 앞에서 선택한 출력이 뒤의 출력 조건이 됩니다.
오류 누적(error accumulation) 앞의 잘못된 선택이 뒤 문장 전체를 흔들 수 있습니다.

따라서 생성형 AI의 출력은 “계산된 후보를 이어 만든 산출물”로 보는 편이 안전합니다. 그럴듯하게 보이는 문장도 근거가 자동으로 보장되지는 않습니다.

음성도 순차 생성으로 볼 수 있다

음성 생성(audio generation)도 순차 생성의 직관으로 볼 수 있습니다. WaveNet 논문은 raw audio waveform을 직접 다루는 생성 모델을 제안했고, 파형(waveform)의 결합확률(joint probability)을 이전 샘플들에 조건화된 확률의 곱으로 factorization한다고 설명했습니다.

입문 단계의 기준선은 다음과 같습니다.

이전 오디오 샘플들 -> 다음 오디오 샘플의 후보 분포 -> 샘플 선택 -> 다음 단계로 이동

이 설명은 텍스트의 다음 토큰 생성과 닮아 있습니다. 다만 생성 단위가 다릅니다.

영역 생성 단위의 예 직관
텍스트 토큰(token) 다음 토큰을 이어 문장을 구성
음성 오디오 샘플(audio sample), 파형 조각 다음 파형 값을 이어 소리를 구성

이 비교의 목적은 “텍스트와 음성이 같은 모델이다”라고 말하는 것이 아닙니다. 목적은 생성이 완성품을 한 번에 꺼내는 일이 아니라, 조건을 바탕으로 다음 조각을 이어 가는 과정으로 이해될 수 있음을 보여 주는 것입니다.

이미지는 다음 픽셀만으로 설명하면 부족하다

이미지 생성(image generation)은 조심해서 설명해야 합니다. 단순히 “다음 픽셀을 하나씩 맞힌다”고 말하면 일부 모델에는 맞을 수 있지만, 현대적인 이미지 생성 전체를 설명하기에는 좁습니다.

특히 diffusion model 계열은 텍스트 생성처럼 왼쪽에서 오른쪽으로 다음 토큰을 붙이는 방식과 다릅니다. Ho 등의 denoising diffusion probabilistic model(DDPM)은 노이즈를 추가하는 과정과 이를 거꾸로 되돌리는 reverse process를 사용합니다. 입문 관점에서는 다음처럼 이해할 수 있습니다.

무작위 노이즈 상태에서 시작한다. 조건과 학습된 패턴을 사용해 노이즈를 조금 줄인다. 이 과정을 여러 단계 반복한다. 점점 이미지에 가까운 형태로 복원한다.

Latent Diffusion Models 논문은 diffusion model을 더 낮은 차원의 latent space에서 수행하고, cross-attention 기반 conditioning을 통해 text-to-image synthesis 같은 작업에 적용할 수 있음을 보였습니다.

따라서 이미지 생성은 다음처럼 표현하는 편이 더 안전합니다.

텍스트 생성: 다음 토큰을 이어 붙이는 순차 생성으로 설명하기 쉽다.

이미지 생성: 조건을 바탕으로 노이즈나 잠재 표현을 여러 단계에 걸쳐 복원하는 방식이 중요하다.

공통점은 있습니다. 둘 다 조건을 바탕으로 산출물을 점진적으로 구성합니다. 그러나 생성 단위와 계산 방식은 다릅니다.

같은 프롬프트도 생성 방식에 따라 다르게 처리된다

사용자가 다음처럼 요청했다고 합시다.

프롬프트: AI를 다시 공부하는 사람을 위한 차분한 표지 이미지를 만들어 줘.

텍스트 모델이라면 이 요청에 대해 설명문이나 프롬프트 문장을 생성할 수 있습니다.

출력 예: 어두운 책상 위에 노트북과 펼쳐진 노트가 놓여 있고, 화면에는 신경망 다이어그램이 은은하게 보인다.

이미지 생성 모델이라면 같은 문장을 조건으로 삼아 이미지 표현을 점진적으로 구성할 수 있습니다.

조건: 차분한 표지, AI 재학습, 노트북, 노트, 신경망 다이어그램

생성: 노이즈 또는 잠재 표현에서 시작해 이미지로 복원

사용자 입장에서는 둘 다 “생성”입니다. 하지만 모델 내부의 생성 단위는 다릅니다.

생성은 수정과 반복을 포함한다

생성형 AI 사용 경험에서 중요한 점은 한 번의 출력으로 끝나지 않는다는 것입니다. 사용자는 결과를 보고 다시 조건을 바꿉니다.

1차 요청: 짧게 요약해 줘.

2차 요청: 조금 더 학술적인 표현으로 바꿔 줘.

3차 요청: 처음 읽는 독자가 이해할 수 있는 예시를 추가해 줘.

이 흐름에서는 모델의 출력이 다시 다음 입력의 일부가 됩니다.

사용자 조건 -> 모델 출력 -> 사람 검토 -> 수정 조건 -> 새 출력

이 점은 이 책을 만드는 과정과도 연결됩니다. AI 도구가 만든 초안은 최종 원고가 아니라 다음 검토와 수정의 재료입니다. 생성은 산출물을 만들어 주지만, 그 산출물이 정확한지, 근거가 있는지, 현재 원고의 흐름에 맞는지는 사람이 다시 판단해야 합니다.

체크리스트

  • 생성형 AI가 완성된 산출물을 한 번에 꺼내는 것이 아니라 반복적 생성 과정으로 이해될 수 있음을 설명할 수 있다.
  • 텍스트 생성에서 토큰(token)과 다음 토큰 예측(next-token prediction)의 직관을 설명할 수 있다.
  • 다음 토큰은 정답 하나가 아니라 후보 분포에서 선택되는 출력임을 설명할 수 있다.
  • 음성 생성에서 오디오 샘플(audio sample)을 순차적으로 다루는 직관을 설명할 수 있다.
  • 이미지 생성, 특히 diffusion model을 단순한 다음 픽셀 예측으로 설명하지 않아야 함을 말할 수 있다.
  • 생성 결과는 사람의 검토와 반복 수정이 필요하다는 점을 설명할 수 있다.
  • 무엇이 다음 출력 단위인지, 그 단위를 어떤 조건으로 선택하거나 복원하는지 설명할 수 있다.
  • 텍스트, 음성, 이미지 생성이 모두 반복적 생성이지만 단위와 방식은 다르다는 점을 구분할 수 있다.

출처와 참고 자료