跳转至

P6-1.4 生成并不只有一种迭代方式

Section ID: P6-1.4 Version: v2026.08.28

在 P6-1.3 中，我们看到 LLM 根据当前上下文计算下一个词元的候选，再将选中的词元追加到上下文中，逐步完成生成。这是解释文本生成的重要流程，却不是所有生成式 AI 的共同步骤。Part 5 介绍的图像扩散不会逐个选择下一个词元，而是对整个随机噪声状态进行多次复原。

本节的问题是：LLM 的自回归生成与图像扩散的迭代复原各自把什么视为一步，又通过改变什么来控制结果？

同样叫迭代，处理单位却不同

两类模型都依据训练数据中学到的模式，生成符合条件的结果，也都会在生成过程中反复计算。但每次迭代改变的对象不同。

视角 自回归 LLM 图像扩散
迭代单位 一个后续词元 对整幅图像或整个潜在表示进行的一步复原
起始状态 输入上下文和已经生成的词元 随机初始噪声
一步中的核心计算 下一个词元的候选分布 预测当前状态中的噪声或复原方向
一步之后的状态 追加了所选词元的新上下文 噪声略少的新状态
停止标准 结束词元、长度限制、工具调用等生成规则 设定的反向步骤执行完毕

如果 LLM 在“配送”之后选择“延迟了”这样的后续内容，新词元就会加入上下文，改变下一次的候选分布。扩散并不是从一开始就像拼接句子片段那样追加独立候选。它将整个当前图像状态与时间步 t 作为输入来预测噪声，再由调度器（scheduler）利用该预测计算下一个状态。

控制值的作用也不相同

生成界面中的多种设置都会改变结果，因此看起来可能像同一类调节旋钮。但只有区分每个值改变的是哪种状态，才能解释结果差异。

控制视角 自回归 LLM 的代表值 图像扩散的代表值 首先要问的问题
起始条件 系统指令、提示词、文档上下文 文本、参考图像、结构条件 模型应参考什么？
结果变体 temperature、top-k、top-p seed 相同条件下，还可能有哪些不同的起点或选择？
迭代方式 词元选择规则与停止规则 steps、scheduler 按什么规则、更新多少次来得到后续状态？
遵循条件的强度 指令结构、上下文组织、后处理规则 guidance 满足条件与自然变化之间会出现什么权衡？

temperature 用于使 LLM 的下一个词元候选分布更平缓或更集中。相对地，scheduler 是扩散中将噪声状态推进到下一复原状态的数值规则。两者都可能影响结果的多样性与稳定性，但不能把其中一个理解为另一个换了名称。

先留下运行记录，再看单张图像或单个句子

对于这两种生成方式，只看结果都容易丢失原因。要重新解释同一个结果，LLM 需要记录输入上下文与选择规则，扩散则需要一起记录 seed、steps、scheduler 和条件。

结果发生变化时 LLM 首先要检查的记录 扩散首先要检查的记录
内容或场景发生变化 系统指令、文档上下文、提示词、选择规则 prompt、条件输入、seed、guidance
长度或迭代模式发生变化 max tokens、停止规则、temperature steps、scheduler、分辨率
尝试再次确认相同结果 模型版本、完整输入、采样设置 模型版本、seed、完整条件、scheduler 设置

从接下来的 P6-2 开始，我们将继续了解 LLM 以什么计算单位读取文本。实际运行公开扩散模型、改变一个值并留下记录的工作，在 P6-21.3 中讨论。这里的关键是，不要把 LLM 的下一个词元选择与扩散的复原步骤相互替代来解释。

检查清单

  • 能把 LLM 的下一个词元选择与图像扩散对整个状态的复原解释为不同的迭代单位。
  • 能区分 LLM 从上下文和已生成词元出发，而扩散从初始噪声出发。
  • 不会把 temperature、top-k、top-p 与 seed、steps、scheduler、guidance 笼统归为同一种作用。
  • 能说明为什么解释结果差异时，必须同时记录各生成方式的运行条件。

来源与参考资料