概念词汇表：T¶

本页整理拼音首字母为 T 的中文概念词条。词条正文由单词源文件 include 生成。

含义：prompt 是为了生成当前回答而交给模型的完整输入。它不只是单行问题，也包括指令、上下文、示例、约束和输出格式，最好理解为当前任务条件的输入设计包。
为什么重要：用户不用重新训练模型，也可以通过 prompt 调整当前回答条件。这个概念能帮助读者区分改变模型本身与改变一次回答的输入条件，也能解释为什么同一个模型会因为上下文、示例和要求的格式不同而给出不同方向的回答。
相关概念：指令(instruction)，输入上下文(input context)，上下文学习(in-context learning)，输出格式(output format)
核心 Section：P1-12.1
出现 Section：P1-12.1，P6-2.4，P6-10.1，P6-10.3，P7-5.1

token¶

含义：token 是模型处理文本时切分出来的基本计算单位。它不一定等于一个词；一个词可能被拆成多个 token，几个短表达也可能被当作一个片段处理。人眼看到的一整句话，在模型内部会变成 token 序列来计算。
为什么重要：必须区分人阅读的词和模型实际计算的单位，才能正确理解 next-token prediction 与 LLM 生成过程。成本、上下文窗口长度和 token 覆盖问题都从这个计算单位开始。理解 token 以后，prompt 设计和上下文长度限制为什么要看 token 数，而不只是字符数，也会更清楚。
相关概念：下一词元预测(next-token prediction)，语言建模(language modeling)，嵌入(embedding)，分词(tokenization)，上下文窗口(context window)
中心 Section：P6-2.1
出现 Section：P1-10.2，P5-13.1，P5-13.2，P6-2.1，P6-2.2，P6-2.3，P6-2.4，P6-2.5，P7-4.1，P7-4.2

含义：token 化把原始文本转换成模型可以处理的 token 序列。人看到的一整句话，在模型那里会变成按顺序排列的 token 片段。
为什么重要：token 化会影响 token 数、成本、上下文占用、切块边界和输入解释。在 P3-6.2 中，这个想法被类比用于区段 token：把原始曲线改写成更短的序列，从而比较顺序和方向。
相关概念：词元(token), 上下文窗口(context window), 字节对编码(BPE, Byte Pair Encoding)
核心 Section：P6-2.2
出现 Section：P3-6.2，P6-2.2，P6-2.3，P6-2.4，P6-2.5，P7-4.1，P7-4.2，P7-5.1

含义：Transformer 是以 attention 为中心，让序列中多个位置可以彼此参考的神经网络结构系列。它不只按从前到后的顺序传递信息，而是并行比较不同位置之间的关系，并据此形成上下文表示。由于 token 含义本身不能表示顺序，Transformer 还会单独供应位置信息。
为什么重要：Transformer 是现代 LLM 的核心结构基础之一，但需要和预训练、规模化、部署方式一起阅读。这个概念帮助读者理解，LLM 不只是“很大的模型”，而是 attention 结构和大规模学习策略结合后的结果。它也说明为什么语言模型从 RNN 式顺序处理，转向更直接比较长距离上下文关系的结构。
相关概念：注意力(attention)，语言建模，直接谱系
核心 Section：P1-11.3
出现 Section：P1-9.3, P5-13.2, P5-14.1, P5-14.2, P5-15.1, P6-4.1, P6-4.2, P6-4.3, P7-5.1