跳转至

P1-12.3 提示词(prompt)的限制(limit)与评估(evaluation)

Section ID: P1-12.3 Version: v2026.07.20

在 12.1 中，我们看了提示词(prompt)指定了什么；在 12.2 中，我们又把指示(instruction)、上下文(context)、示例(example)拆开来看。现在剩下的问题是：

只要把提示词写好，就够了吗？

答案很明确：

提示词可以引导模型输出，但并不会自动保证事实性(factuality)、依据性(evidence)、安全性(safety)、一致性(consistency)。

在 Part 1 中，本节先建立 提示词的限制(limit)、评估(evaluation)、事实性(factuality)、依据性(evidence)、时效性(recency)、幻觉(hallucination)、可复现性(reproducibility) 的入门区分。12.1 讲的是提示词指定了什么，12.2 讲的是指示、上下文与示例，而这里进一步区分的是：

把输入写得更好，与审查结果是否更好，是两类不同的工作。

因此，学习提示词时，不只要学 如何提问更好，还要一起学 之后必须审查什么。

这里讨论的是提示词的限制与输出审查标准。不会详细解释 RAG、向量检索(vector search)、工具使用(tool use)、代理(agent)、harness。这些结构会在下一章以及后面的 P1-13.3、P1-13.4、P1-14.2 到 P1-14.5 里继续出现。

限制、评估、事实性、依据性、幻觉、可复现性 一开始都可能听起来像相似的审查项目。先简短区分一下它们的作用：

术语 极简含义 本节中的作用
提示词的限制 即使提示词写得好，也不会自动消失的问题 防止过度信任提示词的基准
评估 检查输出是否符合目的的过程 从“凭感觉好不好”转向“按标准判断”的步骤
事实性 句子是否与现实事实一致 核心准确性标准
依据性 主张是否有可核查来源支持 可验证性标准
时效性 这些信息现在是否仍然有效 面对变化信息时所需的标准
幻觉 看起来合理但其实错误的生成 生成式 AI 的代表性错误
可复现性 之后是否还能确认改了什么、结果如何 记录提示词实验的基础

这里至少要保留的区分是：提示词不是保证、评估是单独工作、事实性/依据性/时效性不是同一回事、可复现性需要记录。

这里聚焦三个问题：

问题 本节要看的内容
提示词无法保证什么？ 事实性、依据性、时效性、安全性、一致性
为什么需要评估？ 因为输出即使看起来合理，也可能是错的
应按什么标准审查结果？ 目的适配、依据、可复现性、风险、可修改性

这里不会继续堆砌提示词技巧，而是说明为什么提示词本身还不够，以及为什么后面会需要 RAG、工具使用、代理、harness 这类结构。

区分好输入与好结果评估的基准

  • 说明提示词能引导结果，但不能保证结果。
  • 区分事实性、依据性、安全性与一致性。
  • 把输出审查从“我喜不喜欢”转成“它是否适合当前目的”。
  • 整理写学习型书稿时所需的最低评估标准。
  • 预告为什么 RAG、工具使用、代理、harness 会成为下一步的话题。

三个基准

这里并不是说提示词没有用，而是要区分哪些问题无法只靠提示词解决。只要抓住下面三个基准，整体脉络就会清楚。

基准 为什么重要 本节所需的理解水平
改提示词并不会消除模型本身的限制 这能把输入设计与模型能力区分开。 只要理解成“问得更好”也不会让所有错误都消失即可。
提示词结果必须按评估标准比较 这能防止停留在“看起来不错”。 只要知道要一起检查准确性、一致性、依据即可。
没有记录的提示词修改很难复现 这会自然连接到后面的 harness、评估与实验记录脉络。 只要知道“改了什么、结果怎样”应该被记录下来即可。

提示词是条件，不是保证

更清晰的提示词确实可能提高得到更好输出的概率，但提示词并不是保修卡。

较好的提示词：
只把有已验证依据支持的内容写成事实。
如果依据薄弱，就标记为 需要验证。

可能出现的问题：
即使模型并没有真正检查来源，
它仍可能写出看起来像“有依据”的句子。

这个问题并不只是因为提示词写得不好。LLM 是根据输入上下文生成看起来合理的输出，而这个输出是否真的与现实世界一致，仍然需要单独审查。

因此，这本书会坚持下面的原则：

提示词负责指定请求条件。
依据审查是由人和工具单独执行的工作。
输出只是草稿，事实主张仍然要被验证。

事实性、依据性、时效性并不相同

评估提示词结果时，首先要分开的就是 事实性(factuality)、依据性(evidence) 与 时效性(recency)。

标准 问题 例子
事实性 这句话是否符合现实？ 论文年份、概念定义、事件描述
依据性 这句话是否有来源支持？ 论文、官方文档、标准、可靠报道
时效性 这些信息现在是否仍然有效？ 产品功能、价格、政策、法律、模型规格

这三者彼此相关，但不是一回事。

某件事可能是真的，但没有给出来源。
某件事可能有来源，但来源已经过时。
某条信息可能很新，但来源本身不够可靠。

例如，“GPT 系列模型建立在 Transformer 之上”属于历史与结构说明；而“当前哪个 API 模型最便宜”则会随着价格与产品政策而变化。两类句子的审查方式不能一样。

在这里的工作原则是：

  • 对稳定概念，优先查教材、论文与官方文档
  • 对会变化的信息，优先重新核查带日期的官方或可靠最新资料

幻觉是看起来合理的错误

在生成式 AI 的语境里，幻觉(hallucination) 指的是看起来合理但实际上错误的输出。NIST 的 Generative AI Profile 把 confabulation 说明为：以自信方式呈现、但实际上错误或虚假的内容生成，并指出这也常被称作 hallucination 或 fabrication。

这里的重要点在于：不要把幻觉看成模型“偶尔很奇怪地失常”。LLM 的确擅长生成符合上下文的语言，但这并不自动保证这些语言已经被事实依据支撑。

危险的提示词：
请把这个主张写得更有说服力。

更安全的提示词：
请审查这个主张。
把有依据支持的部分和需要验证的部分分开。
不要把无依据内容写成事实。

第二种提示词当然更安全，但它仍然不够。真实来源仍然必须被打开、被核对，句子仍然必须和来源中的主张对上。

一致性无法只靠一次回答判断

LLM 的输出会随着输入、模型、设置、对话历史而变化。即使是同一个请求，换个时间再次询问，也可能得到不同措辞或略有变化的判断。

因此，评估(evaluation) 不等于获得一次“看着挺顺眼”的回答。

一次输出：
看起来可读。

评估：
它在类似输入下是否保持相同标准？
它是否区分“错误主张”和“未知内容”？
它是否守住了 Section 边界？
它引用的来源是否真的支持这些主张？

对于学习型书稿来说，Section 边界 尤其重要。如果 12.3 开始详细展开 RAG 的结构，那就已经侵入了 P1-13 的范围。即使输出看起来不错，只要它偏离了当前 Section 的中心问题，就需要被修改。

评估必须与任务目的对应

评估标准会随着任务目的而变化。很难用一个分数去评判所有输出。

任务 重要的评估标准
概念说明 准确性、易懂表达、术语双语标注、避免夸张
依据审查 来源可靠性、句子与来源是否匹配、确认日期
目录设计 Section 边界、学习顺序、重复程度
示例撰写 初读者理解度、误解风险、可复用性
展望性写作 有日期的依据、观点比较、事实与猜测区分

Ouyang 等人的 InstructGPT 论文在评估模型输出时，不只使用自动分数，还结合了 human evaluation，并涉及 helpfulness、truthfulness、harmlessness 等标准。这本书不需要完整复制那套流程，但它至少提醒我们：

对 LLM 输出的评估，不会只靠一个标准结束。

对这个项目而言，下面这样的审查表会更实用：

审查项 问题
目的适配 这段输出是否真正回答了当前 Section 的问题？
事实性 核心事实主张里是否有错误？
依据性 重要主张是否有来源？
术语 核心术语是否清楚使用，并在需要时做了中英或韩英并记？
边界 是否没有过早侵入其他 Section 或 Chapter？
风险 是否避免了未经支持的法律、版权、安全、风险判断？

提示词能降低的风险与不能轻易解决的风险

提示词确实能帮助降低一部分风险。

提示词能帮助降低的风险：
- 输出格式混乱
- 与目标读者层次不匹配
- 跨越 Section 边界
- 没有区分无依据内容

但有些问题仍然很难只靠 prompting 解决。

仅靠提示词难以解决的风险：
- 从未真正核对原始来源的事实主张
- 当前政策或价格发生变化
- 需要法律判断的版权问题
- 长文档全局一致性的维持
- 工具执行结果与正文说明不一致

这些问题会把我们带向下一层结构：

需要 后续会接上的主题
把外部资料引入回答 RAG、向量检索(vector search)
核查计算结果或文件 工具使用(tool use)
管理多步骤工作 代理(agent)
重复评估并记录日志 harness

这只是一种预告。12.3 的重点不是把这些结构讲透，而是先说明：为什么它们会变得必要。

审查提示词结果时的最低流程

当提示词结果需要再次用于学习文档或公开文章时，至少经过下面的流程会更安全：

  1. 先确认 Section 的中心问题。
  2. 检查草稿是否真的回答了这个问题。
  3. 把事实主张与个人解释分开。
  4. 检查事实主张是否有来源。
  5. 检查来源是否真的支持写出的句子。
  6. 检查是否过早展开了后续 Section 的内容。
  7. 把未解决项另外记录为 需要验证。

这并不是完整的质量保证，但它能减少入门型书稿里最危险的一类问题：

没有依据的说明被打磨成流畅文字，
然后开始看起来像是值得相信的内容。

检查清单

  • 我可以说明提示词只是在指定输出条件，并不保证事实性。
  • 我可以区分事实性(factuality)、依据性(evidence)、时效性(recency)。
  • 我可以把幻觉(hallucination)解释成看似合理的错误。
  • 我可以说明评估(evaluation)并不等于挑出一个看起来不错的答案。
  • 我可以说明评估标准会随着任务目的而变化。
  • 我可以区分提示词能降低的风险与它难以解决的风险。
  • 我可以说明为什么 RAG、工具使用(tool use)、代理(agent)、harness 会成为下一步的话题。
  • 我可以把提示词改进与审查工作拆成 输入条件、输出评估、依据核查、可复现性记录 来说明。
  • 我可以说明即使结果看起来合理，也仍然要分别检查事实性(factuality)、依据性(evidence)、时效性(recency)。

来源与参考资料