P7-4.1 一起阅读损失、指标与错误案例¶

Section ID: P7-4.1 Version: v2026.08.01

损失、指标和单个错误案例回答不同问题。应一起阅读：损失描述优化信号，指标概括任务表现，错误案例指出人下一步该检查什么。

不要让一条曲线决定项目记录¶

较低的损失本身不能证明每个重要错误已经消失。指标上升也不能说明少数或边界案例没有变差。运行记录应同时保留三类证据。

复现文本路由学习记录¶

项目问题是：“客户咨询应转给退款团队还是配送团队？”使用 p7-4-support-routing-dataset.zh.csv，其中有 12 条训练咨询和 7 条评估咨询。多数标签基线达到 0.714；学习得到的词袋 softmax 模型达到 0.857，并留下评估样本 평가-05 供复核。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

import csv
from pathlib import Path
import numpy as np

rows = list(csv.DictReader(Path("docs/assets/part-07/chapter-04/p7-4-support-routing-dataset.zh.csv").open(encoding="utf-8")))
train_rows = [row for row in rows if row["split"] == "train"]
test_rows = [row for row in rows if row["split"] == "test"]
def tokens(text): return text.split()
vocab = sorted({token for row in train_rows for token in tokens(row["text"])})
index = {token: position for position, token in enumerate(vocab)}
def vectorize(selected):
    matrix = np.zeros((len(selected), len(vocab)))
    for row_number, row in enumerate(selected):
        for token in tokens(row["text"]):
            if token in index: matrix[row_number, index[token]] += 1
    return matrix
X_train, X_test = vectorize(train_rows), vectorize(test_rows)
y_train = np.array([int(row["label"]) for row in train_rows])
y_test = np.array([int(row["label"]) for row in test_rows])
W, b = np.zeros((len(vocab), 2)), np.zeros(2)
Y = np.eye(2)[y_train]
def softmax(values):
    shifted = values - values.max(axis=1, keepdims=True)
    e = np.exp(shifted); return e / e.sum(axis=1, keepdims=True)
def loss_accuracy(X, y):
    probabilities = softmax(X @ W + b)
    return float(-np.log(probabilities[np.arange(len(y)), y] + 1e-12).mean()), float((probabilities.argmax(axis=1) == y).mean())
baseline = int(np.bincount(y_train).argmax())
baseline_accuracy = float((np.full_like(y_test, baseline) == y_test).mean())
history = []
for epoch in range(1, 13):
    probabilities = softmax(X_train @ W + b)
    W -= .35 * X_train.T @ (probabilities - Y) / len(X_train)
    b -= .35 * (probabilities - Y).mean(axis=0)
    train_loss, train_accuracy = loss_accuracy(X_train, y_train)
    eval_loss, eval_accuracy = loss_accuracy(X_test, y_test)
    history.append({"epoch": epoch, "train_loss": round(train_loss, 3), "eval_loss": round(eval_loss, 3), "train_accuracy": round(train_accuracy, 3), "eval_accuracy": round(eval_accuracy, 3)})
predictions = softmax(X_test @ W + b).argmax(axis=1)
errors = [row["sample_id"] for row, prediction, actual in zip(test_rows, predictions, y_test) if prediction != actual]
print("基线准确率 =", round(baseline_accuracy, 3))
print("首尾 epoch =", history[0], history[-1])
print("错误样本 =", errors)

当前 CSV 中，评估准确率在最早几个 epoch 为 1.000，最后为 0.857；同时评估损失从 0.620 降至 0.363。这是一个重要反例：更低损失和指标可以朝不同方向变化，最终损失值不会抹去后来出现的错误。

本练习中 epoch 日志记录什么¶

本例有意使用全批量学习。每一轮读取全部 12 条训练咨询，做一次参数更新，并把这一单位记录为一个 epoch。生产运行常使用小批量，此时一个 epoch 包含多次更新；简化结构能让读取顺序更清楚。

当前运行的首尾记录如下。

1
2
3
4
5
6

epoch 1：训练损失 0.589，评估损失 0.620，训练准确率 1.000，评估准确率 1.000
epoch 2：训练损失 0.511，评估损失 0.567，训练准确率 1.000，评估准确率 1.000
epoch 3：训练损失 0.451，评估损失 0.526，训练准确率 1.000，评估准确率 1.000
epoch 10：训练损失 0.237，评估损失 0.384，训练准确率 1.000，评估准确率 0.857
epoch 11：训练损失 0.221，评估损失 0.373，训练准确率 1.000，评估准确率 0.857
epoch 12：训练损失 0.207，评估损失 0.363，训练准确率 1.000，评估准确率 0.857

这条轨迹比单独最终分数更有用。训练损失持续下降，评估损失也下降，评估准确率却从早期的七对七正确变为六对七正确。记录应触发样本级复核，而不是宣称较低评估损失必然意味着更好的最终路由决策。

阅读剩余路由错误¶

最后一个 epoch 的其他六行评估记录正确。这一个错误不足以诊断分词、标签质量或模型容量，却足以把下一项复核变得具体。

1
2
3
4
5
6
7
8

问题：将每条客户咨询路由到退款或配送。
训练数量：12
评估数量：7
基线准确率：0.714
最终评估准确率：0.857
最终 epoch 的评估损失：0.363
剩余错误样本：평가-05
下一次复核：检查取消词、配送词，以及该句的训练覆盖范围。

不要过度阅读曲线¶

“学习已经停止”这句话需要不止一个数字的证据。检查损失是否趋平、错误集合是否稳定或变化、概率是否改变，以及比较划分是否大到足以支持决策。

用库复现相同记录¶

NumPy 实现暴露损失和更新机制。面向生产的实现可改用文本向量器、对数损失分类器和虚拟基线。工具会变，但记录字段不变：保留基线、epoch 日志、评估指标、错误样本、划分与下一问题。

学习曲线与错误记录¶

图表给出最终指标会隐藏的时间记录。评估准确率在最早 epoch 完美、最终为 0.857；与此同时评估损失从 0.620 降至 0.363。因此“损失下降，所以每项路由决策改善”和“准确率后来下降，所以学习没有帮助”都不安全。

待续的项目记录¶

本节的下一步不是自动增加更多 epoch。先比较变化的错误集合，检查剩余句中的词，再决定受控修改是词汇覆盖、标签规则、表示还是训练数据。

flowchart TD
  A[观察结果：最终评估准确率为 0.857]
  B[过快结论：训练已经结束]
  C[检查损失：损失是否仍改变？]
  D[检查错误案例：同一咨询是否仍错误？]
  E[检查概率：正确标签的置信度是否改变？]
  F[更安全的读取：一起解释损失、指标和错误]
  A --> B
  A --> C --> D --> E --> F

将日志连接到文本项目流程¶

flowchart LR
  A[客户咨询 CSV] --> B[训练/评估划分]
  B --> C[文本表示]
  C --> D[基线与分类器]
  D --> E[损失与准确率日志]
  E --> F[样本级错误复核]
  F --> G[下一个受控问题]

本练习使用全批量：12 条训练咨询一起完成一次更新，这一次更新称为一个 epoch。小批量训练会在一个 epoch 中包含多次更新。项目记录必须保留这种区别，因为仅凭横轴上的 epoch 无法知道优化器执行了多少 step。

将结果写成有限项目说明¶

在这个固定的支持路由划分上，多数基线为 0.714，最终 NumPy 模型为 0.857。评估损失从 0.620 降至 0.363，同时最终错误集合包含 평가-05。这支持一个有限主张：在这七行上，学习表示优于多数规则。它不能说明取消和配送混合措辞为何仍困难。下一次复核将在改变架构前比较词汇覆盖和类似混合咨询。

这段说明将观察到的值与因果故事分开。最终分数不能告诉我们，错误来自分词、缺少训练案例、标签规则还是小划分形成的边界。

可以改变但不改变问题的实验¶

1. 将 epoch 数从 12 减到 4，记录损失是否来不及下降以及错误集合是否改变。
2. 将 NumPy 学习率从 0.35 改为 0.10 和 0.60，同时记录稳定性与最终准确率。
3. 添加一条新的取消与配送混合评估咨询，将其覆盖和预测与原七行分开记录。
4. 将库向量器从 bigram 改为 unigram，比较词汇表大小、损失和命名错误样本，而不是只比较最终指标。
5. 在解释之前，把 epoch 1 和 epoch 12 的值复制到同一项目说明中。

保持事实、解释和决定分开¶

项目日志若从曲线直接跳到解释，中间证据会消失。可以使用三种不同句子。

在只有七行的评估划分中，这种区分尤其重要。一行改变会显著影响准确率，错误记录让这种敏感性可见，而不是被三个小数位隐藏。

把分数变化也读成计数¶

计数与比率不是不同证据，而是同一保留行的两种视图。当评估集足够小时，应同时记录两者，方便读者检查每个案例。

样本级复核表¶

最终记录应将实际文本与 ID 保留在一起。隐私敏感的生产项目会使用已批准的脱敏形式或稳定引用键；这里的学习目标是保留可检索性。

该表不证明某个词造成预测。它告诉复核者首先应比较什么。例如，在新增模型族前，可以将 평가-05 与 평가-06 比较，因为两者都有取消相关含义，但周围证据不同。

用错误集合转变诊断曲线¶

对每个选定 epoch 创建错误 ID 集合，然后比较集合，而不是只看指标。

1
2
3
4
5

epoch 1 错误：[]
epoch 12 错误：[평가-05]
新错误：[평가-05]
恢复：[]
持续错误：[]

这个轨迹具有重要教学价值：总体评估损失下降，错误集合却增加一条样本。两种度量强调概率输出的不同方面。损失在置信度改变时变化；准确率只在预测类别越过决策边界时变化。

可重复运行的最小记录¶

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

运行 ID：
数据集与划分版本：
文本预处理规则：
词汇或特征表示：
基线定义与分数：
模型与关键设置：
epoch / step 计数方式：
训练与评估损失：
评估指标与评估数量：
前后错误 ID：
新错误与恢复 ID：
限定于固定证据的解释：
下一次受控修改：

这些字段很朴素，但能让读者复现比较，并区分改变的是表示、划分、阈值还是数据版本。

运行之间可以改变什么¶

若一次改变多行，应把结果标为探索性运行而非因果比较。探索仍可能有价值，但无法隔离是哪项修改产生了结果。

在延长训练前应问的问题¶

1. 哪些错误 ID 未变、已恢复或新出现？
2. 同一句是否含有训练词汇表中不存在的词？
3. 对同时提到两个支持主题的句子，标签规则是否清楚？
4. 另一种划分是否给出相同的基线到模型比较？
5. 较低损失是否主要来自已容易样本的更强置信度？
6. 更多数据、表示变化或操作规则变化中，哪一个最直接检验下一假设？

回答这些问题不需要更大模型，而需要让学习轨迹与产生它的样本之间保持可读关系。

决定下一实验允许改变什么¶

下表把记录转为小而可检验的后续，而不是开放的“改进分类器”请求。

首个行动故意很小。它让评估者能在更昂贵的数据收集或架构比较前说明证据是否改变。

面向复核者的交接说明¶

1
2
3
4
5

观察到：多数基线为 0.714；最终模型在七行上为 0.857。
观察到：评估损失下降，同时 평가-05 成为最终错误。
尚未建立：取消词、配送词、标签规则或覆盖中的哪一项造成该错误。
下一受控比较：保留原七行，并增加一条有文档的混合意图参考。
决策规则：报告基线、损失、准确率，以及每个恢复或新错误样本 ID。

这份交接说明使后来的复核者能够质疑结论。他们可以要求另一种划分、更清楚的标签规则或词汇审计，而不用从一张图中猜测项目状态。

本教学运行的限制¶

本例有意很小且为合成材料。它不估计真实客服表现、不同用户群体的公平性、服务级成本或生产路由政策。实际系统还需要经批准的数据处理、不确定案例的升级路径、监控以及代表性语言上的评估。

本例仍展示一个长期有效的做法：将基线、学习轨迹、评估定义和命名错误案例保存在同一记录中。尽管这些具体数字不能外推，该做法可以扩展到更大项目。

学习检查¶

完成标准¶

• 能运行代码并复述基线 0.714、最终准确率 0.857、最终评估损失 0.363。
• 能解释为什么损失下降与准确率下降可以同时发生。
• 能从 평가-05 的 ID 回到实际输入，而不是只谈一个错误数。
• 能把事实、有限解释和下一决定写成不同句子。
• 能设计一次只改变一个组件的后续比较。
• 能说明七行合成划分不等于生产性能。

提交前核对¶

• 中文 SVG 是否从与正文相同的训练日志生成？
• 两个中文 Mermaid 是否保留与原流程相同的阅读顺序？
• 代码、图表和表格中的基线与末尾值是否一致？
• 是否保留了错误集合的前后转换？
• 是否避免把词汇解释写成已证实根因？

只有这些问题都能回答时，曲线、指标与样本才真正形成一个项目记录。

用库实现时仍要保留的证据¶

使用库可以减少实现细节，却不能减少项目记录。TfidfVectorizer、DummyClassifier 和 SGDClassifier 能让更大的文本实验易于重复，但不会自动解释某条咨询为什么被错分。

库运行的安全比较¶

库实现与前面的 NumPy 词袋实现可以在同一划分上比较，但它们的概率、损失和训练轨迹不必相同。TF-IDF 权重、bigram 特征和优化过程均不同；有意义的共同点是它们保留相同的七条评估咨询、同一个多数基线、epoch 字段和样本级复核。

若库运行恢复了 평가-05，仍需检查其他六行是否保持正确。若它增加新错误，项目说明必须把恢复与回归一起报告。

概率为什么也需要样本上下文¶

损失使用正确标签的概率，不只查看最终预测类别。因此，预测类别没有翻转时，损失仍可下降或上升。概率很有价值，但其解释必须回到具体输入和标签。

不能把模型概率直接读作真实世界的客服意图概率。它是当前表示、参数和训练数据下的分类分数；若需要校准解释，还要进行额外的验证。

三种不完整的项目结论¶

写清这些边界并不是削弱项目；它让后续改动可以真正回答一个问题。

本节练习后的反思¶

1. 如果最终损失降低而准确率保持不变，你会先查看什么？
2. 如果准确率降低一行，为什么要记录样本 ID 而不只记录百分比？
3. 평가-05 与另一个包含取消词但正确的样本比较，能打开什么假设？
4. 全批量 epoch 与小批量 epoch 的日志为什么不能直接按横轴解释？
5. 如果要把本例换成真实客服数据，还需增加哪些数据治理与评估步骤？
6. 哪一项下一实验可以保持问题不变却检验词汇覆盖？

小结¶

损失、指标和错误案例不是竞争的分数。损失让读者看见概率敏感的优化信号，指标让读者看见任务计数，错误案例让读者知道下一步要打开哪条输入。

在这个练习中，较低评估损失与一个新错误同时出现。正确行动不是选择其中一个数字相信，而是保存两者、找回 평가-05、保留固定划分，并用一个受控问题继续复核。

读者可以交付的学习记录¶

完成本节后，读者应能把一次训练写成另一位读者能复核的简短记录。

复核顺序¶

1. 先确认 CSV、划分和标签没有改变。
2. 再确认基线与模型使用相同评估行。
3. 阅读曲线的开始、转变与末尾，而不是只读最后一点。
4. 把每次准确率变化换算为七条中的具体样本数。
5. 打开新错误、持续错误和恢复样本。
6. 将解释写成条件句，并声明下一次受控比较。

这种顺序能防止“一个数字看起来改善”取代真正的项目诊断。

最后一句提醒¶

曲线告诉我们发生了什么变化。 指标告诉我们有多少标签正确。 样本告诉我们接下来应检查什么。

三者缺一不可。

保留曲线。 保留指标。 保留样本。 保留问题。

来源与参考¶

本节的练习数据与示例由本书创建。补充代码所用概念可参考 scikit-learn 的文本特征提取、SGDClassifier 与 DummyClassifier 官方文档。