P7-2.3 比较实验练习¶

Section ID: P7-2.3 Version: v2026.08.01

比较实验应保留 experiment_variant、preprocessing_change、baseline_gap、fixed_error、new_error 和 next_boundary_case。目的不是宣布哪一个设置最高，而是区分可由预处理解决的失败、仍需边界数据的失败，以及在设置之间不稳定的案例。

在同一评估集上分开失败¶

最高准确率不能替代这三类区分。某一设置可能在总分上最好，却仍无法解释特定压力案例为何不稳定或持续错误。

flowchart TD
  A["同一训练数据与压力评估集"]
  B["比较 baseline、raw、部分缩放、z-score"]
  C["raw 错而标准化对"]
  D["标准化后仍错"]
  E["设置之间预测不一致"]
  F["表示或预处理问题"]
  G["需要边界数据或特征"]
  H["记录不确定边界并复查"]
  A --> B
  B --> C --> F
  B --> D --> G
  B --> E --> H

输入与实验变体¶

使用训练数据 p7-2-churn-dataset.zh.csv 和额外压力评估集 p7-2-stress-test.zh.csv。压力集不用于拟合；它用于让不同设置的失败模式更清晰。

flowchart TD
  A["固定训练数据与压力评估案例"]
  B["运行多个实验变体"]
  C["记录准确率、预测和最近邻"]
  D["按样本比较错误转换"]
  E["预处理可恢复的失败"]
  F["仍需边界数据的失败"]
  G["下一次受控实验"]
  A --> B --> C --> D
  D --> E --> G
  D --> F --> G

执行四种比较¶

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import csv
from pathlib import Path
import numpy as np

train_rows = list(csv.DictReader(Path("docs/assets/part-07/chapter-02/p7-2-churn-dataset.zh.csv").open(encoding="utf-8")))
stress_rows = list(csv.DictReader(Path("docs/assets/part-07/chapter-02/p7-2-stress-test.zh.csv").open(encoding="utf-8")))
features = ["unresolved_tickets", "days_since_login", "usage_minutes_30d"]
train = [row for row in train_rows if row["split"] == "train"]
def matrix(rows): return np.array([[float(row[name]) for name in features] for row in rows])
X_train, X_test = matrix(train), matrix(stress_rows)
y_train = np.array([int(row["label"]) for row in train])
y_test = np.array([int(row["label"]) for row in stress_rows])
def one_nn(train_x, test_x):
    nearest = ((test_x[:, None, :] - train_x[None, :, :]) ** 2).sum(axis=2).argmin(axis=1)
    return y_train[nearest], nearest

baseline = np.full(len(y_test), int(np.bincount(y_train).argmax()))
raw, raw_nearest = one_nn(X_train, X_test)
partial_train, partial_test = X_train.copy(), X_test.copy()
partial_train[:, 2] /= 60; partial_test[:, 2] /= 60
partial, partial_nearest = one_nn(partial_train, partial_test)
mean, std = X_train.mean(axis=0), X_train.std(axis=0)
scaled, scaled_nearest = one_nn((X_train - mean) / std, (X_test - mean) / std)
for name, prediction in [("baseline", baseline), ("raw", raw), ("partial", partial), ("zscore", scaled)]:
    print(name, "accuracy =", round(float((prediction == y_test).mean()), 3))
for index, row in enumerate(stress_rows):
    print({"sample": row["sample_id"], "actual": int(y_test[index]), "raw": int(raw[index]),
           "partial": int(partial[index]), "zscore": int(scaled[index]),
           "raw_neighbor": train[int(raw_nearest[index])]["sample_id"],
           "zscore_neighbor": train[int(scaled_nearest[index])]["sample_id"]})

所有变体使用相同训练记录和 36 条压力评估记录。只有表示组件发生变化，因而每个预测转换可以被阅读为对一个具体设置的回应。

如何诊断压力案例¶

样本诊断是下一行动的起点。它不自动证明某个设置或特征在业务上是根因。

回顾模板¶

1
2
3
4
5
6
7
8
9

固定条件：训练数据、压力评估集、标签、1-NN规则。
实验变体：
准确率：
raw 与 z-score 都正确的参考样本：
预处理恢复的样本：
新错误：
标准化后仍错的边界样本：
有限解释：
下一边界案例：

学习检查¶

1. 为什么压力评估案例不能参与训练？
2. 为什么“最高准确率”不足以选择最终设置？
3. 如何区分预处理问题与边界数据不足？
4. 为什么部分缩放是独立的实验变体？
5. 下一次实验中哪些记录必须固定？

阅读四种设置的分数¶

当前压力评估集有 36 条记录。多数标签基线为 0.361，raw 1-NN 为 0.861，只缩放使用分钟的部分缩放为 0.722，z-score 为 0.833。raw 的总分最高，但这不是结束诊断的理由。

分数说明固定评估集上的聚合结果；样本转换说明下一行动。一个设置可以在总分上领先，却在一个重要边界样本上不稳定。

将压力案例分成三类¶

| 类别 | 判断条件 | 当前例子 | 下一行动 | | --- | --- | --- | | 预处理可恢复 | raw 错而部分缩放或 z-score 对 | stress-01、stress-05 | 记录表示改变和最近邻转换。 | | 标准化后仍需调查 | 目标设置仍错 | stress-02、stress-03 等 | 查找边界数据、标签或特征缺口。 | | 设置敏感 | raw、部分缩放和 z-score 预测不同 | stress-02、stress-03、stress-06 | 检查距离、单位与当前边界。 |

这些类别可以重叠。例如一行既可能在某设置下恢复，也可能在另一设置下成为新错误。分类不是给样本贴永久标签，而是说明本次比较打开了什么问题。

预处理恢复案例¶

stress-01 和 stress-05 的实际标签为风险。raw 1-NN 预测为保留；部分缩放与 z-score 都把它们改为风险，并把最近训练邻居从 学习-02 改为 学习-08。这是表示影响距离选择的直接证据。

安全的解释是：“在当前训练与压力记录中，缩放改变了这两行的最近邻并恢复了预测。”不安全的解释是：“使用分钟是流失原因”或“任何标准化都会恢复相同客户”。

不稳定或仍错的案例¶

这些行不能简单归入“标准化失败”。它们提示项目应检查训练范围、标签规则和距离表示，而不是重复同一预处理操作。

记录错误转换而不是只记录排名¶

每个实验变体都应与一个明确参照比较。下面的字段让结果可以复查。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

experiment_variant:
preprocessing_change:
fixed_train_data:
fixed_stress_evaluation:
baseline_gap:
recovered_ids:
fixed_error_ids:
new_error_ids:
unstable_ids:
nearest_neighbor_change:
limited_interpretation:
next_boundary_case:

fixed_error_ids 指在一个变体中仍未解决的样本；new_error_ids 指相对参照设置由对变错的样本。不要把两者合并，否则无法知道表示是没有帮助，还是带来了新损害。

用相同参照阅读部分缩放与 z-score¶

部分缩放和 z-score 都是表示实验，但它们回答不同问题。部分缩放只减少使用分钟的数值量级；z-score 用训练分布分别转换全部三列。

当部分缩放从 raw 的 0.861 降到 0.722，不应直接说“缩放有害”。应列出它修复和破坏的 ID，检查它是否只调整了一个实际上需要与其他特征共同处理的单位问题。

失败诊断的决策顺序¶

1. 固定训练数据、压力评估、标签和基线。
2. 运行各变体并保存完整预测，不只保存准确率。
3. 找出 raw 错、变体对的恢复样本。
4. 找出 raw 对、变体错的新错误。
5. 找出所有设置都错的未解决边界样本。
6. 找出设置间反复翻转的敏感样本。
7. 为每类样本写一个数据、表示或标签问题。
8. 选择只改变一个组件的下一实验。

顺序先从可观察的转换开始，再提出原因假设。它避免了从“z-score较低”跳到“标准化不该使用”这类过度结论。

边界数据问题¶

若一个压力案例在合理的表示变化后仍错误，下一步可能不是增加更多相同的普通训练行，而是定义缺少的边界案例。

添加数据前先说明边界。否则“更多数据”只是数量请求，无法检验它是否填补了当前失败的条件。

传感器行动单元的比较扩展¶

同样的比较逻辑可以应用到传感器动作日志。固定相同的行动单元评估案例，比较原始时间、相对进度或归一化表示；再把变化分为表示恢复、持续异常和设置敏感案例。

无论是客户表还是传感器曲线，比较实验都需要相同的三件事：固定参照、单一改变和样本级错误记录。

回顾示例¶

在固定的 12 条训练记录和 36 条压力评估记录上，raw 1-NN 的准确率最高，但 stress-01 与 stress-05 只有在部分缩放和 z-score 下才被恢复。stress-02、stress-03 与 stress-06 对表示选择敏感，其中部分或全部标准化会引入错误。该结果支持“部分失败来自距离尺度”的有限解释，也表明仍需定义高使用量、工单和未登录天数交界处的训练边界案例。下一次实验将固定压力案例，只补充一个明确标注的边界数据组并报告所有回归。

回顾没有把 raw 的最高分写成最终选择，也没有把每个错误归为预处理问题。

用错误集合比较实验，而非只比较分数¶

为每个变体保存错误 ID 集合。然后与参照变体比较新增、恢复和持续错误。

1
2
3
4
5
6
7

参照设置：raw 1-NN。
比较设置：部分缩放或 z-score。
恢复：参照错误、比较正确的 ID。
新错误：参照正确、比较错误的 ID。
持续错误：两种设置都错误的 ID。
稳定正确：两种设置都正确的 ID。
敏感案例：多个设置给出不一致预测的 ID。

错误集合可用于任何模型，不限于 1-NN。它把“分数变化”转换为可以在下一次运行中重新检验的案例清单。

不同参照会改变“新错误”的含义¶

因此报告必须写出参照设置。离开参照，“恢复”与“新错误”没有稳定含义。

如何选择下一次实验¶

选择实验的依据应是当前错误类型，而不是“下一步总是更复杂的模型”。如果简单缩放已经恢复一个错误，先验证它的范围；如果所有表示都错，先定义缺少的边界证据。

边界案例的收集计划¶

边界案例应根据持续错误或敏感案例来定义，而不只是从总体数据中随机增加更多行。

每个新增组都需要来源、观察时间、标签依据和特征定义。否则后续“恢复”可能只是改变了任务或标签规则。

数据增加后必须检查的事¶

1. 原始 36 条压力评估记录是否仍作为固定参考？
2. 新训练案例是否只放入训练集，而没有混入评估？
3. 新组是否同时包含正例和相近反例？
4. 标签规则是否在添加前后保持一致？
5. 哪些旧错误恢复，哪些旧正确变错？
6. 是否出现新的设置敏感样本？

增加数据不是对模型的奖励，而是一个需要同样严格比较条件的实验改变。

传感器的绝对时间轴与进度轴¶

传感器行动单元常可用两种坐标比较：绝对时间轴保留真实发生时间；进度轴把不同长度的动作按完成比例对齐。两者会突出不同失败。

这与 raw、部分缩放、z-score 的表格案例相同：改变表示可以恢复一种失败，也可能隐藏另一种信号。记录应说明使用的时间轴、缩放规则、行动单元和回归案例。

传感器比较回顾模板¶

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

固定行动单元：
固定传感器与标签：
参照表示：绝对时间轴 / 原始幅值。
比较表示：进度轴 / 归一化幅值。
恢复的异常单元：
新出现的异常单元：
持续异常单元：
设置敏感单元：
有限解释：
下一动作或环境边界案例：

不要把进度对齐后的曲线更整齐直接写成设备更稳定。曲线是表示下的观察；需要与绝对时间、动作条件和原始读数共同判断。

将实验选择写成决策日志¶

决策日志让团队可以在以后重看为何选择一个变体，也能在新证据出现时修订选择，而非凭记忆重述结果。

常见的实验设计失误¶

最终检查表¶

• 是否为每个变体记录了准确率和完整预测？
• 是否固定了训练、压力评估、标签和基线？
• 是否列出恢复、新错误、持续错误和敏感 ID？
• 是否说明了部分缩放与 z-score 的不同改变？
• 是否把 raw 最高分与样本级限制一起报告？
• 是否为持续错误定义了明确的边界数据需要？
• 是否在数据增加后保留原始压力案例？
• 是否区分绝对时间轴与进度轴的传感器问题？
• 是否将事实、有限解释和下一问题分开？
• 是否保存了可交接的决策日志？

完成这些检查后，比较实验将成为筛选下一问题的工具，而不是一场只寻找最高数字的竞赛。

提交前的十六个问题¶

1. 参照设置是否明确？
2. 每个设置是否使用同一压力评估集？
3. scaler 是否只从训练集拟合？
4. raw、部分缩放与 z-score 的改变是否分开？
5. 分数的分母是否记录为 36？
6. 是否列出预处理恢复的样本？
7. 是否列出每个新错误？
8. 是否列出持续错误？
9. 是否标记设置敏感案例？
10. 最近邻变化是否可回查？
11. 边界数据计划是否有标签依据？
12. 原始压力案例是否保留？
13. 传感器扩展是否固定行动单元？
14. 是否区分绝对时间和进度轴？
15. 回顾是否包含限制？
16. 下一实验是否只改变一个组件？

来源与参考¶

本节的数据和示例为本书创建的练习材料。