跳转至

P3-8.6 仅部分案例具有确认标签

Section ID: P3-8.6 Version: v2026.09.20

如果只对复核队列中的部分事件进行人工核查，确认结果也可能只留在这些事件上。未复核不等于没有故障。选择性标签涉及这样一个问题：哪些案例获得结果确认，决定了标签的可观察范围。即使标签准确，有标签的集合是否代表全部事件，仍是另一个问题。

十次事件中复核了哪四次？

下面是本书自行构造的十次虚拟事件。review_score是选择复核对象的示例分数，不是故障概率。假定只有review_score ≥ 0.75的事件完成了复核。fixed_prediction是改变复核范围时保持不变的虚拟二元预测，并非由该分数计算，也不是用此表训练模型得到的值。1表示预测故障，0表示预测非故障。

confirmed_failure记录复核结果：1为确认故障，0为确认非故障，?为未确认。这里假定完成复核后获得准确标签，从而分开标签错误与选择问题。确认是否故障，不等于已确认特定根本原因。

event_id review_score fixed_prediction confirmed_failure
A 0.92 1 1
B 0.88 1 1
C 0.81 0 0
D 0.76 1 1
E 0.69 1 ?
F 0.62 1 ?
G 0.55 1 ?
H 0.48 1 ?
I 0.37 1 ?
J 0.29 1 ?

只有A至D四次有标签，E至J六次未确认。标签覆盖率为有标签次数/总次数，即4/10=40%。已复核集合的故障比例为确认故障次数/复核次数，即3/4=75%。两者分母与问题不同，不能将75%改称全部事件的故障比例。

区分已复核案例与整体评估范围

flowchart TD
    A["全部事件10次"] --> B["已复核A至D：4次"]
    A --> C["未复核E至J：6次"]
    B --> D["标签覆盖4 / 10 = 40%"]
    B --> F["已复核故障3 / 4 = 75%"]
    C --> E["结果未确认，不是0"]
    E --> G["整体故障比例与准确率未确认"]

准确率是预测与确认结果一致的次数除以被评估次数。A至D四次预测全部一致，因此已复核集合的准确率为4/4=100%。本例没有训练步骤，所以这不是训练集再评估分数。但它也没有证明新事件或未复核集合的性能，只描述被选中的四次高分事件。

要计算整体准确率，还需知道E至J的预测是否正确。将?填为0，相当于把未知结果虚构为非故障。仅知道四次预测正确，不能确定全部十次事件的单一准确率数值。

仅为教学揭开隐藏结果

为计算已选集合与整体的差异，下面六个结果被假定为教学用隐藏答案。实际运行中不能自动获得这一列，需要额外复核或适当的后续结果确认。

event_id actual_failure_for_demo fixed_prediction 预测是否一致
E 1 1 一致
F 0 1 不一致
G 1 1 一致
H 0 1 不一致
I 1 1 一致
J 0 1 不一致

揭开后，未复核六次中的故障为E、G、I三次，预测一致也是三次。整体故障比例为(3+3)/10=60%，整体演示准确率为(4+3)/10=70%。60%描述结果构成，70%描述预测一致程度，不能互换。

指标 分子/分母 仅凭当前复核记录能否计算？
标签覆盖率 4/10=40% 可以
已复核集合故障比例 3/4=75% 可以
整体演示故障比例 6/10=60% 不可以，需要隐藏结果
已复核集合准确率 4/4=100% 可以，范围限于已复核集合
整体演示准确率 7/10=70% 不可以，需要隐藏结果

100%与70%是在不同集合上评估相同固定预测得到的数值。三个错误F、H、J最初都未复核，但并非所有选择性复核都会使准确率偏高。本例说明的是，不能把已复核准确率直接推广为整体性能。

同时保留复核范围与结果确认路径

报告可写：“全部十次事件中复核了分数至少0.75的四次，标签覆盖率为40%。已复核集合准确率为100%；另六次结果不可得，整体准确率尚未确认。”还应保留复核政策、实际完成状态、标签定义、确认时间与来源。仅生成复核请求，不表示已经获得确认标签。

设计额外核查时，可以考虑从低分范围随机抽取部分案例，或按分数区间抽样。记录选择规则、入选概率与未完成案例，采用相同标签定义和结果确认时段。获得少量额外标签不自动保证代表性，整体估计仍需考虑抽样设计。

自己计算

假定可以使用教学隐藏结果，将复核标准改为review_score ≥ 0.60，并完成所有符合条件事件的复核。预测保持不变。标签覆盖率、已复核集合故障比例及准确率各是多少？

解析：新增E、F，复核集合变为A至F六次。覆盖率为6/10=60%；故障为A、B、D、E，比例为4/6≈66.7%；仅F预测错误，准确率为5/6≈83.3%。预测与实际结果未改变，因此整体演示准确率仍为7/10=70%。已复核集合准确率的变化不是重新训练的效果。如果没有实际确认E、F的结果，就不能计算本练习的新数值。

检查清单

  • 能否说出覆盖率、故障比例与准确率各自的分子和分母？
  • 能否保留未确认状态，而不填成非故障，并指出当前记录无法计算的指标？
  • 能否区分固定预测的评估集合变化与训练效果，并提出确认额外结果的路径？

来源与参考资料