P3-9.6 检查标签一致性¶
Section ID:
P3-9.6Version:v2026.09.20
同一事件出现不同标签时，应该重新检查哪些判断？标签一致性关注的是：面对相同对象、信息和标准，判断是否一致。所有人也可能给出同一个错误答案，因此一致程度和正确与否需要分别检查。
区分 12 个事件与 36 条复核记录¶
复核记录 CSV是本节的教学案例。一行表示某位复核者在某个月对一个 event_id 作出的判断。A～L 是这个文件内部的事件 ID，不与前文的比较窗口 A～C 关联。
kim 和 lee 在 4 月各复核了这 12 个事件一次，park 在 5 月也各复核了一次。因此共有 12 个事件和 12 × 3 = 36 条复核记录。review_needed 表示判断为需要复核，normal 表示判断为正常；两者都不是经过独立核实的故障结果。下表的 R 和 N 是这两个字符串的简写。
| event_id | kim · 4 月 | lee · 4 月 | park · 5 月 |
|---|---|---|---|
| A | R | N | R |
| B | N | N | N |
| C | R | R | R |
| D | N | N | R |
| E | R | R | R |
| F | N | R | N |
| G | R | N | N |
| H | N | N | N |
| I | R | R | N |
| J | R | R | R |
| K | N | N | N |
| L | R | N | R |
核心列是 event_id、review_month、reviewer 和 review_label。CSV 中的 diff、repeatability 不参与本次计数，也不能仅凭这些列的数值或措辞认定哪个标签正确。
分母究竟在数什么¶
至少出现两种不同标签的事件有 A、D、F、G、I、L，共 6 个。存在分歧的事件比例为 6 / 12 = 50%。每个事件只计一次，因此分母不是 36 条复核记录。这个数也不是复核者两两比较的一致率或模型准确率。
A 的 R·N·R 即使有两个判断相同，仍计作一个存在分歧的事件。若要比较复核者对，需要分别计算 kim–lee、kim–park、lee–park，这是另一种计算。本节先用事件比例找出需要重新检查的对象。
| 月份 | R 记录数 | N 记录数 | 复核记录总数 | R 比例 |
|---|---|---|---|---|
| 2026-04 | 12 | 12 | 24 | 12 / 24 = 50% |
| 2026-05 | 6 | 6 | 12 | 6 / 12 = 50% |
R 记录从 12 条降到 6 条，但全部复核记录也减半了。两个月的 R 比例均为 50%，所以不能说“需要复核的比例下降了”。月度比例相同也不表示每个事件的判断相同：D 从 N·N 变为 R，I 从 R·R 变为 N。
标签分歧的原因与复查项目¶
这个文件在两个月使用了相同的 12 个事件，但复核者发生了变化。文件没有记录各复核者看到的信息及使用的标准版本，因此不能把差异确定为时间效应或标准变更的结果。其他数据还可能改变事件构成，所以也要检查比较对象清单。
| 先查找的记录 | 要确认的问题 | 下一步行动 |
|---|---|---|
| A 的 kim、lee 原始判断 | 同月是否在看到相同信息后作出了不同判断？ | 对照当时提供的资料及判断理由 |
| D、I 的 4 月与 5 月原始判断 | 复核者、信息、标准中哪些发生了变化？ | 使用相同资料包及明确标准重新判断 |
| 标签定义与标准版本 | 两人使用 R、N 时含义是否相同？ | 记录边界案例及适用标准 |
| 单独的确认检查记录 | 判断本身是否正确？ | 独立核实所需的实际结果 |
重新判断时，应固定事件 ID、所提供的信息及标准版本，也可以让复核者在看到彼此答案前先留下判断。如需协调分歧后给出最终标签，还应记录负责人和协调理由。保留原始判断，将新判断与之关联，才能解释修改过程。多数票本身不能确认是否实际发生故障。
从标签分歧到重新检查判断标准¶
flowchart TD
A["12 个事件 · 36 条复核记录"]
B["找出 6 个分歧事件及原始判断"]
C["固定事件、信息和标准后重新判断"]
D["保留原始判断并关联新判断及理由"]
E["在一致性之外单独核实实际结果"]
A --> B --> C --> D
A --> E
D --> E
这个流程不是删除分歧来提高一致率，而是检查产生差异的条件，并获取符合任务目的的结果依据。判断一致的事件也不能自动免除正确性检查。
改变比较范围后亲自验算¶
练习：遮住 park 的 5 月列，只比较 4 月。事件数、复核记录数、分歧事件清单及比例会如何变化？能否据此认为 4 月的标准更准确？
解答：仍有 12 个事件，复核记录变为 24 条。kim 与 lee 判断不同的是 A、F、G、L，共 4 个事件，比例为 4 / 12 ≈ 33.3%。D 和 I 的两个 4 月判断一致，因此不再列入分歧清单。从 50% 降到 33.3% 是纳入比较的判断改变所致，不是准确性改善的证据。这里仅改变比较范围，不修改原始 CSV。
检查清单¶
- 能否区分 12 个事件、36 条复核记录、6 个分歧事件，并说明各自的分母？
- 能否同时说明月度 R 比例为 50% 和个别事件判断发生变化这两件事？
- 能否选择需要复查的原始判断，固定信息和标准，并区分一致与正确？
来源与参考资料¶
- Google, Machine Learning Glossary,
rater,inter-rater agreement,label。用于确认 rater 为样本提供标签的角色，以及 inter-rater agreement 用来观察多个 rater 判断是否一致这一视角。 https://developers.google.com/machine-learning/glossary / 确认日: 2026-07-20 - W3C, PROV-Overview: An Overview of the PROV Family of Documents, provenance and activity context overview。用于确认 provenance 视角：标签候选应能追溯到复核者、时间和活动语境。 https://www.w3.org/TR/prov-overview/ / 确认日: 2026-07-20