Part 3 总结¶
Section ID:
P3-summaryVersion:v2026.09.20
Part 3 的数据建模,是决定如何将记录表示为回答某个问题的输入与结果。原始记录本来也是数据集,但有列并不意味着适合比较或学习。需要确认记录的含义与覆盖范围,选择样本单位,并决定保留哪些信息。
把一次自动动作的传感器记录汇总为一行,会改变模型能看到的信息。均值显示整体水平,却丢失顺序;近期值与基线的差异显示变化,却不能确认原因;如果答案是复核请求,模型首先学习的也是请求,而非实际故障。
从记录连接到问题的选择¶
| 选择 | 要重新确认的问题 | 应保留的依据 |
|---|---|---|
| 记录含义 | 数值单位、测量条件和一行的含义是什么? | 原记录 ID、设备、动作、时间、单位及条件 |
| 范围与质量 | 观察了哪些期间和对象,缺少什么? | 覆盖范围、缺失、重复及异常记录的处理和排除原因 |
| 样本边界 | 一次动作,还是多个动作组成的窗口? | 开始、结束规则与原记录关联 |
| 表示方式 | 计算了哪些特征,丢失哪些顺序和细节? | 计算法、单位、输入窗口及保留的原始资料 |
| 比较与解释 | 与什么比较,观测差异能说明到哪里? | 基线期间、条件、版本、数量及尚未确认的原因 |
| 目标与时间 | 需要说明变化、选择复核,还是预测未来结果? | 输出、策略、结果定义、观察期间及确认状态 |
这些选择不是必须逐级走向预测模型的步骤。比较报告或复核队列也可能已经满足目的。需要模型时,应分开预测当时可用的输入与后来确认的结果,并按应用对象确定评估范围。
用一页设计备忘录选择十项复核¶
练习:针对“从近期已完成动作中选择最多十项优先复核”,填写下表。选两个特征,写明选择理由、计算法、单位与解释局限。区分安排复核和实际完成复核。
| 备注项目 | 应写的内容 |
|---|---|
| 记录与范围 | 动作 ID、起止时刻、测量单位及运行条件、候选期间与完整动作清单 |
| 质量与缺失 | 缺失、重复及处理依据;无法计算的动作也保留 ID 和排除原因 |
| 样本与表示 | 一次动作作为一个候选;两个特征、汇总丢失的信息及原资料关联 |
| 比较基准 | 相同条件与特征定义下的基线期间、版本;检查是否混入被比较对象或未来资料 |
| 复核策略 | 排序依据、同分处理、最多十项的选择范围及未选原因 |
| 输出与局限 | 排名、特征、依据、选择状态;实际复核结果单独关联。故障原因和概率尚未确认 |
计算示例:假设一次动作按相同间隔测得的流量依时间排列为 2.5, 2.7, 2.1, 2.3 L/min。教学中假定四次测量完整且条件相同,前两个值为前半段,后两个值为后半段。
| 所选特征 | 计算与数值 | 理由及局限 |
|---|---|---|
| 动作平均流量 | (2.5 + 2.7 + 2.1 + 2.3) / 4 = 2.4 L/min | 用于比较整体水平;丢失顺序和瞬时波动 |
| 后半段均值减前半段均值 | (2.1 + 2.3) / 2 − (2.5 + 2.7) / 2 = 2.2 − 2.6 = -0.4 L/min | 查看动作前后差异;不能给出精确变化时刻、原因或单位时间变化率 |
若同条件、同计算定义下的基线均值为 2.8 L/min,该动作相对基线的均值差为 2.4 − 2.8 = -0.4 L/min。后半段减前半段也为 -0.4,但比较对象不同:一个是动作内部两段,另一个是该动作与基线。数值相同不等于同一个特征。
一种可行解答是“按相对基线均值差的绝对值降序,同分按动作 ID 升序,安排最多十项”。这个规则将前后差作为解释依据保留,但不用于排序。应区分无法计算的动作和因容量等待的动作,两者都不能改成正常。本例数值与规则仅用于教学,不是真实安全标准。
将问题改成未来七天故障预测¶
复核队列可以按比较规则建立,但学习故障预测还需要故障结果定义及确认依据。只收集队列选中记录的答案,可能无法确认未选对象的结果。
| 新增项目 | 备注中至少应写的内容 |
|---|---|
| 预测对象与时点 | 设备 ID 与预测时点的组合;说明是否从动作候选变为设备与时点单位 |
| 实际可用输入 | 每个特征的原资料到达及计算完成时刻;排除预测后到达值和未来基线 |
| 结果定义与窗口 | 例如 failure-v1,包含 2026-09-01 10:00 KST、不包含 9 月 8 日 10:00 KST 的故障与否 |
| 确认与未确认 | 期间内确认故障为 1;完整追踪并核实记录后没有故障为 0;未完成或待确认单独保留状态 |
| 评估与待查内容 | 现有设备的未来还是新设备、已确认结果范围、干预历史、错误成本与复核容量 |
failure-v1 的具体定义及输入示例见 P3-9.7,未确认处理及确认时刻见 P3-9.10,交接备忘录见 P3-9.13。不能以需要复核或满足规则替代实际故障,也不能把未确认结果填成 0,这是区分两个问题的关键。
对文档应用同样的问题¶
简短练习:把文档的一个段落作为样本,判断“此段是否包含某问题的答案”。如果只保留一句话,会丢失什么,应关联哪些原记录?
解答:同一句话的对象或条件可能依赖标题及前后段落。应关联文档 ID、版本、段落位置与必要上下文,并标出收集时缺少的页面或无法读取的部分。读不到不等于“没有答案”。正如传感器均值会丢失顺序,抽取句子也会减少上下文,因此要检查问题需要的信息是否仍然存在。
带入 Part 4 的内容¶
Part 4 将讨论模型从这些输入和结果中学习什么,以及如何评估。需要交接数据文件、样本与特征及结果定义、原记录和版本关联、当时可用性、比较与选择规则,以及尚未核实的项目。区分已确认依据和待查内容,才能让后续学习保留当前资料的局限。
检查清单¶
- 能否从一个样本追溯原记录,解释观察范围、缺失及排除原因?
- 能否说明两个特征的计算、单位、选择理由与汇总损失的信息?
- 能否区分同为 -0.4 的动作内部差与基线差?
- 能否写明复核选择与未来故障预测在结果、时点和评估条件上的不同要求?
来源与参考资料¶
- National Academies of Sciences, Engineering, and Medicine, Data Science for Undergraduates: Opportunities and Options, 2018. 它把数据收集、清洗、表达、建模和解释视为一条连贯流程,因此支持本页把 Part 3 的结尾绑成
数据科学问题结构恢复这一总结。 https://nap.nationalacademies.org/catalog/25104/data-science-for-undergraduates-opportunities-and-options / 确认日期: 2026-07-08 - Google for Developers,
Machine Learning Glossary. 它提供 feature、label、label leakage、example 等术语区分,因此支持 Part 3 的最小前提:不能把特征与结果候选混在一起,也必须确认输入/结果边界。 https://developers.google.com/machine-learning/glossary / 确认日期: 2026-07-08 - W3C,
PROV-Overview. 它同时处理 derivation 和 reproducibility,因此支持本页的总结判断:Part 3 结尾留下的比较结构和特征定义,之后也必须能用同样规则被重新构造出来。 https://www.w3.org/TR/prov-overview/ / 确认日期: 2026-07-08