跳转至

Part 3 总结

Section ID: P3-summary Version: v2026.09.20

Part 3 的数据建模,是决定如何将记录表示为回答某个问题的输入与结果。原始记录本来也是数据集,但有列并不意味着适合比较或学习。需要确认记录的含义与覆盖范围,选择样本单位,并决定保留哪些信息。

把一次自动动作的传感器记录汇总为一行,会改变模型能看到的信息。均值显示整体水平,却丢失顺序;近期值与基线的差异显示变化,却不能确认原因;如果答案是复核请求,模型首先学习的也是请求,而非实际故障。

从记录连接到问题的选择

选择 要重新确认的问题 应保留的依据
记录含义 数值单位、测量条件和一行的含义是什么? 原记录 ID、设备、动作、时间、单位及条件
范围与质量 观察了哪些期间和对象,缺少什么? 覆盖范围、缺失、重复及异常记录的处理和排除原因
样本边界 一次动作,还是多个动作组成的窗口? 开始、结束规则与原记录关联
表示方式 计算了哪些特征,丢失哪些顺序和细节? 计算法、单位、输入窗口及保留的原始资料
比较与解释 与什么比较,观测差异能说明到哪里? 基线期间、条件、版本、数量及尚未确认的原因
目标与时间 需要说明变化、选择复核,还是预测未来结果? 输出、策略、结果定义、观察期间及确认状态

这些选择不是必须逐级走向预测模型的步骤。比较报告或复核队列也可能已经满足目的。需要模型时,应分开预测当时可用的输入与后来确认的结果,并按应用对象确定评估范围。

用一页设计备忘录选择十项复核

练习:针对“从近期已完成动作中选择最多十项优先复核”,填写下表。选两个特征,写明选择理由、计算法、单位与解释局限。区分安排复核和实际完成复核。

备注项目 应写的内容
记录与范围 动作 ID、起止时刻、测量单位及运行条件、候选期间与完整动作清单
质量与缺失 缺失、重复及处理依据;无法计算的动作也保留 ID 和排除原因
样本与表示 一次动作作为一个候选;两个特征、汇总丢失的信息及原资料关联
比较基准 相同条件与特征定义下的基线期间、版本;检查是否混入被比较对象或未来资料
复核策略 排序依据、同分处理、最多十项的选择范围及未选原因
输出与局限 排名、特征、依据、选择状态;实际复核结果单独关联。故障原因和概率尚未确认

计算示例:假设一次动作按相同间隔测得的流量依时间排列为 2.5, 2.7, 2.1, 2.3 L/min。教学中假定四次测量完整且条件相同,前两个值为前半段,后两个值为后半段。

所选特征 计算与数值 理由及局限
动作平均流量 (2.5 + 2.7 + 2.1 + 2.3) / 4 = 2.4 L/min 用于比较整体水平;丢失顺序和瞬时波动
后半段均值减前半段均值 (2.1 + 2.3) / 2 − (2.5 + 2.7) / 2 = 2.2 − 2.6 = -0.4 L/min 查看动作前后差异;不能给出精确变化时刻、原因或单位时间变化率

若同条件、同计算定义下的基线均值为 2.8 L/min,该动作相对基线的均值差为 2.4 − 2.8 = -0.4 L/min。后半段减前半段也为 -0.4,但比较对象不同:一个是动作内部两段,另一个是该动作与基线。数值相同不等于同一个特征。

一种可行解答是“按相对基线均值差的绝对值降序,同分按动作 ID 升序,安排最多十项”。这个规则将前后差作为解释依据保留,但不用于排序。应区分无法计算的动作和因容量等待的动作,两者都不能改成正常。本例数值与规则仅用于教学,不是真实安全标准。

将问题改成未来七天故障预测

复核队列可以按比较规则建立,但学习故障预测还需要故障结果定义及确认依据。只收集队列选中记录的答案,可能无法确认未选对象的结果。

新增项目 备注中至少应写的内容
预测对象与时点 设备 ID 与预测时点的组合;说明是否从动作候选变为设备与时点单位
实际可用输入 每个特征的原资料到达及计算完成时刻;排除预测后到达值和未来基线
结果定义与窗口 例如 failure-v1,包含 2026-09-01 10:00 KST、不包含 9 月 8 日 10:00 KST 的故障与否
确认与未确认 期间内确认故障为 1;完整追踪并核实记录后没有故障为 0;未完成或待确认单独保留状态
评估与待查内容 现有设备的未来还是新设备、已确认结果范围、干预历史、错误成本与复核容量

failure-v1 的具体定义及输入示例见 P3-9.7,未确认处理及确认时刻见 P3-9.10,交接备忘录见 P3-9.13。不能以需要复核或满足规则替代实际故障,也不能把未确认结果填成 0,这是区分两个问题的关键。

对文档应用同样的问题

简短练习:把文档的一个段落作为样本,判断“此段是否包含某问题的答案”。如果只保留一句话,会丢失什么,应关联哪些原记录?

解答:同一句话的对象或条件可能依赖标题及前后段落。应关联文档 ID、版本、段落位置与必要上下文,并标出收集时缺少的页面或无法读取的部分。读不到不等于“没有答案”。正如传感器均值会丢失顺序,抽取句子也会减少上下文,因此要检查问题需要的信息是否仍然存在。

带入 Part 4 的内容

Part 4 将讨论模型从这些输入和结果中学习什么,以及如何评估。需要交接数据文件、样本与特征及结果定义、原记录和版本关联、当时可用性、比较与选择规则,以及尚未核实的项目。区分已确认依据和待查内容,才能让后续学习保留当前资料的局限。

检查清单

  • 能否从一个样本追溯原记录,解释观察范围、缺失及排除原因?
  • 能否说明两个特征的计算、单位、选择理由与汇总损失的信息?
  • 能否区分同为 -0.4 的动作内部差与基线差?
  • 能否写明复核选择与未来故障预测在结果、时点和评估条件上的不同要求?

来源与参考资料

  • National Academies of Sciences, Engineering, and Medicine, Data Science for Undergraduates: Opportunities and Options, 2018. 它把数据收集、清洗、表达、建模和解释视为一条连贯流程,因此支持本页把 Part 3 的结尾绑成 数据科学问题结构恢复 这一总结。 https://nap.nationalacademies.org/catalog/25104/data-science-for-undergraduates-opportunities-and-options / 确认日期: 2026-07-08
  • Google for Developers, Machine Learning Glossary. 它提供 feature、label、label leakage、example 等术语区分,因此支持 Part 3 的最小前提:不能把特征与结果候选混在一起,也必须确认输入/结果边界。 https://developers.google.com/machine-learning/glossary / 确认日期: 2026-07-08
  • W3C, PROV-Overview. 它同时处理 derivation 和 reproducibility,因此支持本页的总结判断:Part 3 结尾留下的比较结构和特征定义,之后也必须能用同样规则被重新构造出来。 https://www.w3.org/TR/prov-overview/ / 确认日期: 2026-07-08