跳转至

Part 3. 数据建模

Section ID: P3-index Version: v2026.09.20

Part 2 恢复了阅读数学、Python、数组、表格和图形的基础。Part 3 将利用这些工具学习在选择模型之前理解和处理数据的方法。说到“把数据交给 AI”，首先要检查记录了什么、把哪些记录组合为一个案例、保留了哪些信息。理解这些选择，才能说明模型看到什么、要预测什么。

本书的 数据建模 指按问题将记录组织为样本、表格、特征和目标。样本是分析或学习中的一个案例，特征是描述该案例的输入信息。这是比数据库存储设计更广的教学范围，但不是替代整个数据科学的定义。Part 3 还讨论数据含义、质量、表示方式和比较结果的解释。

同样的传感器记录能告诉我们什么

假设设备反复执行让水流过的动作。每次都记录传感器测得的流量、测量时刻及设备设定值。如果近期记录末尾出现流量下降，在直接称其为故障之前，应先检查以下事项。

要确认的问题 本例中检查什么
记录了什么？ 是水量本身，还是单位时间内流过的量？何时、在什么设置下测量？
如何组合？ 若要观察一次动作内部变化，把从开始到结束的记录组合为一个案例。
保留什么？ 若要检查末段下降，应保留时间顺序及该区间的变化；把整次动作缩为一个数时，也要看丢失了什么。
能知道什么？ 与设置和测量方式相同的历史动作比较；区分观测差异与故障原因解释。

如果末尾传感器记录缺失，就难以判断是否下降。如果历史与近期设备设置不同，也要一起检查。这正是学习数据质量和观察条件的原因。要按一致标准比较观测差异，需要数字，因此后文会选择并计算适合问题的指标。指标量化现象的某一方面，除了名称，还应能说明数了什么、如何计算。

若要利用记录预测未来故障，还需要学习用的结果。例如，可以把结果定义为“动作后七天内是否发生故障，并在之后得到确认”。学习时作为答案提供的值叫作标签。有人复核过的记录，与确认实际故障的记录不同，选择哪一个作为标签会改变学习目标。

这是本书的虚构教学案例，并未确立实际故障原因或判断标准。具体指标含义与计算将在 P3-1.1 中结合记录说明。

处理数据时相连的六个问题

Part 3 的九章连接下列问题。请观察前面的选择如何决定后面的输入与解释。

问题 学习内容 对应章节
记录了现实中的什么？ 阅读记录含义、测量条件、时点与单位。 Chapter 1～3
什么算一项？ 按问题确定样本，组织行、列及时间窗口。 Chapter 2～5
记录可以信任和使用到哪里？ 检查缺失、重复、条件不足和测量差异。 Chapter 4～6
保留和丢失什么信息？ 比较汇总与时间顺序等表示保留的信息。 Chapter 5～6
与什么比较、解释到哪里？ 选择指标和参照，区分观测差异与原因判断。 Chapter 7～8
AI 看什么、预测什么？ 区分输入、目标、标签、可用时点和评估对象。 Chapter 9

这是本书的学习顺序，不是所有分析都必须只走一遍的流程。比较时发现缺失记录，可以回到最初的问题或样本构造重新检查。

原始记录也是数据集，汇总是一种选择

原始日志也是数据集。但数据已经收集到，与已经准备好用于当前问题，是不同判断。即使是按时间排列的传感器资料，也要确认属于哪个动作和区间、是否缺失，以及与什么结果关联。

本书将持续把同样的传感器记录变成动作汇总表，再将多次动作与历史参照即基线比较。每一步都检查一行的含义如何改变，以及如何追溯原记录。汇总表只是用于解释比较的一种表示。

根据问题与模型，也可以直接使用原始时间序列、一张图像或一份文档，不必全部转换为人工计算的汇总值。图像要确认一张图包含什么，文档要确定整体还是局部作为一个案例。人工特征与模型学习表示之间的关系将在 Chapter 6 中讨论。

交给 Part 4 的输入与目标

Part 3 阅读并组织数据后，确认资料能支持什么结论。结果可以是人阅读的比较报告，也可以是优先复核案例清单。如果问题需要预测，就整理使用什么输入、预测什么结果。

Part 4 将依据这些输入与目标讨论机器学习及评估。Part 3 区分预测瞬间可知的信息和后来确认的结果，并明确要在哪些对象上检查性能。具体学习算法与评估资料划分将在 Part 4 继续。

检查清单

  • 能否说明传感器案例记录什么、如何组成一个案例、保留什么信息？
  • 能否分别说明指标比较什么、质量检查揭示哪些判断局限、标签对应什么学习目标？
  • 能否区分原始记录也是数据集与已适合当前问题？
  • 将同样问题应用到图像或文档时，能否提出一个应检查的边界或背景信息？

来源与参考资料