跳转至

P1-9.2 目标检测与语音生成案例

Section ID: P1-9.2 Version: v2026.07.20

9.1 已经借图像识别和表征学习说明了，为什么深度学习会被看成一个重要转折点。图像分类问的是：“这张图像是什么？”

这一节则要看：深度学习范式是怎样扩展到其他问题类型里的。第一个案例是 object detection，第二个案例是 speech generation。TTS 只作为和 WaveNet 有关的辅助语境被提到。

这里的核心问题是：

当问题不再只是图像分类时，
深度学习是怎样重新组织“找目标位置”和“生成声音”这类任务的？

目标检测和语音生成并不是 LLM 的直接祖先；
它们更像是旁证，说明深度学习如何在许多输入与输出问题中，
用可学习结构取代大量手工拼接的流程。

这一节会把 object detection、bounding box、YOLO、speech generation、WaveNet 和 TTS 放在一起，看作深度学习范式扩展到不同输出结构的案例。9.1 已经先处理过 image recognition 和 learned representation 的对比，9.3 会再次把这些案例与 LLM 的直接谱系明确分开。

这些词一开始很容易让人误以为都直接属于 generative AI 或 LLM 的历史。先做一个快速区分：

术语 极短含义 本节里的作用
object detection 同时找出“有什么”与“它在哪里” 输出结构比分类更复杂的案例
bounding box 用矩形标出目标位置 检测任务最基本的输出形式
YOLO 把检测打包成一个预测问题的案例 端到端重构的代表
speech generation 随时间生成音频 另一个领域中的序列生成案例
WaveNet 以概率方式生成 raw audio 的模型 语音生成里的代表案例
TTS 把文本转换成语音 本节里的辅助应用语境

最少要保留的区分是：

  • 检测 = 位置 + 类别
  • YOLO 会一起预测这两者
  • WaveNet 属于音频序列生成
  • TTS 在这里不是中心主题

这一节不会实现 YOLO 或 WaveNet。mAP、dilated convolution、autoregressive model、vocoder 等术语只会以名称与角色略过。像 Deep Voice 这样的系统也只是辅助例子，而不是主角。

这里也不会把这些案例解释成 LLM 的直接谱系。LLM 的直接主线要放在 statistical language model、word embedding、RNN/LSTM、Seq2Seq、Attention、Transformer 和 pretrained language model 那一边。

这里也不会重复 9.1 的图像识别案例。真正聚焦的是 问题重构：深度学习是怎样从分类问题扩展到

  • 同时预测 位置 + 类别
  • 生成按时间排序的波形输出

这里先采用一个工作定义：

在图像、位置、波形与语音问题中，深度学习扩大了可训练结构的使用范围，并减少了大量手工特征与多阶段流水线。

阅读位置预测与序列生成的基准

  • 理解目标检测与图像分类的差异。
  • 把 YOLO 读成“把目标检测重构成一个神经网络预测问题”的案例。
  • 把 WaveNet 读成“以概率式 autoregressive 方式生成 raw audio waveform”的案例。
  • 只把 TTS 理解成语音生成模型与实际语音合成问题相遇的辅助语境。
  • 明确这些案例不是 LLM 的直接谱系。

三个基准

基准 为什么重要 本节需要达到的理解程度
目标检测不仅问“有什么”，还问“它在哪里” 这是区分 detection 和 classification 最快的方法。 理解输出里必须同时包含类别和位置即可。
YOLO 是把多个检测步骤重新打包成一个预测问题的案例 这能显示深度学习如何重构流水线。 知道过去分开的候选查找与分类，被拉进了一个统一学习系统即可。
WaveNet 这类语音生成案例是旁证，而不是 LLM 的直接祖先 这能防止历史线被混成一条。 理解它们是在说明深度学习扩展到了更多输出问题即可。

classification 和 detection 不一样

image classification 通常是对整张图像预测一个类别：

输入：一张图像
输出：猫、汽车、人之类的类别

object detection 则更难一步。它不只问图像里有什么，还问它在哪里。

输入：一张图像
输出：目标类别 + 目标位置

例如对一张道路照片：

问题 提问方式 输出
图像分类 这是一种什么场景？ 道路、路口、停车场
目标检测 图像里有哪些目标，它们分别在哪里？ 汽车位置、行人位置、标志牌位置

这里的位置通常会用 bounding box 表示，也就是在图像里用一个矩形框出目标区域。

因此，目标检测的输出结构比图像识别更复杂。图像里可能同时有多个目标，而每个目标都需要“类别 + 位置”。这也是为什么较早的检测系统往往由多阶段 pipeline 组成：先找候选区域，再提取特征，再分类，最后再修正位置。

YOLO 把检测重构成一个预测问题

YOLO 是一个很有代表性的案例：它把目标检测重新组织成了单个神经网络的预测问题。Redmon、Divvala、Girshick 和 Farhadi 的论文说明，早期很多检测器往往是把分类器改造成检测器，而 YOLO 则把检测看成直接预测 bounding box 与 class probabilities 的 regression problem。

入门层面，最重要的转变是：

视角 传统检测流水线 YOLO 的视角
问题组织方式 候选区域搜索、特征提取、分类、框修正 从整张图像直接一次性预测 bounding box 和类别概率
优化方式 多个阶段分别调节 整个结构可以端到端训练
优点 每一阶段较容易单独理解 更快，结构也更统一
注意点 全系统调参会很复杂 小目标和精细定位仍可能更难

YOLO 论文说明，一个神经网络会直接从整张图像预测 bounding box 和 class probabilities。因为流水线变成了单一网络，所以可以端到端优化。原论文也强调了它朝实时处理前进的目标。

这里真正重要的，不只是“它很快”，而是：

检测不再只被视为一串手工拼接步骤，
它被重构成了一个可学习的统一预测问题。

这正好体现了深度学习扩散时常见的模式。9.1 里模型学的是图像表征；在 YOLO 里，这个模式进一步扩展成了“既回答是什么，也回答在哪里”。

语音生成可以被看成“生成下一个采样值”

图像有空间结构，语音则有时间结构。语音是随时间变化的信号，数字音频把它存成一串样本值。

如果把 speech generation 简化来看，它提出的问题是：

在已经生成的音频样本基础上，
下一 个音频样本应该怎样生成？

这和第 10 章将会讨论的“生成”直觉有一条共通线：文本生成会根据前面的 token 预测下一个 token，音频生成则可能根据前面的 sample 预测下一个 sample。当然，文本和音频的数据结构并不一样，所以不能把它们粗暴说成“同一个模型”。这里保留的只是“顺序输出生成”的共同直觉。

WaveNet 是直接生成 raw audio 的案例

WaveNet 是 DeepMind 提出的一个 raw-audio 生成模型。van den Oord 等人把它描述成一个能生成 raw audio waveform 的深层神经网络，并把它说明成一个 fully probabilistic 的 autoregressive 模型。

这里的 raw audio waveform，指的是模型处理的是接近真实波形本身的时间序列，而不是只处理少量人工预先设计好的音频特征。WaveNet 会把波形的 joint probability 分解成一连串条件概率，也就是“给定前面样本，生成下一个样本”。

入门阶段的基线是：

WaveNet 并不是把语音只看成若干预制小片段的拼接，
它把波形本身当成了概率式的序列生成问题。

WaveNet 论文报告说，它在 TTS 应用中比一些早期的 statistical parametric system 和 concatenative system 生成了更自然的语音。论文也强调，raw audio 是高分辨率时间信号，每秒常常涉及至少 16000 个样本，因此模型需要处理较长的时间依赖。

它所展示的变化可以压成这样：

更早的视角 WaveNet 显示出的视角
语音主要通过人工设计特征、vocoder 或单元拼接来处理 波形本身成为生成模型的目标
大量依赖手工假设与固定流水线 神经网络学习时间依赖并预测下一个样本
早期方法在自然度上有限 raw audio generation 显示出更自然声音的可能性

WaveNet 当然不是 LLM。但它是“顺序地生成下一输出”这一思想在音频波形领域中的强例子。

TTS 只作为辅助语境出现

TTS 是一个重要领域，但不是本节的主角。3.1 里曾经短暂提过，TTS 也是规则式处理曾经表现不错的领域之一。这里保留的只是更窄的一点：WaveNet 在语音合成问题上，显示了 raw-audio generation 的可能性。

像 Deep Voice 这样的 neural TTS 系统，可以被看成“把旧 TTS 流水线里的若干模块，逐步替换成神经网络模块”的案例。但如果在 9.2 深入展开，就会把话题带成一部语音合成史，而这不是这里的目标。所以更安全的总结是：

TTS 不是这一节的中心案例。
它只是在帮助我们确认：语音合成流程中的部分组件，
也曾逐步转向神经网络结构。

这些案例共同显示了什么

YOLO 和 WaveNet 处理的是不同问题：

案例 领域 输入 输出 它显示出的转变
YOLO 目标检测 图像 目标位置与类别 把检测重构成单一神经网络预测问题
WaveNet 语音生成 前面的音频样本及条件信息 下一个音频样本 把 raw audio 建模成概率式序列生成问题

它们的共同点并不是“深度学习用一种万能方式解决了一切”。更安全的泛化是：

在多个领域里，深度学习强化了这样一条趋势：
把原本依赖手工特征、候选生成、规则和固定流水线的处理方式，
逐渐迁移到可训练的神经网络结构上。

这种趋势在图像分类、目标检测和语音生成里，呈现出的具体样子并不相同。TTS 只是那个趋势在实际语音合成系统里相遇的辅助语境。它们也都能和 9.1 的 AlexNet 案例接上，因为这些方法真正变强，往往都依赖大规模数据、计算资源、模型结构和训练方法的共同作用。

它们和 LLM 的直接谱系要分开

这一节的案例不是 LLM 的直接谱系。

YOLO -> LLM
WaveNet -> LLM
TTS system -> LLM

如果把历史写成这样，就会混淆。YOLO 属于目标检测，WaveNet 属于 raw-audio generation，TTS 系统属于语音合成。LLM 的直接主线应该通过 language modeling、sequence modeling、Seq2Seq、Attention、Transformer 和 pretraining 来说明。

但这些案例确实提供了一个重要背景：

深度学习并不是只在一个领域里流行，
它通过表征学习与端到端可训练结构，
扩散到了图像、位置、语音和语言等多种问题。

从这个角度看，LLM 并不像一个毫无前史突然出现的技术。它有自己的直接谱系，但那条谱系之所以更具说服力，也部分因为 2010 年代深度学习已经在多个领域连续展示出成功。

检查清单

  • 我可以解释目标检测(object detection)与图像分类(classification)有什么不同。
  • 我可以把 YOLO 说明成“把目标检测重构成单一神经网络预测问题”的案例。
  • 我可以把 WaveNet 说明成“以概率式、顺序式方式生成 raw audio waveform”的案例。
  • 我可以把 TTS 保留为 9.2 的辅助语境，而不是主角。
  • 我不会把 YOLO、WaveNet 或 TTS 系统写成 LLM 的直接谱系。
  • 我可以区分任务是在同时问 有什么 和 它在哪里，还是在处理按时间排序的音频样本输出。
  • 我可以把这些案例读成 周边证据(surrounding evidence)，而不是夸大成 直接谱系(direct lineage)。

来源与参考资料