跳转至

P2-2.3 极限（limit）与变化的直觉

Section ID: P2-2.3 Version: v2026.09.08

极限（limit）描述输入靠近某个值时，函数值会靠近哪里。

\[ \lim_{x \to a} f(x) \]

极限和“把一个值准确代进去”的感觉稍有不同。它是用来观察：当某个值不断靠近时，函数输出会靠近哪里。在 AI 文档里，比起极限本身，更常需要的是它所连接出来的直觉：变化率（rate of change）、导数（derivative）、梯度（gradient）和优化（optimization）。

输入与函数值的变化

在下面的函数中，让输入靠近 2。

\[ f(x) = x^2 \]

让 x = 2 附近的值轻微移动一下。

输入 x 函数值 f(x) 与 f(2) 的差
2.0 4.0000 -
2.1 4.4100 0.4100
2.01 4.0401 0.0401
2.001 4.004001 0.004001

x 越接近 2，f(x) 就越接近 4，与 f(2) 的差也越小。

代入与邻近值

标准 为什么重要
极限观察的是靠近某点时的趋势，而不是该点本身 避免把代入和极限混为一谈。
极限观察的是附近如何变化，而不是直接代入一个值 可以理解函数未定义的点附近的变化。
减小输入变化量，求变化率的极限 可以计算函数在某点变化的方向和大小。

极限记号的组成

极限记号包含正在靠近的输入、观察的函数，以及函数值所靠近的值。

\[ \lim_{x \to a} f(x) = L \]

这一行里有四个信息。

  • \(\lim\)：表示“我们要观察一个靠近的趋势”
  • \(x \to a\)：输入 x 正在靠近 a
  • \(f(x)\)：此时被观察的函数值
  • \(L\)：函数值要靠近的目标值

这样拆开之后，极限就不再像一个困难的计算符号，而更像是一句用来观察“靠近情形”的句子。

  1. x 正在靠近 a。
  2. 在这个过程中去看 f(x)。
  3. 确认 f(x) 是否正在靠近 L。

这里最重要的是分清 正在靠近 和 等于。极限是观察邻域趋势的记法。函数在那个点本身是否有定义，或者能否直接把那个值代进去，都必须另外确认。

收敛就是“越来越靠近”的现象

在数学语言里经常会碰到一个词：收敛（convergence）。收敛就是：数值越来越接近某一个值的现象。

如果一串值越来越接近某一个值，就可以说它收敛到那个值。

极限就是用来表达和确认：这种收敛是否发生，以及如果发生，是在靠近哪个值。所以，下面这句话就是自然的。

\[ \lim_{x \to a} f(x) = L \]

这就读成：当 x 靠近 a 时，f(x) 收敛到 L。

不过，不要把极限和收敛当成完全相同的词。收敛是“越来越靠近”这个现象，而极限则是用来表达或确认这种现象的概念和记法。如果数值没有朝一个值越来越近，就说它不收敛，那种情况下也就难以谈那个意义下的极限。

简单极限的求解

建立极限直觉的最好方法，是直接做短小的例子。最简单的情况，就是直接代入也不会出问题。

\[ \lim_{x \to 2}(x + 1) \]

这个式子是在问：当 x 靠近 2 时，x + 1 会靠近哪里？在这个例子里，就算直接代入 x = 2 也没有问题。

\[ 2 + 1 = 3 \]

所以可以写成下面这样。

\[ \lim_{x \to 2}(x + 1) = 3 \]

这时就可以说：当 x 靠近 2，x + 1 会收敛到 3。

但并不是所有极限都这样结束。看下面这个式子，如果直接代入 \(x=1\)，分母会变成 0。

\[ \lim_{x \to 1}\frac{x^2 - 1}{x - 1} \]

所以要先对式子做整理。

\[ x^2 - 1 = (x - 1)(x + 1) \]
\[ \frac{x^2 - 1}{x - 1} = \frac{(x - 1)(x + 1)}{x - 1} \]

对于那些“\(x\) 不是正好等于 1”的邻近值，你可以约去 \(x-1\)，把它看成下面这样。

\[ \frac{x^2 - 1}{x - 1} = x + 1 \quad (x \ne 1) \]

那么当 x 靠近 1 时，x + 1 就会靠近 2。

\[ \lim_{x \to 1}\frac{x^2 - 1}{x - 1} = 2 \]

这里重要的仍然不是“1 这个点代进去会得到什么”，而是“当 x 靠近 1 时，这个式子会收敛到 2”。

这里的关键就是：不要在“分母变成 0”时直接停下。若直接代入不行，就先整理出这个式子在邻近位置能不能看得更清楚，再去确认它究竟靠近什么值。

输入变化与变化率

在 AI 学习里，重要的是函数值如何变化。如果输入轻微变化，输出会变化多少？如果参数轻微变化，损失会变化多少？这些都很重要。

假设有一个很简单的函数。

\[ f(x) = x^2 \]

当 \(x\) 是 2 时，函数值如下。

\[ f(2) = 4 \]

现在把 x 稍微加大一点。

\[ f(2.1) = 4.41 \]

输入变化了 0.1，函数值变化了 0.41。

  1. 输入从 2 变成 2.1。
  2. 输出从 4 变成 4.41。

这就是变化率（rate of change）的起点。

\[ \frac{f(2.1) - f(2)}{2.1 - 2} \]

这个式子比较函数值的变化量与输入的变化量。

逐渐减小输入变化量，计算变化率，结果如下。

比较区间 输入变化 输出变化 变化率
2.0 -> 2.1 0.1 0.41 4.1
2.0 -> 2.01 0.01 0.0401 4.01
2.0 -> 2.001 0.001 0.004001 4.001

区间越小，变化率就越接近 4。输入变化量为 0.1 时，变化率为 4.1；输入变化量为 0.01 时，为 4.01；输入变化量为 0.001 时，为 4.001。

变化率的极限

导数（derivative）是在看非常小变化下的变化率。如果把平均变化率放到越来越小的区间里，就会逐渐看见函数在一个点附近是朝哪个方向、以多大幅度变化。

在上面的 f(x) = x^2 例子里，当 x = 2 附近的区间越来越小时，变化率会越来越接近 4。这个小小场景就已经用最短方式展示了极限和导数的连接。

  1. 先是输入正在靠近某个值。
  2. 接着去看函数值靠近哪里。
  3. 再继续看变化比率靠近哪里。
  4. 这个问题就会继续通向瞬时变化率和导数。
\[ \frac{f(x+h) - f(x)}{h} \]

这个表达是在看：从 x 往前移动 h 后，函数值变化了多少。如果让 h 越来越接近 0，就会开始思考某一点附近的变化率。

\[ \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} \]

如果这个极限存在，它就是该点的瞬时变化率，也就是导数值。

参数变化与损失

在机器学习和深度学习里，学习通常会被解释成：通过调整参数，让损失（loss）下降的过程。这时重要的问题是下面这些。

  • 如果把参数轻微改一下，损失会怎样变化？
  • 损失朝哪个方向会下降？
  • 如果改得太大，会出现什么问题？

这些问题都会继续连到变化率和梯度（gradient）。极限就是让你能够更精细地思考这种变化率的记号。

当函数值发生变化时，先比较变化量，再看变化率，再读“非常小变化”的趋势，而这条流向最终会继续到导数和梯度，让你找到减少损失的方向。

检查清单

  • 你能把极限解释成“观察逐渐靠近的过程”的记号吗？
  • 你能区分 \(x \to a\)、\(h \to 0\)、\(f(x) \to L\) 各自的含义吗？
  • 你能说明极限和简单代入并不总是同一件事吗？
  • 你能把收敛解释成“数值靠近某个值的现象”，而不直接把它等同于极限吗？
  • 你能说明小变化和变化率之间的关系吗？
  • 你能说明为什么极限是在为后面的导数、梯度和优化做准备吗？
  • 你能通过直接代入或代数整理来算出一个简单极限式所靠近的值吗？
  • 你能把极限解释成读取小变化趋势的语言，而不是只看直接代入吗？

来源与参考资料