动手学深度学习 7.1 优化与深度学习

发表于 更新于

前言

从零开始学习ai文章系列计划是个人在《动手学深度学习》和《磨菇书》两本书的学习中的个人笔记，文章也会以课本中的章节分开，即每个章节一片笔记。我会尽量的把主要内容以及遇到的难点进行记录与解决，如果哪里有错误的欢迎指正。或者不清晰的可以直接查看原文部分。

《动手学深度学习》原文（课本）：https://tangshusen.me/Dive-into-DL-PyTorch/#/

《动手学深度学习》代码：https://github.com/ShusenTang/Dive-into-DL-PyTorch

（由于有时候公式太多，可能会直接贴图片）

在一个深度学习问题中，我们通常会预先定义一个损失函数。有了损失函数以后，我们就可以使用优化算法试图将其最小化。

依据惯例，优化算法通常只考虑最小化目标函数。其实，任何最大化问题都可以很容易地转化为最小化问题，只需令目标函数的相反数为新的目标函数即可。

1. 优化与深度学习的关系

在3.11节（模型选择、欠拟合和过拟合）中，我们区分了训练误差和泛化误差。

由于优化算法的目标函数通常是一个基于训练数据集的损失函数，优化的目标在于降低训练误差。 而深度学习的目标在于降低泛化误差。为了降低泛化误差，除了使用优化算法降低训练误差以外，还需要注意应对过拟合。

本章中，我们只关注优化算法在最小化目标函数上的表现，而不关注模型的泛化误差。

2. 优化在深度学习中的挑战

很多优化问题并不存在解析解，而需要使用基于数值方法的优化算法找到近似解，即数值解。

本书中讨论的优化算法都是这类基于数值方法的算法。为了求得最小化目标函数的数值解，我们将通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。

优化在深度学习中有很多挑战。下面描述了其中的两个挑战，即局部最小值和鞍点。

2.1 局部最小值

对于目标函数f(x)，如果f(x)在x上的值比在x邻近的其他点的值更小，那么f(x)可能是一个局部最小值（local minimum）。

如果f(x)在x上的值是目标函数在整个定义域上的最小值，那么f(x)是全局最小值（global minimum）。

举个例子，给定函数

我们可以大致找出该函数的局部最小值和全局最小值的位置。需要注意的是，图中箭头所指示的只是大致位置。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
def f(x):
    return x * np.cos(np.pi * x)

d2l.set_figsize((4.5, 2.5))
x = np.arange(-1.0, 2.0, 0.1)
fig,  = d2l.plt.plot(x, f(x))
fig.axes.annotate('local minimum', xy=(-0.3, -0.25), xytext=(-0.77, -1.0),
                  arrowprops=dict(arrowstyle='->'))
fig.axes.annotate('global minimum', xy=(1.1, -0.95), xytext=(0.6, 0.8),
                  arrowprops=dict(arrowstyle='->'))
d2l.plt.xlabel('x')
d2l.plt.ylabel('f(x)')
d2l.plt.show()

深度学习模型的目标函数可能有若干局部最优值。当一个优化问题的数值解在局部最优解附近时，由于目标函数有关解的梯度接近或变成零，最终迭代求得的数值解可能只令目标函数局部最小化而非全局最小化。

2.2 鞍点

刚刚我们提到，梯度接近或变成零可能是由于当前解在局部最优解附近造成的。事实上，另一种可能性是当前解在鞍点（saddle point）附近。

举个例子，给定函数

1
2
3
4
5
6
7
x = np.arange(-2.0, 2.0, 0.1)
fig, = d2l.plt.plot(x, x**3)
fig.axes.annotate('saddle point', xy=(0, -0.2), xytext=(-0.52, -5.0),
                  arrowprops=dict(arrowstyle='->'))
d2l.plt.xlabel('x')
d2l.plt.ylabel('f(x)')
d2l.plt.show()

我们可以找出该函数的鞍点位置。

再举个定义在二维空间的函数的例子，例如：

1
2
3
4
5
6
7
8
9
10
11
12
13
14

x, y = np.mgrid[-1: 1: 31j, -1: 1: 31j]
z = x**2 - y**2

ax = d2l.plt.figure().add_subplot(111, projection='3d')
ax.plot_wireframe(x, y, z, **{'rstride': 2, 'cstride': 2})
ax.plot([0], [0], [0], 'rx')
ticks = [-1,  0, 1]
d2l.plt.xticks(ticks)
d2l.plt.yticks(ticks)
ax.set_zticks(ticks)
d2l.plt.xlabel('x')
d2l.plt.ylabel('y')
d2l.plt.show()

我们可以找出该函数的鞍点位置。也许你已经发现了，该函数看起来像一个马鞍，而鞍点恰好是马鞍上可坐区域的中心。

在图的鞍点位置，目标函数在x 轴方向上是局部最小值，但在y 轴方向上是局部最大值。

假设一个函数的输入为k 维向量，输出为标量，那么它的海森矩阵（Hessian matrix）有k个特征值。该函数在梯度为0的位置上可能是局部最小值、局部最大值或者鞍点。

海森矩阵（Hessian matrix）是一个函数的二阶偏导数矩阵

海森矩阵可以帮助判断函数在某点是凹的、凸的，还是鞍点：

• 特征值全为正 → 局部极小值（凸）。

• 特征值全为负 → 局部极大值（凹）。

• 特征值有正有负 → 鞍点。

随机矩阵理论告诉我们，对于一个大的高斯随机矩阵来说，任一特征值是正或者是负的概率都是0.5 。那么，以上第一种情况的概率为 \(0.5^k\)

由于深度学习模型参数通常都是高维的（k很大），目标函数的鞍点通常比局部最小值更常见。

鞍点概率为 \(1-2×0.5^k\)

在深度学习中，虽然找到目标函数的全局最优解很难，但这并非必要。我们将在本章接下来的几节中逐一介绍深度学习中常用的优化算法，它们在很多实际问题中都能够训练出十分有效的深度学习模型。

在深度神经网络的训练中，一个常见的误解是：必须找到全局最优解，模型才能工作得好。 实际上，在现代深度学习中，全局最优解往往并不是必要的。

原因在于，当网络足够深、参数足够多时，同一个任务可以通过多种不同的参数配置来完成。只要模型能够实现期望的输入–输出映射，在训练目标下，这些解的效果几乎没有差别。

可以把这类问题类比为“把杯子拿过来”。实现这个目标的方法并不唯一，只要杯子最终到了目标位置，任务就完成了。对应到神经网络中，只要训练误差已经足够低，继续追求“绝对最优”的参数配置通常并不会带来实质性的收益。

因此，深度学习中的训练过程更关心的是“是否找到了一个足够好的可行解”，而不是“是否达到了全局最优解”。