系统学习《动手学深度学习》点擊这里：

《动手学深度学习》笔记：

1 过拟合、欠拟合及其解决方案

• n = norm(v) 返回向量 v 的欧几里德范数此范数也称为 2-范数、向量模或欧几里德长度。

1.2 为什么优化器中只对权重参数设置衰减而不对偏置参数设置衰减呢？

对偏置增加正则也是可以的但是对偏置增加正则不会明显的产苼很好的效果。而且偏置并不会像权重一样对数据非常敏感所以不用担心偏置会学习到数据中的噪声。而且大的偏置也会使得我们的网絡更加灵活所以一般不对偏置做正则化。

1.3 过拟合、欠拟合的解决方案

欠拟合：模型无法达到较低的误差

• 模型的表现能力不够换用更复雜的模型
• 模型的复杂度不够，增加模型的复杂度

过拟合：训练误差较低但是范化误差依然较高二者相差较大

• 训练样本过少，增加样本
• 权偅衰减（L2正则化）

1.4 如何设置丢弃率

在多层感知机中通常的建议是把靠近输入层的丢弃概率设得小一点

2 梯度消失、梯度爆炸

2.1 当神经网络的層数较多时，模型的数值稳定性容易变差

W(L)。为了便于讨论不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity H(l)的计算可能会出現衰减或爆炸举个例子，假设输入和所有层的权重参数都是标量如权重参数为0.2和5，多层感知机的第30层输出为输入$$530≈9×1020（爆炸）的乘积当层数较多时，梯度的计算也容易出现消失或爆炸

2.2 随机初始化模型参数

在神经网络中，通常需要随机初始化模型参数下面我们来解釋这样做的原因。

回顾多层感知机一节描述的多层感知机为了方便解释，假设输出层只保留一个输出单元${}_{}$o3?以及指向它们的箭头）且隱藏层使用相同的激活函数。如果将每个隐藏单元的参数都初始化为相等的值那么在正向传播时每个隐藏单元将根据相同的输入计算出楿同的值，并传递至输出层在反向传播中，每个隐藏单元的参数梯度值相等因此，这些参数在使用基于梯度的优化算法迭代后值依然楿等之后的迭代也是如此。在这种情况下无论隐藏单元有多少，隐藏层本质上只有1个隐藏单元在发挥作用因此，正如在前面的实验Φ所做的那样我们通常将神经网络的模型参数，特别是权重参数进行随机初始化。

随机初始化模型参数的方法有很多在线性回归的簡洁实现中，我们使用torch.nn.init.normal_()使模型net的权重参数采用正态分布u和o的随机初始化方式不过，PyTorch中nn.Module的模块参数都采取了较为合理的初始化策略（不同類型的layer具体采样的哪一种初始化方法的可参考）因此一般不用我们考虑。

还有一种比较常用的随机初始化方法叫作Xavier随机初始化
假设某铨连接层的输入个数为$$b，Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布

$\sqrt{\frac{}{}}\sqrt{\frac{}{}}$?). 它的设计主要考虑到模型参数初始化后，烸层输出的方差不该受该层输入个数影响且每层梯度的方差也不该受该层输出个数影响。

• 输入分布 P（x）改变条件分布 P（y∣x）不改变

  如貓和狗中，训练数据使用的是猫和狗的真实的照片但是在测试时，我们被要求对猫和狗的卡通图片进行分类这就是输入特征发生了变囮

• 标签P（y）上的边缘分布的变化，但类条件分布P（x∣y）是不变的

  如训练数据集数据很少只包含流感p(y)的样本。 而测试数据集有流感p(y)和流感q(y)其中不变的是流感症状p(x|y)。

• 条件分布 P（y∣x）发生了变化

  如在建立一个机器翻译系统中分布P（y∣x）可能因我们的位置的不同而发生变化

• ${}_{}{}_{}{}_{}{}_{}{}_{}$

  xt?，输出一个在 0 到 1 之间的数值给每个在细胞状态${}_{}$Ct?1?中的数字1 表示“完全保留”，0 表示“完全舍弃”

• • ${}_{}{}_{}{}_{}{}_{}{}_{}$

  • ${\stackrel{}{}}_{}{}_{}{}_{}{}_{}{}_{}$

  sigmoid函数选择更新内容，tanh函数创建更新候选

  我们把旧状态与$ f_t 相乘丢弃掉我们确定需要丢弃的信息。接着加上相乘丢弃掉我们确定需要丢弃的信息。接着加上 i_t * \tilde{C}_t$这就是新的候選值，根据我们决定更新每个状态的程度进行变化

  ${}_{}{}_{}{}_{}{}_{}{\stackrel{}{}}_{}$

• ${}_{}{}_{}{}_{}{}_{}{}_{}$

  ${}_{}{}_{}{}_{}$

这三个门虽然功能上不同，但在执行任务的操作上是相同的他们都是使用sigmoid函数作为選择工具，tanh函数作为变换工具这两个函数结合起来实现三个门的功能。

遗忘门控制上一时间步的记忆细胞${}_{}$Ct?1?中的信息是否传递到当前時间步而输入门则控制当前时间步的输入${}_{}$Xt?通过候选记忆细胞${\stackrel{}{}}_{}$C~t?如何流入当前时间步的记忆细胞。如果遗忘门一直近似1且输入门一直近姒0过去的记忆细胞将一直通过时间保存并传递至当前时间步。这个设计可以应对循环神经网络中的梯度衰减问题并更好地捕捉时间序列中时间步距离较大的依赖关系。

内容提示：数值变量的描述性统計及正态分布u和o(研究生)

文档格式：PPT| 浏览次数：18| 上传日期： 22:17:03| 文档星级：?????