拍照搜题秒出答案,一键查看所有搜题记录
拍照搜题秒出答案,一键查看所有搜题记录
拍照搜题秒出答案,一键查看所有搜题记录
迭代更新数学公式推导过程
首先對于有n个变量的函数的一阶导数为:
其次对于其二阶导数为:
之后关于目标函数的n阶导数包含二阶导數的泰勒展开式为:
这时将看成的函数则根据函数的n阶导数最小值性质,当偏导数等于0时出取得从而得到,所以根据等式的特点得到,只有两者都取0时才能使等式等于0所以得:
故牛顿法的迭代公式为:
在开始推导之前,来介绍一下一个概念:梯度(当前函数位置的导数)同时它也表示某一函数在该点处的方向导数沿着该方向取得较大值。
之后这里给出一阶泰勒展开式
由于都昰矢量则也是矢量,则根据矢量与向量的关系这时我们可以用一个单位向量V(下一步将要变化的方向)与标量的乘积来表示:,而
便昰我们所说的步进长度这时表达式为:
又由我们的目的出发,所以可以我们希望通过这个迭代变化使比小以此达到最小值。所以由公式当梯度方向与成反方向时,能最大程度的朝着局部下降的方向变化使取得最大值。根据与的数学关系这时可以得出与的计算关系:(一般情况,单位向量都是正向的)
(由于是标量可以把它与步进长度合到一起)
故梯度下降法的迭代公式为:
拍照搜题秒出答案,一键查看所有搜题记录
拍照搜题秒出答案,一键查看所有搜题记录
拍照搜题秒出答案,一键查看所有搜题记录
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。