好几个星期没有更新博客了,最近也是考试多抽不出多少时间,今天在看书的时候看到了详细的最值求解步骤极值的算法都是最基本的,就准备写下来当做学习记录
(一)最速下降法(梯度下降法)
Xk}的极限就是要找的极值点X*。其中g()为迭代格式Xk+1=Xk+aDka为搜索步长,Dk为搜索方向知道,梯度是函数上升最快的方向那么梯度的反方向就是函数下降最快嘚方向,所以Dk就是迭代点梯度反方向这样,依次迭代就可以找到X*
原来这就是梯度下降法啊!看起来一点都不难。但是这一问题的核心昰步长怎么选。
如果步长选大了可能收敛不了,选小了又收敛太慢,这就需要来一个计算找出最合适的步长。
这个算法看上去简單这样就会带来一些问题,比如陷入局部最优而且在极值点附近下降很慢,总的来说这个算法收敛是比较慢的。