 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
本章要点：最速下降法的基本思想及特点牛顿方向Newton法
下载积分：600
内容提示：本章要点：最速下降法的基本思想及特点牛顿方向Newton法本章要..
文档格式：PDF|
浏览次数：515|
上传日期： 00:31:57|
文档星级：
该用户还上传了这些文档
本章要点：最速下降法的基本思想及特点牛顿方向Newton法
官方公共微信【图文】最速下降法_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
最速下降法
上传于||暂无简介
大小：560.00KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢题目 matlab 最速下降法求解 求目标函数f=x1^2+_matlab吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：141,683贴子：
题目 matlab 最速下降法求解 求目标函数f=x1^2+收藏
题目matlab 最速下降法求解求目标函数f=x1^2+25*x2^2的极小点 要求用最速下降法
一次新的奇迹玩法？你想成为霸服大魔王吗？
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或共轭梯度法,最速下降法和牛顿法
共轭梯度法
上，共轭梯度法是求解特定的的方法，其中那些矩阵为和。共轭梯度法是一个，所以它适用于系统，因为这些系统对于象这样的直接方法太大了。这种系统在数值求解时相当常见。
共轭梯度法也可以用于求解无约束的问题。
提供了一种处理非对称矩阵情况的推广。
方法的表述
设我们要求解下列线性系统
其中n-&-n矩阵A是对称的（也即，AT
= A），的（也即，xTAx
& 0对于所有非0向量x属于Rn），并且是实系数的。
将系统的唯一解记作x*。
经过一些简化，可以得到下列求解Ax
= b的算法，其中A是实对称正定矩阵。
repeat until
rk is "sufficiently
<img TITLE="共轭梯度法,最速下降法和牛顿法" ALT=" p_k&&wbr&:= r_{k-1} + \frac{r_{k-1}^\top r_{k-1}}{r_{k-2}^\top r_{k-2}}~p_{k-1} " src="/blog7style/images/common/sg_trans.gif" real_src ="http://upload.wikimedia.org/math/a/d/0/ad0e005bba7a.png"
<img TITLE="共轭梯度法,最速下降法和牛顿法" ALT="\alpha_k&&wbr&:= \frac{r_{k-1}^\top r_{k-1}}{p_k^\top A p_k} " src="/blog7style/images/common/sg_trans.gif" real_src ="http://upload.wikimedia.org/math/c/9/7/cf1792931.png"
（共轭梯度法，法语）作者N.
（预处理共轭梯度法，法语）作者N.
作者Jonathan Richard
共轭梯度法最初出现于
Magnus R. Hestenes
and Eduard Stiefel（1952）,Methods of conjugate gradients for solving
linear systems, J. Research Nat. Bur. Standards 49,
下列教科书中可以找到该方法的描述
A. Atkinson（1988）,An introduction to numerical analysis（2nd
ed.）,Section 8.9, John Wiley and Sons. .
Golub and Charles F. Van Loan, Matrix computations（3rd
ed.）,Chapter 10, Johns Hopkins University Press. .
共轭梯度法　　
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型最有用的方法之一，也是解大型非线性最优化最有效的算法之一。
　　共轭梯度法最早是又Hestenes和Stiefle（1952）提出来的，用于解正定系数矩阵的线性方程组，在这个基础上，Fletcher和Reeves（1964）首先提出了解非线性最优化问题的共轭梯度法。由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用与实际问题中。
　　共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次的搜索方向的组合，因此，存储量少，计算方便
共轭梯度法的推导
在中，是一种求解
的。共轭梯度法可以从不同的角度推导而得，包括作为求解问题的的特例，以及作为求解问题的
迭代的变种。
本条目记述这些推导方法中的重要步骤。
从共轭方向法推导
Arnoldi/Lanczos 迭代推导
共轭梯度法可以看作
Arnoldi/Lanczos 迭代应用于求解线性方程组时的一个变种。
Arnoldi 方法
Arnoldi 迭代从一个向量
开始，通过定义
换言之，对于
进行 然后归一化得到。
写成矩阵形式，迭代过程可以表示为
当应用于求解线性方程组时，Arnoldi
迭代对应于初始解
开始迭代，在每一步迭代之后计算
和新的近似解
Lanzcos 方法
在余下的讨论中，我们假定
是对称正定矩阵。由于
变成对阵三对角矩阵。于是它可以被更明确地表示为
这使得迭代中的
有一个简短的三项递推式。Arnoldi 迭代从而简化为 Lanczos 迭代。
对称正定，
同样也对称正定。因此，
可以通过不的
有简单的递推式：
此时需要观察到
同样有简短的递推式：
通过这个形式，我们得到
的一个简单的递推式：
以上的递推关系立即导出比共轭梯度法稍微更复杂的直接
Lanczos 方法。
从正交性和共轭性导出共轭梯度法
如果我们允许缩放
并通过常数因子补偿缩放的系数，我们可能可以的到以下形式的更简单的递推式：
作为简化的前提，我们现在推导
的正交性和
的共轭性，即对于
各个残量之间满足正交性的原因是
实际上可由
乘上一个系数而得。这是因为对于
的共轭性，只需证明
是对角矩阵：
是对称的下三角矩阵，因而必然是对角矩阵。
现在我们可以单纯由
的正交性和
的共轭性推导相对于缩放后的
的常数因子
的正交性，必然有
类似地，由于
的共轭性，必然有
推导至此完成。
Hestenes, M. R.;
Stiefel, E..
(PDF). Journal of
Research of the National Bureau of Standards. 12 1952, 49
Saad, Y.. Chapter 6:
Krylov Subspace Methods, Part I. Iterative methods for sparse
linear systems. 2nd. SIAM. 2003. &.
梯度下降法
梯度下降法是一个，通常也称为最速下降法。
有关梯度下降法的描述
梯度下降法，基于这样的观察：如果实值函数
处且有定义，那么函数
点沿着相反的方向
下降最快。
因而，如果
为一个够小数值时成立，那么
考虑到这一点，我们可以从函数
的局部极小值的初始估计
出发，并考虑如下序列
因此可得到
如果顺利的话序列
收敛到期望的极值。注意每次迭代步长
可以改变。
右侧的图片示例了这一过程，这里假设
定义在平面上，并且函数图像是一个形。蓝色的曲线是()，即函数
为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的垂直）。沿着梯度下降方向，将最终到达碗底，即函数
值最小的点。
梯度下降法处理一些复杂的非线性函数会出现问题，例如
其最小值在
处，数值为。但是此函数具有狭窄弯曲的山谷，最小值
就在这些山谷之中，并且谷底很平。优化过程是之字形的向极小值点靠近，速度非常缓慢。
下面这个例子也鲜明的示例了"之字"的下降，这个例子用梯度下降法求
的极小值。
由上面的两个例子，梯度下降法的缺点是
靠近极小值时速度减慢。
直线搜索可能会产生一些问题。
可能会'之字型'地下降。
Avriel (2003). Nonlinear Programming: Analysis and Methods.
Dover Publishing. .
Snyman (2005). Practical Mathematical Optimization: An
Introduction to Basic Optimization Theory and Classical and New
Gradient-Based Algorithms. Springer Publishing.
牛顿法（Newton's
method）又称为牛顿-拉弗森方法（Newton-Raphson
method），它是一种在实数域和复数域上近似求解方程的方法。方法使用函数的的前面几项来寻找方程的根。
牛顿法最初由在《》（Method
of Fluxions，完成，在牛顿死后的公开发表）。也曾于在中提出此方法。
蓝线表示方程f而红线表示切线.
可以看出xn+1比xn更靠近f所要求的根x.
首先，选择一个接近函数零点的，计算相应的和切线斜率（这里表示函数的）。然后我们计算穿过点并且斜率为的直线和轴的交点的坐标，也就是求如下方程的解：
我们将新求得的点的坐标命名为，通常会比更接近方程的解。因此我们现在可以利用开始下一轮迭代。迭代公式可化简为如下所示：
已经证明，如果是的，并且待求的零点是孤立的，那么在零点周围存在一个区域，只要初始值位于这个邻近区域内，那么牛顿法必定收敛。并且，如果不为0,
那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。
第一个例子
求方程f(x)
= cos(x) & x3的根。两边求导，得f&'(x)
= &sin(x) & 3x2。由于-1
≤ cos(x) ≤ 1（对于所有x），则-1 ≤ x3 ≤ 1,即-1 ≤ x ≤
1，可知方程的根位于0和1之间。我们从x0 =
第二个例子
牛顿法亦可发挥与泰勒展开式，对于函式展开的功能。
求a的m次方根。
而a的m次方根，亦是x的解，
以牛顿法来迭代：
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。}