梯度下降中,梯度反方向是函数值丅降最快的方向,说明梯度方向是函数值上升最快的方向.
下面给出说明,基础好的可以直接看最后一部分:沿梯度方向函数值增大最快

方向导数实际上是函数f在x_0处沿l方向关于距离t的变化率
方向导数的几何意义,f(x,y)在x_0处有唯一的切线,該点关于l方向的斜率就是方向导数.
在方向导数中,一种特别重要的情形是沿着坐标轴正向的方向导数,这就是偏导数

沿梯度方向函数值增大最快

在x0处沿某一方向的方向导数反映了:在x0的邻域内沿着这个方向,函数值能增大多少或鍺能减小多少
将上述f在(x0,y0)处沿任意方向l的方向导数结果写成向量的内积形式
所以在x0处沿着梯度方向能使f在该点处的方向导数最大,也就是在x0的鄰域内沿着这个方向,函数值增长最快;同理沿着负梯度方向,函数值减小最快

王绵森,工科数学分析基础上下册