欢迎光临 x-algo
关注算法在工业界应用
Hi, 这是一个关注大数据算法在工业界应用的网站

「最优化」梯度方法

本文讨论的是实值函数在 \(R^n\) 上的极小点的方法,他们在搜索过程中用到了函数的梯度,故称为梯度方法。

负梯度

「负梯度」其实就是梯度的负方向,默认梯度的方向都是朝着函数值增加的方向。并且容易证明,梯度的方向是函数值增加最快的方向,所以「负梯度」方向就理所应当是下降最快的方向了。我们求极小值的场景中,选择负梯度方向作为搜索方向是一个很好的选择。

前面介绍过,方向梯度的公式为 \(\) ,因为|d|=1,所以下面式子明显成立:

\(\le\begin{vmatrix} f'(x)\end{vmatrix}\)

此式也就证明了梯度方向是上升最快的方向。

最速下降法

「最速下降法」用一句话描述:每次一维搜索的时候选取下降最多的方法。不难证明,每次都是搜索到等高线的切线位置(等高线是光滑的椭圆),并且两次搜索的方向必定正交。

收敛性

先挖个坑。。

未经允许不得转载:大数据算法 » 「最优化」梯度方法

评论 抢沙发

*

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

关注大数据算法在工业界应用

本站的GitHub关于本站