欢迎光临 x-algo
关注算法在工业界应用
Hi, 这是一个关注大数据算法在工业界应用的网站

2016年06月的文章

最优化

「最优化」拟牛顿法

leihao阅读(857)评论(0)

理解「拟牛顿法」之前,首先理解「牛顿法」和「共轭梯度法」,「拟牛顿」因为其较高的实用性,一直是工业界比较青睐的方法。 已知牛顿法的迭代步骤为: \(x^{k+1}=x^k-\alpha_k F(x^k)^{-1} g^k \) 拟牛顿法就是...

最优化

「最优化」共轭方向法

leihao阅读(870)评论(0)

从计算效率上来看,共轭方向法位于最速下降法和牛顿法之间。 共轭方向法具体有以下特性: 对n维二次型问题,能够在n步之内得到结果 作为共轭方向法的典型代表,共轭梯度法不需要计算很森矩阵 不需要存储 \(n \times n\) 的矩阵,也不需...

最优化

「最优化」牛顿法

leihao阅读(825)评论(0)

在确定搜索方向上,最速下降法只用到了目标函数的一阶导数。这种方式并非总是最高效的,在某些情况下,如果能够在迭代中引入高阶导数,其效率可能将优于最速下降法。「牛顿法」就是如此,他同时使用一阶导数和二阶导数作为搜索方向。当初始点和目标函数的极小...

最优化

「最优化」梯度方法

leihao阅读(737)评论(0)

本文讨论的是实值函数在 \(R^n\) 上的极小点的方法,他们在搜索过程中用到了函数的梯度,故称为梯度方法。 负梯度 「负梯度」其实就是梯度的负方向,默认梯度的方向都是朝着函数值增加的方向。并且容易证明,梯度的方向是函数值增加最快的方向,所...

最优化

「最优化」一维搜索方法

leihao阅读(1061)评论(0)

本文讨论的是一元单值函数 \(f:R \rightarrow R\) 时的最小化优化问题的迭代求解方法。这些方法统称为一维搜索法。一维搜索法普遍重视的原因有两个: 一维搜索法是多变量问题求解法的一个特例 一维搜索法是多变量问题求解算法的一部...

关注大数据算法在工业界应用

本站的GitHub关于本站