欢迎访问发表云网!为您提供杂志订阅、期刊投稿咨询服务!

Heavy-Ball型动量方法的最优个体收敛速率

程禹嘉; 陶蔚; 刘宇翔; 陶卿 中国人民解放军陆军炮兵防空兵学院信息工程系; 合肥230031; 中国人民解放军陆军工程大学指挥控制工程学院; 南京210007
一阶梯度方法   动量方法   个体收敛速率   稀疏性  

摘要:动量方法作为一种加速技巧被广泛用于提高一阶梯度优化算法的收敛速率.目前,大多数文献所讨论的动量方法仅限于Nesterov提出的加速方法,而对Polyak提出的Heavy-ball型动量方法的研究却较少.特别,在目标函数非光滑的情形下,Nesterov加速方法具有最优的个体收敛性,并在稀疏优化问题的求解中具有很好的效果.但对于Heavy-ball型动量方法,目前仅仅获得了平均输出形式的最优收敛速率,个体收敛是否具有最优性仍然未知.对于非光滑优化问题,通过巧妙地设置步长,证明了Heavy-ball型动量方法具有最优的个体收敛速率,从而说明了Heavy-ball型动量方法可以将投影次梯度方法的个体收敛速率加速至最优.作为应用,考虑了l1范数约束的hinge损失函数优化问题.通过与同类的优化算法相比,实验验证了该理论分析的正确性以及所提算法在保持稀疏性方面的良好性能.

简介:《计算机研究与发展》(CN:11-1777/TP)是一本有较高学术价值的大型月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机研究与发展

北大期刊 下单

关注 19人评论|0人关注
服务与支持