最优化算法Nesterov Momentum牛顿动量法

最优化算法Nesterov Momentum牛顿动量法

这是对之前的Momentum的一种改进,大概思路就是,先对参数进行估计,然后使用估计后的参数来计算误差

具体实现:
需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α
每步迭代过程:
相关阅读:
大三上寒假15天--第6天
 大三上寒假15天--第5天
 大三上寒假15天--第4天
 大三上寒假15天--第3天
 selenium(python)登录时账号密码错误提示语
 selenium(python)用HTMLTestRunner导出报告（断言）信息的显示
 Jmeter打开url时提示“请在微信客户端打开链接问题”
python(unittest)报告导出（二）：使用 BeautifulReport导出
 python(unittest)报告导出（一）：使用HTMLTestRunner导出
 selenium+python+unittest:一个类中只执行一次setUpClass和tearDownClass里面的内容（可解决重复打开浏览器和关闭浏览器，或重复登录等问题）
原文地址：https://www.cnblogs.com/limingqi/p/12614883.html