整理自吴恩达深度学习系列视频
https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001701051
Also called exponentially weighted moving averages in statistics.
指数加权平均，是一种计算平均值的一种方法，起源于对伦敦气温的研究。
计算平均值最直观的方法，求和除以值的数目。比如求伦敦一个月的气温平均值，你把所有的温度加起来除以一个月的天数即可。下面我们介绍另一种求每一天平均气温的方法，即指数加权平均。
指数加权平均计算方法
V t = β V t − 1 + ( 1 − β ) θ t V_{t}=eta V_{t-1}+(1-eta) heta_{t} Vt=βVt−1+(1−β)θt
V t V_{t} Vt表示计算的当天平均气温， V t − 1 V_{t-1} Vt−1表示计算的前一天平均气温， θ t heta_{t} θt表示数据里当天气温值。
β eta β表示权值，一般取0.9.
V t V_{t} Vt即计算的当天平均气温， β eta β取0.9时，它近似了 1 1 − β = 10 frac{1}{1-eta}=10 1−β1=10 天的平均气温。
如何理解
如图所示，计算v100时，每一个i小于100的vi值都参与了计算，但因为前项系数的不同，它们的贡献不同且随着离100越远贡献越小，所以这是一种比较科学的求平均值的方法。
这跟把10天的气温加起来除以10的区别在于，前者需要保存所有温度值并求和，实现起来更复杂，计算量更大。
指数加权平均占用很少一部内存，并且实现起来只需要一两行代码，在数据量很大的时候优势明显。