指数加权平均的偏差修正（Bias correction in exponentially weighted averages）

你学过了如何计算指数加权平均数，有一个技术名词叫做偏差修正，可以让平均数运算更加准确，来看看它是怎么运行的。

v_t=βv_(t-1)+(1-β)θ_t

在上一个笔记中，这个（红色）曲线对应β的值为0.9，这个（绿色）曲线对应的β=0.98，如果你执行写在这里的公式，在β等于0.98的时候，得到的并不是绿色曲线，而是紫色曲线，你可以注意到紫色曲线的起点较低，我们来看看怎么处理。

计算移动平均数的时候，初始化v_0=0，v_1=0.98v_0+0.02θ_1，

但是v_0=0，所以这部分没有了（0.98v_0），所以v_1=0.02θ_1，

所以如果一天温度是40华氏度，那么v_1=0.02θ_1=0.02×40=8，因此得到的值会小很多，所以第一天温度的估测不准。

v_2=0.98v_1+0.02θ_2，如果代入v_1，然后相乘，所以

v_2=0.98×0.02θ_1+0.02θ_2=0.0196θ_1+0.02θ_2，假设θ_1和θ_2都是正数，计算后v_2要远小于θ_1和θ_2，所以v_2不能很好估测出这一年前两天的温度。

有个办法可以修改这一估测，让估测变得更好，更准确，特别是在估测初期，也就是不用v_t，而是用v_t/(1-β^t )，t就是现在的天数。

举个具体例子，当t=2时，1-β^t=1-〖0.98〗^2=0.0396，因此对第二天温度的估测变成了v_2/0.0396=(0.0196θ_1+0.02θ_2)/0.0396，也就是θ_1和θ_2的加权平均数，并去除了偏差。

你会发现随着t增加，β^t接近于0，所以当t很大的时候，偏差修正几乎没有作用，因此当t较大的时候，紫线基本和绿线重合了。不过在开始学习阶段，你才开始预测热身练习，偏差修正可以帮助你更好预测温度，偏差修正可以帮助你使结果从紫线变成绿线。

在机器学习中，在计算指数加权平均数的大部分时候，大家不在乎执行偏差修正，因为大部分人宁愿熬过初始时期，拿到具有偏差的估测，然后继续计算下去。如果你关心初始时期的偏差，在刚开始计算指数加权移动平均数的时候，偏差修正能帮助你在早期获取更好的估测。

所以你学会了计算指数加权移动平均数，我们接着用它来构建更好的优化算法吧!