1 CEF error的有限性问题
在回归中,记条件期望函数(conditional expectation function,CEF)为(E[Y|X=x]),则可将因变量(Y)分解为
可记(e=Y-E[Y|X=x])为条件期望函数误差(CEF error)。
显然,(e)满足(E[e|X]=0),(E[e]=0),这些都很容易证明。下面来看一个关于(e)的有限性的问题:
若对于(rgt 1)有(E[|Y|^r]lt infty),求证(E[|e|^r]lt infty)。
从直觉上说,(e)是用条件期望函数对(Y)做了解释后留下的残差,那么(Y)的有限性应该可以保证(e)的有限性。但要证明它,却比较复杂。
2 证明
首先我们利用Minkowski不等式,有
由已知条件,第一项(left(Eleft[|Y|^r ight] ight)^{1/r})是有限的。
对于第二项,由于(g(cdot)=|cdot|^r)在(rgeq 1)时为凸函数,由Jensen不等式(g(E[Y|X]) leq E[g(Y)|X]),即有
再对两边取期望后取(1/r)次幂,可得
由已知条件可知,这一项也是有限的。
3 扩展
若我们关注(r=2),就变成了CEF error的无条件方差(sigma=E[e^2]= ext{Var}[e])。结论重新表述如下:
若(E[Y^2]lt infty),则(sigma^2lt infty)。
事实上,若对于多个解释变量,则不断加入解释变量后,残差的方差必将减小,即若(E[Y^2]lt infty),必有
为什么?
证明:先利用(E[Y|X_1]=E[E[Y|X_1,X_2]|X_1])和Jensen不等式,我们可以得到
两边取期望后有
同理,利用(E[Y]=E[E[Y|X_1]])和Jensen不等式,可得到((E[Y])^2leq Eleft[left(E[Y|X_1] ight)^2 ight]),与上面的式子放在一起有
三个地方都同时减去((E[Y])^2),可得
另一方面,我们已有(e=Y-E[Y|X]),再记(u=E[Y|X]-E[Y]),则(E[eu]=0),因此
而( ext{Var}[Y])为常数,因此,( ext{Var}[E[Y|X]])越大,( ext{Var}[Y-E[Y|X]])越小,即