Jensen不等式及其应用

Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。

1 Jensen不等式

Jensen不等式：已知函数(phi: mathbb{R} omathbb{R})为凸函数，则有(phi[ ext{E}(X)]leq ext{E}[phi(X)])。

有时候，需要用到离散形式的Jensen不等式：({a_j})是一系列非负权重，满足(sum_{j=1}^m a_j=1)，({x_j})是一系列任意实数，对于凸函数(phi: mathbb{R} omathbb{R})，有

[phileft(sum_{j=1}^m a_j x_j ight) leq sum_{j=1}^m a_j phi(x_j) ]

只需将原期望形式的Jensen不等式中的随机变量取成离散的，并令(P(X=x_j)=a_j)，即可得到上式。

2 条件Jensen不等式

将不等式两边的期望都取为条件期望的形式，不等式依然成立。

条件Jensen不等式：已知函数(phi: mathbb{R} omathbb{R})为凸函数，则有(phi[ ext{E}(X|Y)]leq ext{E}[phi(X)|Y])。

来看一个应用：在( ext{Var}(X)<infty)的条件下，利用条件Jensen不等式，可以证明( ext{Var}[ ext{E}(X|Y)]leq ext{Var}(X))。

证明如下：

[egin{aligned} &[ ext{E}(X|Y)- ext{E}(X)]^2 \ =& [ ext{E}(X|Y)]^2+[ ext{E}(X)]^2 - 2 ext{E}(X|Y) ext{E}(X)\ leq & ext{E}(X^2|Y)+[ ext{E}(X)]^2 - 2 ext{E}(X|Y) ext{E}(X) end{aligned} ]

两边取期望后，可得

[egin{aligned} & ext{E}left{left{ ext{E}(X|Y)- ext{E}[ ext{E}(X|Y)] ight}^2 ight} \ (= & ext{Var}[ ext{E}(X|Y)])\ leq & ext{E}[ ext{E}(X^2|Y)]+[ ext{E}(X)]^2 - 2[ ext{E}(X)]^2\ = & ext{E}(X^2)+[ ext{E}(X)]^2 - 2[ ext{E}(X)]^2\ = & ext{Var}(X) end{aligned} ]

得证。

3 Jensen不等式的应用

许许多多不等式，都可以利用Jensen不等式得出，这里整理一些例子。

3.1 套用简单函数

将(phi)直接取为简单的凸函数或凹函数，就可以得到许多不等式：

• ([ ext{E}(X)]^2 geq ext{E}(X^2))
• (| ext{E}(X)|leq ext{E}|X|)；
• (exp[ ext{E}(X)]leq ext{E}[exp(X)])；
• ( ext{E}[log(X)]leq log[ ext{E}(X)])；
• ( ext{E}[X^{1/2}]leq [ ext{E}(X)]^{1/2})。

3.2 Lyapunov不等式

Lyapunov不等式：对于任意(0leq p leq q)，有

[[ ext{E}(|X|^{p})]^{1/p} leq [ ext{E}(|X|^{q})]^{1/q} ]

证明过程，只需利用凸函数(phi(x)=x^{q/p})，和随机变量(Y=|X|^q)即可。

3.3 几何均值不等式

几何均值不等式（Geometric Mean Inequality）：({a_j|)是一系列非负权重，满足(sum_{j=1}^m a_j=1)，({x_j})是一系列任意的非负实数，则有

[x_1^{a_1}x_2^{a_2}cdots x_m^{a_m}leq sum_{j=1}^m a_j x_j ]

证明要用到离散形式的Jensen不等式，将(phi)取为对数函数即可，由于对数函数是凹函数，不等式需反向。

如果取(m=2)，(a_1=a_2=dfrac{1}{2})，就是在中学阶段熟悉的(sqrt{x_1 x_2}leq dfrac{x_1+x_2}{2})，即几何均值小于等于代数均值。

3.4 Loeve’s (C_r) Inequality

对于一系列的任意实数(x_j)，有

[left| sum_{j=1}^m x_j ight|^r leq egin{cases} sumlimits_{j=1}^m |x_j|^r&,0lt rleq 1\ m^{r-1} sumlimits_{j=1}^m |x_j|^r&, rgt 1 end{cases} ]

当(m=2)时，记(C_r=max{1,2^{r-1}})，该不等式可写为

[|a+b|^rleq C_r left(|a|^r+|b|^r ight) ]

因此也叫(C_r)不等式。

证明同样需用到离散形式Jensen不等式。若(rgt 1)，取(a_j=1/m)，(phi(x)=|x|^r)，即可得证。若(rleq 1)，记(sum_{j=1}^m |x_j|=A)，取(b_j=|x_j|/A)，则(b_jin [0,1])，因此有(b_jleq b_j^r)，因此

[1=sum_{j=1}^m b_jleq sum_{j=1}^m b_j^r=dfrac{sum_{j=1}^m |x_j|^r}{A^r} ]

再利用(|sum_{j=1}^m x_j |leq sum_{j=1}^m |x_j|=A)，即可得证。

3.5 范数不等式

范数不等式：对于(0lt pleq q)，有

[left| sum_{j=1}^m |x_j|^q ight|^{1/q} leqleft| sum_{j=1}^m |x_j|^p ight|^{1/p} ]

取(r=p/qleq 1)，(y_j=|x_j|^q)，利用上一节中的(C_r)不等式，可得

[left| sum_{j=1}^m y_j ight|^r leq sum_{j=1}^m |y_j|^r ]

将(x_j)代回并两边取(1/p)次方即可得证。