假设X是一个随机变量,取值于[a,b]区间,且E(X)=0,那么对于任意λ> 0 ,我们有:
[E(e^{lambda x}) leqslant e^{frac{lambda^2(b-a)^2}{8}}
]
对于凸函数 f(x) 有:
[f(x) leqslant f(a) + frac{f(b)-f(a)}{b-a}(x-a)
]
(f(x)=e^{lambda x})带入有:
[e^{lambda x} leqslant e^{lambda a} + frac{e^{lambda b}-e^{lambda a}}{b-a}(x-a)\
=frac{b-x}{b-a}e^{lambda a}+ frac{x-a}{b-a}e^{lambda b},forall x in [a,b]]
将x看作取值于[a,b]的随机变量X,取期望,EX=0,有:
[E(e^{lambda X}) leqslant frac{b-EX}{b-a}e^{lambda a} + frac{EX-a}{b-a}e^{lambda b} \
= frac{b}{b-a}e^{lambda a} - frac{a}{b-a}e^{lambda b} \
= frac{-a}{b-a}e^{lambda a}(-frac{b}{a}+e^{lambda (b-a)})]
令(q=-frac{a}{b-a},h=lambda(b-a)),右侧
[=qcdot e^{-qh}(frac{1}{q}-1+e^h)\
=e^{-qh}(1-q+qe^h)\
=e^{-qh+ln(1-q+qe^h)}]
令(L(h)=-qh+ln(1-q+qe^h))
原命题等价于:
[E(e^{lambda X}) leqslant e^{L(h)}
]
对于L(h)
[{L}'(h)=-q+frac{qe^h}{1-q+qe^h}
]
[{L}''(h)=frac{qe^h(1-q+qe^h)-(qe^h)^2}{(1-q+qe^h)^2}
]
在0处进行泰勒展开:
[L(h)=frac{L(0)}{0!}h^0+frac{{L}'(0)}{1!}h^1+frac{{L}''(0)}{2!}h^2+o(h^2)
]
[L(0)=0\
{L}'(0)=(-q+frac{qe^h}{1-q+qe^h})|_{h=0}=0\
{L}''(0)=frac{qe^h(1-q+qe^h)-(qe^h)^2}{(1-q+qe^h)^2}|_{h=0}=q(1-q)leqslant frac{1}{4}]
带入可得:
[L(h)=frac{{L}''(0)}{2!}h^2 leqslant frac{lambda^2(b-a)^2}{8}
]
即
[E(e^{lambda X}) leqslant e^{frac{lambda^2(b-a)^2}{8}}
]