概率论与数理统计基础知识

期望

期望的性质

期望服从线性运算规则。
(E(ax+by+c)=aE(x)+bE(y)+c)

乘积的期望

一般来说，乘积的期望不等于期望的乘积，除非随机变量之间相互独立。例如，若随机变量(X)和(Y)相互独立，那么有：
(E(XY)=E(X)E(Y))

方差

方差的定义

方差是一种特殊的期望：
(Var(x)=E((x-E(x))^2))

方差的性质

1. 反复利用期望的线性性质，可以得到方差的展开表示：
   (Var(x)=E(x^2)-(E(x))^2) (这里E(x)相当于看成是一个常数)
2. 常数的方差为0。
3. 方差不满足线性性质。
   (Var(ax+by)=a^2Var(x)+b^2Var(y)+2Cov(x,y)),其中(Cov(x,y))为(x)和(y)的协方差。
4. 独立变量的方差
   如果(x)和(y)相互独立，那么有：
   (Var(ax+by)=a^2Var(x)+b^2Var(y))
   特别的，若(a=1,b=1)，则有：
   (Var(x+y)=Var(x)+Var(y))

协方差

协方差的定义

两个随机变量的协方差定义为：
(Cov(x,y)=E((x-E(x))(y-E(y))))，因此可以说方差是一种特殊的协方差。若(x=y)，则有
(Cov(x,y)=Var(x)=Var(y))

方差的性质

1. 独立变量的协方差为0。
2. 线性组合的协方差：
   (Cov(a+bx,c+dy)=bdCov(x,y))

相关系数

相关系数的定义

(Corr(x,y)=frac{Cov(x,y)}{sqrt{Var(x)Var(y)}})

相关系数的性质

1. 有界性
   相关系数的取值范围是-1到1,其可以看作是无量纲的协方差。
2. 相关系数越接近于1，说明两个随机变量的正相关性越强，相关系数越接近0,说明两个随机变量越不相关，相关系数越接近于-1，说明两个随机变量的负相关性越强。

Reference:

1. https://blog.csdn.net/touristman5/article/details/56281887