条件概率
条件概率 条件概率公式如下:
[P(A/B) = P(Acap B) / P(B)
]
条件概率的链式法则 由条件概率的定义,可直接得出如下的乘法公式:
设 (A, B) 是两个事件,并且 (P(A) > 0) ,则有:
[P(AB) = P(B|A)P(A)
]
一般地,用归纳法可证:若 (P(A_1A_2...A_n)>0) ,则有:
[P(A_1A_2...A_n)=P(A_n|A_1A_2...A_{n-1})P(A_{n-1}|A_1A_2...A_{n-2})...P(A_2|A_1)P(A_1) \
P(A_1A_2...A_n)=P(A_1)prod_{i=2}^{n}P(A_i|A_1A_2...A_{i-1})
]
独立性和条件独立性
独立性 两个随机变量 (x) 和 (y) ,概率分布表示成两个因子乘积形式,一个因子只包含 (x) ,另一个因子只包含 (y) ,两个随机变量相互独立(independent)。
事件独立时,联合概率等于概率的乘积。(P(XY)=P(X)P(Y)) ,事件 (X) 和事件 (Y) 独立。此时给定 (Z) ,(P(X,Y|Z) ot = P(X|Z)P(Y|Z)) 。
条件独立性 给定 (Z) 的情况下,(X) 和 (Y) 条件独立,当且仅当:
[Xot Y|Z iff P(X,Y|Z) = P(X|Z)P(Y|Z)
]
(X) 和 (Y) 的关系依赖于 (Z) ,而不是直接产生。
期望
期望 在概率论和统计学中,数学期望(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。
- 线性运算:(E(ax+by+c) = aE(x)+bE(y)+c)
- 推广形式:(E(sum_{k=1}^{n}{a_ix_i+c}) = sum_{k=1}^{n}{a_iE(x_i)+c})
- 函数期望:设 (f(x)) 为 (x) 的函数,则 (f(x)) 的期望为:
- 离散函数:(E(f(x))=sum_{k=1}^{n}{f(x_k)P(x_k)})
- 连续函数:(E(f(x))=int_{-infty}^{+infty}{f(x)p(x)dx})
- 一般情况下,乘积的期望不等于期望的乘积。如果 (X) 和 (Y) 相互独立,则 (E(xy)=E(x)E(y)) 。
方差
方差 概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。方差是一种特殊的期望。定义为:
[Var(x) = E((x-E(x))^2)
]
- (Var(x) = E(x^2) -E(x)^2)
- 常数的方差为 (0)
- 方差不满足线性性质
- 如果 (X) 和 (Y) 相互独立,(Var(ax+by)=a^2Var(x)+b^2Var(y))
协方差
协方差 协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为:
[Cov(x,y)=E((x-E(x))(y-E(y)))
]
方差是一种特殊的协方差。当 (X=Y) 时,(Cov(x,y)=Var(x)=Var(y)) 。
- 独立变量的协方差为 (0)
- 协方差计算公式:
[Cov(sum_{i=1}^{m}{a_ix_i}, sum_{j=1}^{m}{b_jy_j}) = sum_{i=1}^{m} sum_{j=1}^{m}{a_ib_jCov(x_iy_i)}
]
- 特殊情况:(Cov(a+bx, c+dy) = bdCov(x, y))
相关系数
相关系数 相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为:
[Corr(x,y) = frac{Cov(x,y)}{sqrt{Var(x)Var(y)}}
]
- 有界性。相关系数的取值范围是 ([-1,1]) ,可以看成无量纲的协方差。
- 值越接近 (1) ,说明两个变量正相关性(线性)越强。越接近 (-1) ,说明负相关性越强,当为 (0) 时,表示两个变量没有相关性。