概率论与数理统计基础<1>:随机事件与随机变量

Part1. 随机事件

1-1.随机试验

随机试验:可以在相同条件下重复进行，每次试验的结果不止一个，事先知道所有可能的结果但不确定是哪一个的试验。
举例：重复的抛出一枚均匀的硬币就是一个随机试验，事先知道它的结果，但是不知道究竟是正面还是反面。

1-2.随机事件

定义1：随机试验可能的结果，称为样本空间，它的子集就叫做随机事件。
定义2：在一定条件下，可能发生也可能不发生的事件叫做随机事件。
举例：抛出硬币后可能正面落地，可能反面落地，那么“抛出硬币后正面落地”就是一个随机事件，它可能发生，也可能不发生。

1-3.频率与概率

频率：(n)次重复试验，事件A发生的次数为(n_A)，则(n_A/n)就是事件A发生的频率。
概率：当重复试验次数n越来越大时，事件A发生的频率(n_A/n)就会越来越稳定于一个常数；当试验次数趋向无穷大时，频率就等于这个常数，这个常数就被称为概率。
概率是一个随机事件的固有属性，它代表一个随机事件发生的可能程度，而频率是一个随机事件在一系列试验中发生的结果情况，是一个统计值。

1-4.古典概型（等可能概型）

古典概型：如果一个随机试验的结果有限，并且每一种结果发生的可能性相同，那么这个概率模型就是古典概型，也称为等可能概型。

1-5.条件概率与全概率

条件概率：

[P(B|A)=frac{P(AB)} {P(A)}, 其中P(A)>0 ]

事件A发生的情况下事件B发生的概率，称为条件概率。
全概率：

[P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+…+P(A|B_n)P(B_n) ]

其中，(B_i cap B_j= emptyset,i eq j,i,j=1,2…n;B_1cup B_2 cup … cup B_n = S.)

1-6.贝叶斯公式

[P(B_i|A)=frac{P(B_iA)}{P(A)}=frac{P(A|B_i)P(B_i)}{sumlimits_{j=1}^n{P(A|B_j)P(B_j)}},i=1,2…n. ]

其中，(P(A)>0,P(B_i)>0(i=1,2…n))

1-7.先验概率与后验概率

先验概率：(P(Y))
后验概率：(P(Y|X))
先验概率是事前概率，是历史数据统计得到的预判概率；后验概率是一个事件发生后另外一个事件发生的概率，是条件概率。
举例：
根据历史统计数据，这个季节下雨的概率为(P(A))，而打雷后下雨的概率为(P(A|B))，前者为先验概率，后者为后验概率。
贝叶斯公式就是一种通过先验概率计算后验概率的方法。

1-8.独立事件

相互独立：
设A、B是两个随机事件，如果满足(P(AB)=P(A)P(B))，则称A、B相互独立。
定理1：
设A、B是两个随机事件，且(P(A)>0)，则A、B相互独立等价于(P(B|A)=P(B))。
如果两个时间相互独立，那么一个事件是否发生对另一个事件发生没有影响。
定理2：
如果A、B相互独立，则(ar A)与(B)、(ar A)与(ar B)、(A)与(ar B)均为相互独立事件。
推广到n个事件：
设(A_1,A_2,……,A_n)是(n(n geq 2))个事件，如果其中任意多个事件的积事件的概率，都等于各事件的概率之积，则称(A_1,A_2,……,A_n)相互独立。

---

Part2. 随机变量

2-1.随机变量

随机试验可能的结果形成了样本空间S，随机事件就是样本空间S的某个子集，而样本空间S中每个元素e都会对应一个实数，这种映射关系可以定义为一个函数f(e)，那么这个函数就c称为随机变量。
这样定义随机变量：随机变量是随机试验样本空间上的单值实数函数。
因此，随机变量的取值是由随机试验的结果确定，具有概率性。
举例：
重复的抛出一枚均匀的硬币，其结果可能是正面朝上，也可以能是反面朝上，结果可能情况提前知道但不确定具体是哪种结果，所以说，这是一个随机试验。
"结果正面朝上"是其中一种结果，是一个随机事件，可能发生，也可能不发生。
如果定义“抛出一枚硬币，正面朝上的次数”为X，那么，“结果正面朝上”时，X=1；“结果反面朝上”时，X=0。那么X就是一个随机变量。

2-2.连续型随机变量与离散型随机变量

离散型随机变量：取值可以一一列举，有限个或者可列举的无限多个。
连续型随机变量：取值不能一一列举，可能取值连续的充满了某一区间。

2-3.离散型随机变量的分布律

定义：设离散型随机变量(X)所有可能的取值为(x_k(k=1,2,…))，X取各个可能值的概率为：

[P{X=x_k}=p_k,k=1,2,… $$其中$p_k$满足两个条件：1）$p_k geq 0,k=1,2…$；2）$sumlimits_{k=1}^infty{p_k}=1$。 可以将分布律用表格表示：  <br> ##2-4.随机变量的分布函数 定义：设X是一个随机变量，x是任意实数，函数: $$F(X)=P{X geq x}, -infty < x < +infty $$ 称为$X$的**分布函数**。 有以下性质： 1）对于任意实数，$x_1,x_2(x_1 leq x_2)$，有: ]

P{x_1< X leq x_2}=P{X leq x_2}-P{X leq x_1}=F(x_2)-F(x_1)

[2）$F(X)$是一个不减函数； 3）$F(-infty)=0,F(+infty)=0$； 4）$F(X)$是一个右连续函数； <br> ##2-5.连续型随机变量的概率密度函数 对于一个连续型随机变量$X$,其分布函数为$F(X)$，如果存在非负函数$f(x)$，并且对于任意实数$x$，有： ]

F(X)=int_{-infty}^x {f(t)}{ m d}t

[那么就称$f(x)$为随机变量$X$的**概率密度函数**。 有以下性质： 1）$f(x) geq 0$； 2）$int_{-infty}^{+infty} {f(x)}{ m d}x=1$； 3）对于任意实数$x_1,x_2(x_1 leq x_2)$，有$P{x_1<X leq x_2}=F(x_2)-F(x_1)=int_{x_1}^{x_2} {f(x)}{ m d}x$； 4）若$f(x)$在点$x$处连续，则有$F'(X)=f(x)$。 <br> ##2-6.重要的随机变量分布 ###（1）0-1分布 **定义**：随机变量$X$只可能取两个值：0或者1，分布律为： ]

P{X=x_k}=p^k{(1-p){1-k}},k=0,1,其中0<p<1.

[ ###（2）二项分布 **伯努利试验**：某一个试验只有两种可能的结果，独立的进行n次重复试验，称为**n重伯努利试验**。 两个特点：1）重复：两个可能的结果及其概率不变；2）独立：两两试验之间互不影响。 **定义**：随机变量$X$表示n重复伯努利试验中某事件A发生的次数，那么它的概率为： ]

P{X=k}={n choose k}{p^k}{(1-p){n-k}},k=0,1,…,n

[ 其中，$p$为事件A发生的概率。 我们称$X$服从(n,p)的**二项分布**，当n=1时，即为0-1分布。 ###（3）几何分布 **定义**：随机变量$X$表示n重复伯努利试验中某事件A第一次发生时的试验次数，那么它的概率为： ]

P{X=k}=(1-p)^{k-1}p,k=1,2,…

[ 其中，$p$为事件A发生的概率。 我们称$X$服从**几何分布**，记为$X~G(p)$。 ###（4）泊松分布 **定义**：随机变量X所有可能取值为0,1,2,…，如果各个取值的概率为： ]

P{X=k}=frac{lambda ^k{e{-lambda}}}{k!},lambda > 0

[ 则称随机变量$X$服从**泊松分布**，记为$X$~$pi(lambda)$。 ###（5）均匀分布 **定义**：如果连续型随机变量X具有概率密度函数： ]

f(x)=egin{cases}
frac{1}{b-a},quad a leq xleq b
0, quad 其他
end{cases}

[则称$X$在区间$[a,b]$上服从**均匀分布**，记为$X$~$U(a,b)$。 均匀分布的概率大小只与区间长度有关，与区间位置无关。 ###（6）指数分布 **定义**：如果连续型随机变量X具有概率密度函数： ]

f(x)=egin{cases}
frac{1}{ heta}e^{-x/ heta},quad x>0
0, quad 其他
end{cases}

[其中，$ heta>0$为常数，则称$X$服从参数为$ heta$的**指数分布**。 具有以下性质： 对于任意的$s,t>0$，有$P{X>s+t|X>s}=P{X>t}$ ###（7）正态分布 **定义**：如果连续型随机变量$X$的概率密度函数为： $$f(x)= frac{1}{sqrt{2pi}sigma}e^{-frac{(x-mu)^2}{2{sigma}^2}}, -infty <x< +infty $$ 其中$mu,sigma(sigma>0)$为常数，则称X服从参数为$mu,sigma$的**正态分布（高斯分布**），记为$X$~$N(mu,{sigma}^2)$。 具有以下性质： 1）图像关于$x=mu$轴对称，$x=mu$取到最值$frac{1}{sqrt{2pi}sigma}$； 2）$sigma$越小，曲线越尖瘦，越大越矮胖。 其分布函数为： ]

F(X)=frac{1}{sqrt{2pi}sigma} int_{-infty}^xe{-frac{(t-mu)^2}{2{sigma}2}}dt

[**标准正态分布**： 当$mu=0,sigma=1$时，随机变量X服从**标准正态分布**。 其概率密度函数为： ]

f(x)=frac{1}{sqrt{2pi}}e^{-frac{x2}{2}}, -infty <x< +infty

[其分布函数为： ]

F(X)=frac{1}{sqrt{2pi}} int_{-infty}^xe{-frac{t^2}{2}}dt

[普通正态分布函数转为标准正态分布函数： ]

F(X)=Phi(frac{X-mu}{sigma})

[**$3sigma$原则**： 如果一个随机变量服从正态分布$N(mu,{sigma}^2)$，那么其99.74%的概率会分布在$(mu-3sigma,mu+3sigma)$范围内。 <br> <br> ---------- ##Part3. 随机变量的数学特征 ###3-1.期望 期望，又称均值，由随机变量$X$的概率分布确定。 对于一个离散型随机变量$X$，其分布律为$P{X=x_k}=p_k,k=1,2,…$，则其期望为： ]

E(X)=sum_{k=1}^{+infty}{x_k}{p_k}

[对于一个连续型随机变量$X$，其概率密度函数为$f(x)$，则其期望为： ]

E(X)=int_{-infty}^{+infty} x{f(x)}dx

[期望的性质： 1）设$C$为常数，则有$E(C)=C$； 2）设$X$是一个随机变量，C是常数，则有$E(CX)=CE(X)$； 3）设$X,Y$是两个随机变量，则有$E(X+Y)=E(X)+E(Y)$，可推广到任意有限个随机变量之和； 4）设$X,Y$是相互独立的随机变量，则有$E(XY)=E(X)E(Y)$，可推广到任意有限个相互独立的随机变量之积。 <br> ###3-2.方差 方差，用来度量随机变量X与其均值E(X)之间的偏离程度。D(X)越小代表数据越集中，越大代表数据越分散。 ]

D(X)=Var(X)=E{[X-E(X)]^2}

[标准差，或称均方差为$sigma(X)=sqrt{D(X)}$。 对于一个离散型随机变量，其方差为： ]

D(X)=sum_{k=1}^{{+infty}{[x_k-E(X)]}2{p_k}}

[对于一个连续型随机变量，其方差为： ]

D(X)=int_{-infty}^{+infty} {[x-E(X)]^2}{f(x)}dx

[另外，方差与期望之间有如下关系： ]

D(X)=E(X^2)-[E(X)]2

[方差的性质： 1）设$C$为常数，则$D(C)=0$； 2）设$X$施随机变量，$C$是常数，则有：$D(CX)=C^2{D(X)}, D(X+C)=D(X)$ 3）设$X,Y$是两个随机变量，则有$D(X+Y)=D(X)+D(Y)+2E{(X-E(X))(Y-E(Y))}$ 特别地，如果$X,Y$相互独立，则有$D(X+Y)=D(X)+D(Y)$。 <br> ###3-3.协方差与相关系数 二维随机变量$(X,Y)$，定义随机变量$X$与$Y$的**协方差**： ]

Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}

[ 有以下性质： 1）$Cov(X,Y)=Cov(Y,X)$ 2）$Cov(X,X)=D(X)$ 3）$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$ 4）$Cov(X,Y)=E(XY)-E(X)E(Y)$ 5）$Cov(aX,bY)=abCov(X,Y),a,b$是常数 6）$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_1,Y)$ 定义随机变量X与Y的**相关系数**： ]

ho_{XY}=frac{Cov(X,Y)}{sqrt{D(X)}sqrt{D(Y)}}

[ 有以下性质：$| ho_{XY}| leq 1$ $ ho_{XY}$是一个可以用来表征$X,Y$之间线性关系紧密程度的量。当$| ho_{XY}|$较大时，就认为$X,Y$线性相关程度大；$| ho_{XY}|$较小时，就认为$X,Y$线性相关程度小；$| ho_{XY}|$为0时，就认为$X,Y$不相关；$| ho_{XY}|$为1时，就认为$X,Y$完全线性相关。 $X,Y$相互独立时，一定不相关；$X,Y$不相关时，则不一定相互独立。 <br> ###3-4.原点矩与中心矩 设$X,Y$是随机变量， k阶原点矩：$E(X^k),k=1,2,…$ k阶中心矩：$E([X-E(X)]^k),k=2,3,…$ k+l阶混合矩：$E({X^k}{Y^l}),k,l=1,2,…$ k+l阶混合中心矩：$E({[X-E(X)]^k}{[Y-E(Y)]^l}),k,l=1,2,…$ 可以看出：期望E(X)是一阶原点矩，方差D(X)是而阶中心距，协方差Cov(X,Y)是X和Y的二阶混合中心矩。 <br> ###3-5.协方差矩阵 对于二维随机变量$(X_1,X_2)$，如果它的四个二阶中心矩都存在，记为： $c_{11}=E{[X_1-E(X_1)]^2}$ $c_{12}=E{[X_1-E(X_1)][X_2-E(X_2)]}$ $c_{21}=E{[X_2-E(X_2)][X_1-E(X_1)]}$ $c_{22}=E{[X_2-E(X_2)]^2}$ 将它们排成矩阵形式： ]

egin{pmatrix} c_{11} & c_{12} c_{21} & c_{22} end{pmatrix}

[这个矩阵就是随机变量$(X_1,X_2)$的协方差矩阵。 推广到$n$维随机变量$(X_1,X_2,…,X_n)$的二阶混合中心矩，如果： $c_{ij}=Cov(X_i,Y_j)=E{[X_i-E(X_i)][X_j-E(X_j)]},i,j=1,2,…$ 都存在，则称矩阵： ]

egin{pmatrix}
egin{array}{cccc}
c_{11} & c_{12} & dots & c_{1n}
c_{21} & c_{22} & dots & c_{2n}
vdots & vdots & &vdots
c_{n1} & c_{n2} & dots & c_{nn}
end{array}
end{pmatrix}

[ 为$n$维随机变量$(X_1,X_2,…,X_n)$的协方差矩阵。 <br> ###3-5.重要分布的数学特征 0-1分布：期望$p$、方差$p(1-p)$ 二项分布：期望$np$、方差$np(1-p)$ 几何分布：期望$frac{1}{p}$、方差$frac{1-p}{p^2}$ 泊松分布：期望$lambda$、方差$lambda$ 均匀分布：期望$frac{a+b}{2}$、方差$frac{(b-a)^2}{12}$ 指数分布：期望$ heta$、方差${ heta}^2$ 正态分布：期望$mu$、方差${sigma}^2$ <br> <br>]