【概率论】联合分布

联合分布

部分公式是自己推导的，有不对的地方请说出来 QAQ

离散随机变量

假设 (X) 和 (Y) 是定义在同一样本空间上的离散随机变量，它们的联合频率函数是 (p(x_i, y_i) = P(X=x_i, Y = y_i))。

(P_X(x) = sum_i p(x, y_i))​ 为 (X)​ 的边际频率函数，(P_Y) 的定义类似。

连续随机变量

假设 (X)​​ 和 (Y)​​ 是具有累积分布函数 (F(x, y))​​ 的连续型随机变量，它们的联合密度函数是两变量的分段连续函数。

(F(x, y) = int_{-infty}^x int_{-infty}^y f(u, v)dvdu)。

那么在导数定义存在的情况下，(f(x, y) = frac{partial^2}{partial x partial y} F(x, y))。

((X, Y)) 落入 ((x, y)) 的较小邻域概率与 (f(x, y)) 成比例：(P(xleq X leq x+dx, yleq Y leq y+dy)=f(x, y)dxdy)。

(X) 的边际累积分布函数： (F_X(x) = P(Xleq x) = int_{-infty}^x int_{-infty}^{+infty}f(u, y)dydu)​。

(X)​ 的边际密度函数为：(f_X(x) = F_X'(x) = int_{-infty}^{+infty}f(x, y)dy)​​。

独立随机变量

定义

随机变量 (X_1,dots,X_n)​​​​​ 称为独立的，如果 (forall x_i)​​​​​，它们联合累积分布函数可分解成各自边际累积分布函数之积 (F(x_1,dots,x_n) = prod F(X_i))​​​​，该定义对离散型和连续型随机变量都是成立的。

对于离散型随机变量，等价的叙述为：分解联合频率函数。

对于连续型随机变量，等价的叙述为：分解联合密度函数。

条件分布

离散情形

如果 (X) 和 (Y) 是离散随机变量，给定 (Y=y_j) 的情况下 (X=x_i) 的条件概率是：如果 (p_Y(y_j)>0)​，那么

[P(X=x_i|Y=y_j) = frac{P(X=x_i, Y=y_j)}{P(Y=y_i)} = frac{p_{XY}(x_i, y_j)}{p_Y(y_j)} ]

也可以重新表述为：

[p_{XY}(x, y) = p_{X|Y}(x|y)p_Y(y) ]

连续情形

如果 (f_Y(y)>0)​，那么

[f_{XY}(x, y) = f_{X|Y}(x|y)f_Y(y) ]

否则为 (0)。

联合分布随机变量函数

首先考虑一些重要的特殊情形：

和与商

和

对于离散形式，设 (X,Y) 为离散型随机变量，具有联合频率函数 (p(x, y))，令 (Z = X+Y)，那么 (Z) 的频率函数为：

[p_Z(z) = sum_{i=-infty}^infty p(x, z-x) ]

这个和称为序列 (p_X,p_Y) 的卷积。

对于连续形式，设 (X,Y) 为连续型随机变量，我们首先计算 (Z=X+Y) 的累积分布函数 (F_Z)。

[egin{aligned} F_Z(z) &= P(x+yleq z)\ &= int_{-infty}^{+infty} int_{-infty}^{z-x}f(x, y)dydx \ &{overset{v=x+y}{=}} int_{-infty}^{+infty} int_{-infty}^{z}f(x, v-x)dvdx \ & = int_{-infty}^{z} int_{-infty}^{+infty} f(x, v-x)dxdv \ end{aligned} ]

(int_{-infty}^{+infty} f(x, v-x)dx) 可以看作是 (g(v))（关于 (v) 的函数）。

那么 (f_Z(z) = int_{-infty}^{+infty} f(x, z-x)dx)​。

如果 (X,Y) 独立，那么 (f_Z(z) = int_{-infty}^{+infty} f_X(x) f_Y(z-x)dx)

商

下考虑两个随机变量的商。

(Z = Y/X)，推导的方式类似于上述和的推导方式可以得到结果，这里采取另一种方法：利用二重积分的变量替换。

令：

[egin{cases} u = y/x\ v=x end{cases} ]

那么有：

(F_Z(z) = int_{-infty}^{z} int_{-infty}^{+infty} f(v, uv)|J|dvdu)

其中 (J = frac{partial (x, y)}{partial (u, v)})，这里的 (|J|) 是 (J) 的绝对值。​

化简即可得到 (F_Z(z) = int_{-infty}^{z} int_{-infty}^{+infty} |x|f(x, xv)dxdv)​​

因此 (f_Z(z) = int_{-infty}^{+infty} |x|f(x, xz)dx)

如果 (X,Y) 独立，(f_Z(z) = int_{-infty}^{+infty} |x|f_X(x) f_Y(xz)dx)​。

一般情形

利用类似于上面使用雅可比行列式求随机变量的商的方法，我们可以得到多个随机变量函数的一般情形。

假设 (X,Y) 是连续型随机变量，通过 (g_1,g_2) 投影到 (U,V) 上：(u=g_1(x, y),v=g_2(x, y))。

同时存在逆变换 (x=h_1(u, v),y=h_2(u, v))，那么有

[f_{UV}(u, v) = f_{XY}(h_1(u,v),h_2(u,v))|J^{-1}(h_1(u, v), h_2(u, v))| ]

不难注意到这个公式和一维公式的形式是非常接近的。

极值与顺序统计量

假设 (X_1,dots,X_n)​ 是具有密度 (f(x))​ 的独立连续型随机变量，对 (X_i) 排序，记 (X_{(1)}<dots<X_{(n)}) 为顺序统计量，现求 (X_{(k)}) 的密度函数 (f_{k}(x))。

用先求分布函数然后微分的方法比较复杂。

因为分布函数为 (F_k(x) = sum_{i=k}^n C_n^i[F(x)]^i[1-F(x)]^{n-i})。

然后接下来我不会化了

注意到事件（已排列好） (xleq X_{(k)} leq x+dx)​ 发生的概率为：

[[F(x)]^{k-1}[1-F(x)]^{n-k}f(x)dx ]

因此密度函数为：

[egin{aligned} f_k(x) &= C_n^{k-1}C_{n-(k-1)}^1[F(x)]^{k-1}[1-F(x)]^{n-k}f(x)\ &= frac{n!}{(k-1)!(n-k)!}[F(x)]^{k-1}[1-F(x)]^{n-k}f(x) end{aligned} ]

至于极值（极大值、极小值）的密度函数便分别为上式 (k=n,1)​ 的结果。