Markov Chain

目录

• 符号说明
• 基本概念
  • 马尔可夫链
  • Stationary distributions
    • 例子
    • probability flux
  • 不可约性 (irreducibility)
    • 可达
    • 定义
    • 例子
  • 周期性 (periodicity)
    • 互相可达周期一致定理
    • 定义
    • 例子
  • 常返 (reurrence)
    • 定义
  • Basic Limit Theorem
• 强大数定律之于马氏链
• 性质

Chang J. Markov Chain.

符号说明

• \(\mathcal{S} = \{1, 2, \cdots, N\}\), 状态空间;
• \(X\), 定义在状态空间 \(\mathcal{S}\) 之上的随机变量;
• \(\pi_0, \pi_0(i) := \mathbb{P}(X_0 = i)\), 各初始状态的概率 (行向量);
• \(P \in \mathbb{R}^{N \times N}, P_{ij} := \mathbb{P}(X_{n+1} = j | X_n = i )\), 转移概率;
• \(\pi_{n + 1} = \pi_n P\) 为第 \(n + 1\) 步后的状态概率;
• \(T_j\), 从状态\(X_0\) 开始第一次落在状态 \(j\)所用步数.

基本概念

马尔可夫链

马尔可夫性: 称随机过程 \(X_0, X_1, \cdots\) 满足马尔可夫性, 如果

\[\mathbb{P}(X_{n+1} = i_{n+1}|X_{n} = i_n, \cdots, X_0=i_0) = \mathbb{P}(X_{n+1} = i_{n+1}|X_{n} = i_n) \]

Stationary distributions

满足下列等式的分布成为马氏链的平稳分布:

\[\pi = \pi P. \]

即

\[\pi(j) = \sum_{i \in \mathcal{S}} \pi(i) P(i, j). \]

例子

• Ehrenfest Chain: 设想有 \(0, 1, \cdots, d\) 区域, 每个区域往旁边两个区域的转移概率为

\[P(i, i - 1) = i / d, \: P(i, i + 1) = (d - i) / d, \]

则平稳分布为

\[\pi = \frac{1}{2^d}(C_d^0, C_d^1, \cdots, C_d^d). \]

• \(\mathcal{S} = \{1,2, \cdots \}\), 且

\[P(i, i + 1) = 1, \]

则不存在平稳分布.

• \(\mathcal{S} = \{1, 2, \cdots\}\), 且

\[P(i, i-1) = 1 / 2 = P(i, i + 1), \]

则有

\[\pi(j) = \frac{1}{2}\pi(j - 1) + \frac{1}{2}\pi(j + 1), \]

可以发现, 理论上应该是

\[\pi = \frac{1}{Z} (1, 2, 3, \cdots) \]

显然不存在这样的常数\(Z\)成立, 故也不存在平稳分布.

probability flux

从子集 \(A\) 到子集 \(B\) 的 flux 定义为

\[\begin{array}{ll} \text{flux}(A, B) &=\sum_{i \in A} \sum_{j \in B} \pi(i) P(i, j) \\ &=\sum_{i \in A} \pi(i) \sum_{j \in B} P(i, j) \\ &=\sum_{i \in A} \pi(i) \mathbb{P}(X_n \in B | X_{n-1} = i) \\ &=\mathbb{P}(X_n \in B, X_{n-1} \in A) \\ \end{array} \]

显然有如下性质

1. 线性性质

\[\text{flux}(A, B \cup C) = \text{flux}(A, B) + \text{flux}(A, C), \\ \text{flux}(B \cup C, A) = \text{flux}(B, A) + \text{flux}(C, A). \\ \]

2. 对于 \(\{k\}\):

\[\text{flux}(\mathcal{S}, \{k\}) =\text{flux}(\{k\}, \mathcal{S}) = \pi(k). \]

3. 于是对于任意子集 \(A\):

\[\text{flux}(\mathcal{S}, A) = \text{flux}(A, \mathcal{S}) = \sum_{i \in A} =\pi(i). \]

4. 最后, 有

\[\text{flux}(A, A^C) = \text{flux}(A, \mathcal{S}) - \text{flux}(A, A) = \text{flux}(A^C, A) \]

成立.

不可约性 (irreducibility)

• \(\mathbb{P}_i (A) := \mathbb{P}(A|X_0 = i)\), 类似的 \(\mathbb{E}_i\).

可达

可达: 称状态 \(i\) 可达 状态 \(j\), 如果

\[\mathbb{P}_i \Bigg\{ \bigcup_{n=0}^{\infty}\{X_n = j\} \Bigg\} > 0, \]

或等价地,

\[\sum_{n=0}^{\infty} P^n(i, j) = \sum_{n=0}^{\infty}\mathbb{P}_i \{X_n = j\} > 0. \]

定义

不可约: 我们称马氏链是不可约的, 若对于其中任意状态 \(i, j\), 都是互相可达的.

注: 实际上, 可以将互相可达(communicating)看成一个关系, 可以将状态分成若干等价类, 类内互相可达, 类间不互相可达. 显然不可约即只有一个等价类.

例子

• 对于任意 \(\pi_0\), 假设

\[P = \left ( \begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array} \right ), \]

显然有 \(\pi_0 = \pi_0 P\), 此时任意的先验 \(\pi_0\) 都是平稳分布的.

周期性 (periodicity)

周期: 给定马氏链 \(\{X_0, X_1, \cdots \}\), 定义状态 \(i\) 的周期为(最大公约数)

\[d_i = \mathrm{gcd}\{n: P^{n}(i, i) > 0\}. \]

互相可达周期一致定理

定理: 如果状态 \(i, j\) 互相可达, 则 \(d_i = d_j\).

---

proof:

由于 \(d_i = d_j\) 互相可达, 则存在

\[P^{n_1}(i, j) >0, P^{n_2}(j, i) > 0, \]

故

\[d_1 | n_1 + n_2. \]

对于任意 \(n \in \{n: P^{n} (j, j) > 0\}\), 有

\[d_1 | n_1 + n + n_2, \]

故 \(d_1\) 为 \(n \in \{n: P^{n} (j, j) > 0\}\)的公约数, 即

\[d_1 | d_2, \]

反之可得

\[d_2 | d_1. \]

故

\[d_1 = d_2. \]

---

定义

不可约的马氏链是非周期性 (aperiodic) 的, 如果它的周期为1, 否则称其为周期性 (periodic) 的.

例子

• 对于任意 \(\pi_0 = (p, q)\), 假设

\[P = \left ( \begin{array}{cc} 0 & 1 \\ 1 & 0 \end{array} \right ), \]

改马氏链不可约, 其周期为2, 显然\(n\)为奇数是

\[\pi_n = (q, p), \]

偶数时

\[\pi_n = (p, q), \]

故这种情况下分布是不收敛的.

常返 (reurrence)

定义

常返: 状态 \(i\) 是常返的, 如果

\[\mathbb{P}_i(T_i < +\infty) = 1, \]

其中

\[T_i = \text{inf}\{n > 0: X_n = i\}, \]

为从 \(i\) 首次回到 \(i\) 的时间, 否则称为非常返 (transient) 的.

显然常返的含义就是, 状态 \(i\) 在有限时间内一定会返回到自身. 注意和可达的区分, 可达只是回答了能不能从某个状态到另一个状态, 其相当于是 (0!)

\[\mathbb{P}_i (T_j < +\infty) > 0, \: i \not = j. \]

注: 我们来理解下

\[\mathbb{P}_i(T_i < +\infty) = 1, \]

假设

\[\mathbb{P}_i(T_i < n) = 1 - \frac{1}{n}, \]

则

\[\mathop{\lim} \limits_{n \rightarrow \infty} \mathbb{P}_i(T_i < n) = 1. \]

但是我们找不到一个固定的 \(N\), 使得

\[\mathbb{P}_i(T_i < N) = 1. \]

定理1.24: 假设 \(i\) 是常返的且可达 \(j\), 则

1. \(\mathbb{P}_i (T_j < +\infty) = 1\);
2. \(\mathbb{P}_j (T_i < +\infty) = 1\);
3. 状态 \(j\) 也是常返的.

定理1.25: 状态 \(i\) 是常返的, 当前仅当

\[\mathbb{E}_i [N_i] = \infty, \]

其中

\[N_i = \sum_{n=0}^{\infty} I(X_n = i). \]

---

proof:

如果 \(i\) 是常返的, 则

\[\mathbb{P}_i (N_i = \infty) = 1, \]

故期望为 \(\infty\).

\(\Leftarrow\) 可通过反证法, 此时假设

\[q := \mathbb{P}_i (T_i = \infty) > 0. \]

假设从 \(i\) 出发第一次回到 \(i\) 的路径记为 cycle \(R\), 整个过程可能有

\[c = 0, 1, 2, \cdots \]

个这样的 cycles. 显然

\[\mathbb{P}(c = 0) = q. \]

因为回到 \(i\) 之后的路径和之前的路径是独立的, 故

\[\mathbb{P}(c = k) = (1 - q)^k q, \]

实际上是一个成功率为 \(q\) 的几何分布. 而 \(N_i = c + 1\),

\[\mathbb{E}[N_i] = \frac{1}{q} + 1. \]

---

推论1.26: 如果 \(j\) 是非常返的, 则 \(\lim_{n \rightarrow \infty} P^n (i, j) = 0, \: \forall i\).

命题1.30: 假设马氏链有平稳分布 \(\pi\), 如果状态 \(j\) 是非常返的, 则 \(\pi(j) = 0\).

---

proof:

既然

\[\pi(j) = \sum_i \pi(i) P^n(i, j), \]

而通过推论1.26可知

\[P^n(i, j) \rightarrow 0. \]

---

推论1.32: 如果不可约的马氏链具有平稳分布, 则该链是常返的(所有状态).

---

proof:

由定理1.24可知, 不可约的马氏链要么都是常返的, 要么都是非常返的, 而如果是非常返的, 由上述命题1.30又可知 \(\pi(i) = 0, \forall i\), 此时不符合分布的条件.

---

Basic Limit Theorem

Basic Limist Theorem: 令 \(X_0, X_1, \cdots\) 为不可约的, 非周期的马氏链且具有平稳分布 \(\pi\). \(X_0\) 的初始分布为任意 \(\pi_0\), 有

\[\lim_{n \rightarrow \infty} \pi_n(i) = \pi(i), \: \forall i \in \mathcal{S}. \]

---

证明思路 (非常有意思):

1. 证明

\[\|\pi_n - \pi\|_{TV} \le \mathbb{P}(T < n), \\ T := \inf \{n: X_n = Y_n\}, Y_0 \sim \pi. \]

于是只需证明 \(\mathbb{P}(T < n) \rightarrow 0\);
2. 构建 \(Z := \langle X, Y \rangle\), 此时只要

\[\mathbb{P}(T_Z(j) < n) \rightarrow 0, \forall j \\ T_Z(j) := \inf \{n: Z_n = (j, j)\}. \]

3. 可证明一个充分条件: \(Z_0, Z_1, \cdots\) 是不可约的常返的;
4. 因为 \(Z\) 有平稳分布 \(\pi(i)\pi(j)\), 故只需证明 \(Z\) 是不可约的 (推论1.32);
5. 通过非周期性证明存在 \(N\), \(P^n(i, i) > 0, \forall n > N\), 再有 \(X, Y\)本身的不可约可得

\[P^n(i, j) > 0, \forall n > N. \]

6. \(Z\)的转移概率记为 \(P_X(i, j) P_Y(i', j')\), 不可约证毕.

---

强大数定律之于马氏链

这里只记录结果:

定理1.39: 假设马氏链 \(X_0, X_1, \cdots\) 从状态 \(X_0 = i\) 出发, 且状态 \(i\) 可达状态 \(j\), 则

\[\mathbb{P}_i \Bigg\{\lim_{n \rightarrow \infty} \frac{1}{n} \sum_{t=1}^n I\{X_t = j\} = \frac{1}{\mathbb{E}_j [T_j]}\Bigg\} = 1. \]

推论1.40: 对于不可约的马氏链, 有

\[\lim_{n \rightarrow \infty} \frac{1}{n} \sum_{t=1}^n P^t(i, j) = \frac{1}{\mathbb{E}_j [T_j]} \: \forall (i, j). \]

定理1.41: 不可约的马氏链若同时为 positive recurrent (\(\mathbb{E}_j(T_j) < \infty\)), 则其存在唯一的平稳分布

\[\pi(j) = \frac{1}{\mathbb{E}_j(T_j)}. \]

性质

1. \(X_0, X_1, \cdots\)为一马氏链:

\[\mathbb{P}(X_2 \in B| X_1 = x_1, X_0 \in A) = \mathbb{P}(X_2 \in B| X_1 = x_1) \\ \mathbb{P}(X_2 \in B| X_1 \in A, X_0 = x_0) \not \rightarrow \mathbb{P}(X_2 \in B| X_1 \in A). \\ \]

后者不成立的反例考虑 \(A = \mathcal{S}\) 即可.

2. \(X_0, X_1, \cdots\)为一马氏链, $ i < j < k$:

\[\mathbb{P}(X_j|X_i) \mathbb{P}(X_k|X_j) =\mathbb{P}(X_k,X_j|X_i). \]

既然 \(\mathbb{P}(X_k|X_j) = \mathbb{P}(X_k|X_j, X_i)\).

未完待续...