计算方法4 图的随机游走

Markov Chain 的本质是概率状态机，这么想就很简单了

为了偷懒只讨论有限的情形

前置

离散概率分布可以表示为 \(\R^n\) 上的向量 \(x\)，满足 \(\sum_{i=1}^n x_i=1\) 且 \(\forall i,x_i\in[0,1]\)

对于用向量表示的概率分布，可以定义两个分布的“距离”：

\[d_{TV}(p,q)=\frac{1}{2}\norm{p-q}_1=\frac{1}{2}\sum_{i=1}^n\abs{p_i-q_i} \]

这里 \(d_{TV}(,)\) 表示 total variation distance。这样就可以定义一列分布的收敛性和极限了。

Markov Chain

对于一系列数量有限的状态，给出每个状态转移到下一个状态的概率 \(Pr[s_i=y\mid s_{i-1}=x]\)，这就构成了一个状态机。把状态看成点，转移概率看成边权，就得到了一个有向带权图，并且这个图满足一些特殊的性质。

考虑怎么算出现在状态 \(i\) 的概率，这本质上是一个一阶递推，写出来就是

\[p_{k+1}=Tp_k \]

这里 \(p_k\) 表示走了恰好 \(k\) 步后，处在每个状态上的概率分布

定义

周期

对于状态 \(i\)，其周期定义为 \(gcd\{t\mid {P^t}_{i,i}>0\}\)，记为 \(period(i)\)。称 Markov Chain 非周期当且仅当所有状态的周期都是 \(1\)

直观理解：从 \(i\) 出发后走恰好 \(t\) 步回到 \(i\)，所有这样的圈的长度的 gcd 即为周期。

这么定义的用处可以在后面看到。

不可约

有限图不可约当且仅当其为强连通图。此处强连通的定义为：任取 \(x,y\in V(G)\)，存在两条有向路径 \(P_1,P_2\) 使得 \(P_1=x\rightsquigarrow y,P_2=y\rightsquigarrow x\)。不要求 \(P_1,P_2\) 点不相交

性质

若 Markov Chain 不可约、非周期，则存在常数 \(T\) 使得当 \(t>T\) 时，\({P^t}_{i,j}>0\) 对任意 \(i,j\) 成立

直观理解：走了足够多步后不存在走不到的状态。

只需要证明存在常数 \(L\)，使得任意长度至少为 \(U\) 的路径，都能在任意两点间找到。

1. 不可约，则 \(i,j\) 存在有向路径 \(i\rightsquigarrow j\)。
2. 非周期，则存在最大的无法由两个圈线性组合出的正整数 \(a\times b-a-b\) （NOIP2017，哈哈），记为 \(mn(i)\)，则此后的任意长度都可以由两个互质的圈线性组合出来。
3. 只需要取 \(T=n+\max\{mn(i)\}\)，则此后可以在任意节点对之间游走。

稳态分布

考虑给定初始分布 \(p_0\)，则极限 \(\lim\limits_{k\to\infty} P^k p_0\) 称为 Markov Chain 的极限分布。

若分布 \(\pi\) 满足 \(P\pi=\pi\)，则称 \(\pi\) 为平衡分布。可以证明极限分布若存在则必然为平衡分布。

设极限分布存在 \(\lim\limits_{k\to\infty}P^k\pi_0=\pi'\)，那么有

\[P\pi'=P\lim\limits_{k\to\infty} P^k\pi_0=\lim\limits_{k\to\infty} P^{k+1}\pi_0=\pi' \]

这说明 \(P\pi'=\pi'\) 是一个平衡分布。

Markov Chain 基本定理

若 Markov Chain 不可约、非周期，那么

1. 存在稳态分布 \(\pi\)
2. 对于任意的 \(p_0\) 都有 \(\lim\limits_{k\to\infty} P^k p_0=\pi\)
3. \(\pi\) 是唯一的
4. \(\pi_i=\dfrac{1}{E[H_i]}\)，其中 \(H_i\) 为随机变量，表示从 \(i\) 出发后第一次回到 \(i\) 的行走步数。\(E[H_i]\) 称为期望回归时间。

出现这个结论的原因在于，足够久之后任意点出发都将能走到任何点，因此两个不同的出发状态在足够久之后将“无法区分”

具体的证明看不懂，咕咕咕

Page Rank

Google 提出的给网页打分的算法。它假设

1. 每个用户在页面 \(x\) 浏览完后，将等概率点击一个 \(x\) 中的超链接（即等概率走向一个邻居）
2. 每个用户在页面 \(x\) 浏览完后，有一定概率直接跳转到任意一个页面 \(y\)

可以发现 2 本质上就是新建超级点 \(S\)，然后每个点连向 \(S\)，再从 \(S\) 连回所有点。

注意到 1 实际上就是在有向图上随机游走，转移矩阵恰好为度数导出的一个概率矩阵。2 保证了即使原图不是非周期、强连通时，用户这样的操作仍然可以使得随机游走存在一个稳态分布/极限分布（新图是强连通/非周期的，why？）。直觉也是符合的，每个人可能会突然停止浏览，然后从另一个完全不相关的页面重新开始冲浪。

并且这样的分数（概率分布）只与图的结构有关，与初始迭代向量没有关系。