马尔科夫链
第一部分 概念
1.概率向量：一个具有非负分量且数值之和为1的向量。
2.随机矩阵：各列向量均为随机向量的方阵。
3.马尔科夫链：由一个概率向量序列X0,X1,X2,...,Xn和一个随机矩阵P组成，且满足X1=PX0,X2=PX1,...,Xn=PXn-1
第二部分 例题
例1.
|0.5 0.2 0.3| |1|
令 P=|0.3 0.8 0.3| X0=|0|
|0.2 0 0.4| ， |0| ,求 X1,X2,...,X15
答：
计算略。
说明：
X15≈[0.3 0.6 0.1]T=q.并且可以发现Pq=q.
引出另外一个概念：
概念4.稳态向量(平衡向量)：满足Pq=q的向量q。
并且有一个定理：
定理一：任何一个随机矩阵有一个稳态向量，给定随机矩阵便确定了稳态向量，稳态向量与初始向量X0无关，只与随机矩阵P有关。(证明略)
例2：求P=|0.6 0.3|
|0.4 0.7|的稳态向量q.
答：
因为Pq=q，所以Pq-q=0，所以 (P-E)q=0.解此齐次方程组得
X0=[3/4,1]T,因为是概率向量，所以选择更好的[3/7,4/7]T。
可以验证Pq=q
概念4.正则随机矩阵：若某个随机矩阵的k次方(0<=k<∞)包含的数值全部是正数，则此矩阵是正则随机矩阵。
定理2.若P是一个正则随机矩阵，则P具有唯一的稳态向量q。
推论：当k->∞时，Xk->q.
第三部分 应用：
应用题1.
某地区的人口迁移的随机矩阵如下，在2000年是有6000人在城市，4000人在郊区，问在2001年时的人口分布，和若干年后的人口分布。
由 城市 郊区 去
M=|0.95 0.03| 城市
|0.05 0.97| 郊区
答：
1) 2001年的人口分布情况为
|0.95 0.03| |6000| |5820|
|0.05 0.97| |4000|=|4180|
2)求得M的稳态向量为[0.375 0.625]T,所以从长远来看，到无穷年后，人口分布稳定在[3750 6250],即城市3750人，郊区6250人。