马尔科夫信源

1.马氏源的基本概念

　　马氏源的定义：设信源符号集a_kε  A={a₁,a₂,...,a_n}，状态集合Ω ={1,2,3...J},信源序列为...x_l-1,x_l,x_l+1...,所对应的状态序列为...s_l-1,s_l,s_l+1...,那么满足下面的两个条件的信源称为马尔科夫信源：（1）当前时刻输出符号的概率仅与当前时刻的信源状态有关，与以前的输出符号或状态无关。   （2）当前时刻的信源状态由前一时刻的信源状态和前一时刻的输出符号唯一决定。

　　对于一阶马氏链，一个符号就对应一个状态；而对应于m阶层马氏链，m个符号对应一个状态。可见，符号序列和状态有一一对应的关系。（1）有限状态马氏链是随机序列，是马氏源的输出；（2）马氏链具有初始状态，而平稳马氏源（输出为平稳马氏链）通常不考虑输出的起始。（3）作为马氏源输出的马氏链可以是一阶也可以是多阶。　　（4）马氏源和马氏链可以交替使用，不会引起混淆，如果说多阶马氏链是指其输出为多阶马氏链。
2.m阶马氏链的处理方法

　　p49例3.12中“二阶马氏链转化为马氏源”的步骤与  “m阶马氏链转化为马氏源”的步骤几乎一致。

     

 3.马氏链的N次拓展源的熵的计算

　　3.1马氏链的N次扩展源

　　对于一阶马氏链，X1要用平稳分布，而其他Xi要用条件概率。一个m阶马氏链的N次扩展源的一个符号α={x₁,x₂,x₃,...x_n}是一个长度为N的序列，其概率可由下式计算：P(α)=p(s_m+1)∏_m+1^N p(x_i/s_i),   p(s_m+1)为s_m+1的平稳概率分布，p(x_i/s_i)为状态s_i条件下输出符号x_i的概率。

比如：

          

        

　　3.2马氏链的N次扩展源熵的计算

　　     

后经过推导可以得到：

           

　　3.3马氏源符号熵的计算

　　　　计算方法1：一个m阶平稳马氏源的符号熵为H(X)=lim_N-›∞H_N(X)=πTh .  从这里3.2中计算N次扩展源马氏源的熵在扩展到无穷长后，计算公式变成了H(X)=limH_N(X)=π^Th。为此，m阶马氏源符号熵仅由平稳分布和状态转移概率矩阵所决定。

　　　　计算方法2：（下面这个公式其实就是H(X)=lim_N-›∞H_N(X)=πTh的换一种写法而已。）

　　　　　　

 4.信源的相关性和剩余度

　　信源相关性

　　信源符号之间的依赖关系使信源的熵减小。如果他们的前后依赖关系越长，则信源的熵趋于越小。并且仅当信源符号之间的彼此无依赖、等概率分布时，信源的熵才最大。也就是说信源符号之间的依赖关系越强，每个符号提供的平均信息量越小，平均每个符号提供的信息量随着符号之间的依赖关系长度的增加而减少。

       　　

 　  信源剩余度：（如下图中公式所示：信源剩余度的概念）