在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面的符号无关
马尔可夫信源满足的两个条件
-
某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关
[P(x_l=a_k|s_l=E_i,x_{l-1}=a_{k1},s_{l-1}=E_j,cdots)=P(x_ll=a_k|s_l=E_i) ]当符号输出概率与时刻L与福安。称具有时齐性
[P(x_l=a_k|s_l=E_i)=P(a_k|E_i),sum_{a_kepsilon A}P(a_k|E_i)=1 ] -
信源的下一个状态由当前状态和下一刻的输出唯一地确定
[信源处于某一状态E_i，当他发出一个符号后，所处的状态就变了，一定转移到另一状态。状态的转移依赖于信源符号。
]
m阶马尔科夫信源
[m阶马尔可夫信源符号集共有q个符号，则信源共有q^m个不同的状态。信源在某一的时刻，必然处于某一状态，等到下一个字符输出时，转移到另外一个状态。
]
马尔可夫信源熵
[定义Q(E_i)为各状态的极限概率，则时齐、遍历的马尔可夫信源熵为
H_{infty}=sum_{i=1}^J Q(E_i)H(X|E_i)
=sum_{i=1}^J sum_{k=1}^q Q(E_i)P(a_k|E_i) log P(a_k|E_i)
]
[H_{infty}=H(X_{x+1}|X_1X_2X_3 cdots X-m)
表明m阶马尔可夫信源熵的极限熵等于m阶条件熵。
根据条件熵公式还可以得到:
H_{infty}=H_{m+1}=
-sum_{i=1}^{q^m} sum_{j=1}^{q^m}p(e_i)p(e_i|e_j) log p(e_j|e_i)
]
离散信源上的总结
实际信源可能是非平稳的有记忆随机序列信源；其极限熵是不存在的；解决的方法是假设其为离散平稳随机序列信源，极限熵存在，但求解困难；
- 进一步假设其为m阶马尔可夫信源，用其m阶条件熵近似；
- 再进一步假设为一阶马尔可夫信源，用其一阶条件熵来近似；
- 最简化的信源是离散无记忆信源，其熵为H(X)；
- 最后可以假定为等概的离散无记忆信源，其熵为log q
[他们之间的关系可以表示为
log q=H_0(X)geq H_1(X)geq H_{l+1}(X)geq cdots geq H_{m+1}(X) geq H_{infty}(X)
]
熵的相对率
[eta =frac{H_{infty}}{H_0}
]
[H_0=log q
]
信源剩余度
[gamma =1- eta =1-frac{H_{infty}}{H_0}
]