隐马尔可夫模型

学习资料： 《自然语言处理入门》

隐马尔可夫模型的假设

1. 假设1：状态序列y构成隐马尔可夫链——状态yi仅仅依赖于前一个状态yi-1
2. 假设2：任意时刻的观测序列xi只依赖于该时刻的状态yi
3. 隐马尔可夫模型是生成式模型，先求联合分布P(x,y)，再用贝叶斯公式求P(x|y)

如果一个场景满足1、2，则这个场景符合隐马尔可夫模型。只要求出初始状态概率向量、转移概率矩阵、发射概率矩阵，就可以确定一个模型。

局限：正因为有该模型有2个假设，而事实上这种假设与事实并不相符，所以优势效果不是很好。

隐马尔可夫模型的三个基本用法

1. 样本生成：给定模型(lambda=(pi,A,B))，可以生成满足模型约束的样本对({(x^{(i)},y^{(i)})})
   随机生成
2. 模型训练：给定训练集，估计模型参数(lambda=(pi,A,B))
   极大似然估计
3. 序列预测：已知模型参数，给定观测序列x，求可能的状态序列y
   P(x,y)联合概率贝叶斯公式和搜索的维特比算法

其他

维特比算法是搜寻最小路径的算法。