http://www.hankcs.com/nlp/segment/ictclas-the-hmm-name-recognition.html
本文主要从代码的角度分析标注过程中的细节，理论谁都能说，但没几人能做出一个实用高效的系统。在得出粗分结果之后，需要对其进行人名、翻译人名、地名识别，然后重新KSP得出最终结果，在ICTCLAS中，这些标注都是通过HMM模型实现的。
人名识别例子
以“王菲”为例，粗分结果是“始##始, 王, 菲, 末##末,”，很明显，粗分过程并不能识别正确的人名，因为“王菲”这个词并不存在于一元语言模型词典中。
HMM模型
因为人名识别是一个HMM的求解问题，所以需要建立HMM模型。接下来详细说明HMM的五个要素：
观测序列
观测序列是我们能看到的显状态序列，这个例子里是“始##始, 王, 菲, 末##末,”。
隐状态
隐状态是下面的标注集(红色部分)：
编码
代码
意义
例子
B
Pf
姓氏
张华平先生
C
Pm
双名的首字
张华平先生
D
Pt
双名的末字
张华平先生
E
Ps
单名
张浩说：“我是一个好人”
F
Ppf
前缀
老刘、小李
G
Plf
后缀
王总、刘老、肖氏、吴妈、叶帅
K
Pp
人名的上文
又来到于洪洋的家。
L
Pn
人名的下文
新华社记者黄文摄
M
Ppn
两个中国人名之间的成分
编剧邵钧林和稽道青说
U
Ppf
人名的上文和姓成词
这里有关天培的壮烈
V
Pnw
人名的末字和下文成词
龚学平等领导, 邓颖超生前
X
Pfm
姓与双名的首字成词
王国维、
Y
Pfs
姓与单名成词
高峰、汪洋
Z
Pmt
双名本身成词
张朝阳
A
Po
以上之外其他的角色
表1 中国人名的构成角色表
红色部分是标签，在本文中，我会混用“标签”“隐状态”“tag”这三个词，不再赘述。
这十五种标签储存在nr.ctx中，分别对应于15个不重复的整型数字：
0 1 2 3 4 5 6 11 12 13 23 24 25 100 101
但是究竟哪个数字对应哪个标签呢？代码中是按照result += (char) (tag + 'A');来映射的，不过100和101会被映射到字母表之外，
0-a 1-b 2-c 3-d 4-e 5-f 6-g 11-l 12-m 13-n 23-x 24-y 25-z 100-Å 101-Æ
看来free版的ictclas并没有按照这篇论文走，或者说论文和代码的发布时间不同，论文做了改进。
这样好了，反正人名识别的最终一步模式匹配只用到了下列标签，这要下列标签能够正常映射，就没有影响。下文中，对于字母表之外的标签，统统用*表示。
B 姓 C 名1 D 名2 E 单名 G 人名后缀 X 姓双名首字成词 Z 双名成词 F 前缀 Y 姓单名成词
打开词典仔细观察了一下，发现
100-对应(始)##始
101-对应(末)##末
此外其他的数字对应的词语也与论文中的标注不同，看来我有必要重新训练一个HMM了，等有空了再说吧。
2014-11-03更新：我做了个新项目HanLP，可以实现了分词与人名识别，请参考《实战HMM-Viterbi角色标注中国人名识别》。
初始概率
初始概率指的是一个隐状态随机出现的概率，可以用某个隐状态的频度除以所有隐状态的频度来计算。每个标签的频度可以从词典中查到：
6937450 92626 69241 70479 14295 870 869 65949 78874 14025 1238 3351 5397 329805 0
转移概率
转移概率是指前面的隐状态固定，后面的隐状态是X时候的概率。这个转移概率表可以通过一个15 * 15的表格来体现：
No. 0= 0: 6561586 0 0 0 0 0 0 56875 0 0 0 0 0 0 318989 total=6937450:
No. 1= 1: 0 1104 63434 0 14078 1 869 0 7367 290 4 6 5393 0 80 total=92626:
No. 2= 2: 0 0 0 69241 0 0 0 0 0 0 0 0 0 0 0 total=69241:
No. 3= 3: 0 2968 39 0 10 0 0 0 53252 10487 36 29 0 0 3658 total=70479:
No. 4= 4: 0 183 95 0 26 0 0 0 10684 2036 4 1 4 0 1262 total=14295:
No. 5= 5: 0 870 0 0 0 0 0 0 0 0 0 0 0 0 0 total=870:
No. 6= 6: 0 0 0 0 0 0 0 0 835 32 0 0 0 0 2 total=869:
No. 7= 11: 0 58200 4226 0 125 668 0 0 0 0 790 1940 0 0 0 total=65949:
No. 8= 12: 71721 0 0 0 0 0 0 1786 0 0 0 0 0 0 5367 total=78874:
No. 9= 13: 0 13167 247 0 22 28 0 0 0 0 221 340 0 0 0 total=14025:
No.10= 23: 0 0 0 1238 0 0 0 0 0 0 0 0 0 0 0 total=1238:
No.11= 24: 0 65 2 0 2 0 0 0 2865 359 0 10 0 0 48 total=3351:
No.12= 25: 0 296 1 0 1 1 0 0 3871 821 6 1 0 0 399 total=5397:
No.13=100: 304143 15773 1197 0 31 172 0 7288 0 0 177 1024 0 0 0 total=329805:
No.14=101: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 total=0:
发射概率
发射概率可以通过nr.dic查询，给定一个词“菲”，通过查字典我们可以找到
wordLen:0 frequency:2 tag:3 word:(菲)
wordLen:0 frequency:4 tag:4 word:(菲)
分别对应双名的第二个字或单名，也就是刘亦菲和王菲的两个“菲”。那么从tag:4发射到“菲”的概率就等于(frequency:4 tag:4 word:(菲)) / (frequency:tag-4) = 4 / 70479
求解HMM
接下来就可以通过维特比算法找出最可能的标注序列了，这个算法的详解和代码在《HMM与分词、词性标注、命名实体识别》。ICTCLAS的代码感觉太繁杂了，要旨不突出，有空我要重写一下。
最终标注结果：
始##始, 王, 菲, 末##末,
100-* 1-B 4-E 101-*
模式匹配
对于*BE*这个标注序列，如何知道里面是否含有人名，含有的是哪种人名呢？这需要通过模式匹配来发现，ICTCLAS中用到的模式串有：
BBCD:姓+姓+名1+名2;
BBE: 姓+姓+单名;
BBZ: 姓+姓+双名成词;
BCD: 姓+名1+名2;
BE: 姓+单名;
BEE: 姓+单名+单名;韩磊磊
BG: 姓+后缀
BXD: 姓+姓双名首字成词+双名末字
BZ: 姓+双名成词;
B: 姓
CD: 名1+名2;
EE: 单名+单名;
FB: 前缀+姓
XD: 姓双名首字成词+双名末字
Y: 姓单名成词
一般人的想法是机械的匹配，匹配到什么就是什么。但是这里面其实是有复杂的规则的，而且都是一些经验规则。比如：
Rule 1 for exclusion:前缀+姓+名1(名2): 规则(前缀+姓)失效；
Rule 2 for exclusion:姓+单名+单名:单名+单名 若EE对应的字不同，规则失效.如：韩磊磊
Rule 3 for exclusion: 若姓后不是后缀，规则失效.如：江主席、刘大娘
……
我们的*BE*匹配到了BE: 姓+单名这条规则，所以是一个单名人名，最终识别出结果：
王菲
在ICTCLAS中，会将单名人名(BE)的出现概率乘以“王菲是单名人名”的概率，作为二次发射的概率，送入到细分词图中，等待第二次KSP，这些都是后话了。
不足
这种标注+模式匹配的识别方法非常依赖上下文，比如：
在有上下文的时候能够正常识别：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
张婧同学张婧 /nr 同学 /n 张婧说张婧 /nr 说 /v 才女张婧才 /c 女 /b 张婧 /nr 送给张婧送给 /v 张婧 /nr |
但是在缺少上下文的时候识别失败：
|
1
2
|
张婧张 /nr 婧 /g |
最令人无法容忍的就是在有上下文的时候也会识别失败：
|
1
2
3
4
5
|
陈膺奥部长陈 /nr 膺 /vg 奥 /j 部长 /n 陈膺奥陈 /nr 膺 /vg 奥 /j |
我认为这是字典中根本没有“婧”“奥”的原因造成的，如果能够扩充词典，应该可以解决这个问题。
改进
我已在HanLP中实现了多种命名实体的识别：
Reference
http://www.cnblogs.com/zhenyulu/articles/675217.html
http://www.blogjava.net/jiangyz/archive/2007/12/28/171335.html
《基于角色标注的中国人名自动识别研究》张华平zhanghp@software.ict.ac.cn 刘群 (Liu Qun)Liuqun@ ict.ac.cn
转载请注明：码农场 » ICTCLAS中的HMM人名识别