算法+语料≈NLP
这是一个六千万词汇量的分类词库，做HanLP这么久，我逐渐体会到，算法无法解决所有问题，词库也非常重要。通常一个算法可以解决80%的问题，剩下的20%无论怎么调节优化，都是拆东墙补西墙。比如上次我提到的“区人保”被HMM人名识别模块误命中的例子，这个词让HMM来看，“区”作为姓氏，“人”“保”作为名字的二三字的确非常有可能，但是正常人都不会取这个名字。要是我把“人”“保”这两个字的频度降低或删除的话，“袭人”“王保全”这些名字又无法识别。
本来博客“自然语言处理”分类下就有“语料库”这一小类，不过一直没有分享什么，这次分享一个6千万词汇的巨型汉语词库。
目录
光目录就十分庞大，只贴出目录的一部分：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
|
中国海洋大学青岛学院名人录.txt 中国海诚.txt 中国淡水鱼类名称.txt 中国烟名大全.txt 中国烟草名词.txt 中国理学总词库.txt 中国画专业词库.txt 中国疗养院名录.txt 中国的世界文化遗产名录.txt 中国相声师承关系族谱.txt 中国石化五建分包名单.txt 中国石油西北销售公司词库.txt 中国神仙表.txt 中国种子植物科属.txt 中国种子植物科属词典.txt 中国种子植物科属词典1.1.txt 中国科学技术大学.txt 中国科学技术大学【校园词库】.txt 中国科学院海洋研究所人名录.txt 中国科学院院士名.txt 中国移动 151.txt 中国移动专用词库.txt 中国移动业务专用.txt 中国移动安徽有限公司.txt 中国移动福建公司员工花名册.txt 中国网络作家.txt 中国职业名称大全.txt 中国联通福建分公司客服中心专用.txt 中国自唱歌曲.txt 中国自然保护区.txt 中国航油.txt 中国艺术家（音乐理论、表演类）.txt 中国营口论坛－营口地方话词库.txt 中国著名演奏家.txt 中国观鸟年报-中国鸟类名录3.0.txt 中国计量学院.txt 中国象棋.txt 中国象棋常用词汇.txt 中国象棋红方走法大全.txt 中国财税管理咨询网.txt 中国近代历史名人.txt 中国野鸟名录.txt 中国钢厂名称库.txt 中国铁路名词.txt 中国银行.txt 中国银行快速录入.txt 中国音乐学院音乐考级山东考区人名2010年.txt 中国音乐文化词库.txt 中国风景名胜.txt 中国高等教育名录数据库.txt 中国高等院校（大学）大全【官方推荐】.txt |
全部目录请下载：
举个例子
推荐一些优秀的词库，比如：
四十万汉语大词库.txt
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
|
吖吖吖啶阿Q正传阿阿阿八阿巴拉契亚山脉阿爸阿傍阿谤阿保阿保之功阿保之劳阿本郎阿鼻阿鼻地狱阿鼻鬼阿鼻叫唤阿鼻狱阿比阿比让阿辟阿避阿柄阿炳阿波罗阿波罗计划阿伯阿步干阿茶阿谄阿昌族阿叱阿閦阿从阿达阿大阿呆阿党阿党比周阿党相为阿的阿的平阿等阿弟阿殿阿爹阿斗阿阇阿阇梨 |
自然语言处理及计算语言学相关术语.txt
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
|
隐式马可夫模型阶层结构层次结构单词句同形异义词同音异义词同音词同音异义同部位音的子句人机界面上位词超文件超文本下位词主从结构的直接成份讯息为本的格位语法成语熟语特异性施为性直接成份祈使句蕴含谓词含意标引的间接宾语间接言谈行动间接言语行为归纳推理推理机器不定词不定式中缀屈折变化屈折词缀资讯撷取资讯处理信息处理资讯检索资讯理论信息论固有特征继承继承继承阶层继承层次属性继承语法天生假说中插里里外外演算法体现工具格集成句法剖析程式 |
金融专业相关词.txt
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
|
安全投资原则安全系数安全性安全钥匙安全运作安全责任安泰集团安泰科技安泰授信有限公司安田信托安田信托银行安徒生童话精选安慰信安慰信函安新私人銀行有限安信信托安阳钢铁安永安永会计师事务安永会计师事务所安源股份安装费氨基酸序列鞍钢股份按百分率按百分率收取按百分率收取的费按镑收费额按保密专利申请处理按比例按比例分配按比例分摊按成本按成本计价按成本计算按当时价格计算按当时市价计算按法律规定按份共有按付款当日价格按付款当日价格计按固定价格计算按固定价格计算的按固定市价计算按貨幣計算按级别攀升按计划 |
这个做领域词库比较好。
新亚洲人名库.txt
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
蔡碧虹蔡碧野蔡碧瑜蔡斌蔡冰川蔡炳兴蔡昌彬蔡长丰蔡长志蔡常珍蔡超超蔡成波蔡成香蔡春英蔡淳蔡淳佳蔡翠玲蔡翠妮蔡戴群蔡德文蔡德正蔡东河蔡冬梅蔡笃强蔡方燕蔡飞英蔡妃蔡菲蔡枫华 |
这个做人名识别比较好。
政府机关团体机构大全【官方推荐】.txt
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
质量技术监督局纪律检查委员会机关事务管理局国家知识产权局最高人民检察院河北教育考试院国家外汇管理局人民政府办公厅计划生育服务站科学技术委员会中华全国总工会北京市人民政府国家烟草专卖局长江水利委员会黄河水利委员会市中级人民法院河北省人民政府市政工程管理处环境卫生管理处社区居民委员会四川石油管理局工业园区管委会黑龙江省教育厅华北石油管理局中国美术家协会市政管理委员会哈尔滨市公安局机动车辆管理所辽宁省人民政府 |
这个做机构实体识别比较好。
一些奇葩词库
这个都能有……
下载地址
解压密码：www.hankcs.com
版权
这些词库是自己抓下来的，具体从哪里抓的就不说了
，仅供个人研究学习用。
目录
转载请注明：码农场 » 千万级巨型汉语词库分享