一、THULAC
THULAC由《清华大学自然语言处理与社会人文计算实验室》研制推出的一套中文词法分析工具包。
官网地址：http://thulac.thunlp.org，该项目提供了多种语言，本文以java版为例，先下载以下二个组件：
1、THULAC_lite_v1_2分词java版可执行的jar包：THULAC_lite_java_v1_2_run.jar
2、THULAC模型，包括分词模型和词性标注模型（v1_2）: Models_v1_v2(v1_2).zip
把THULAC模型解压到与jar文件相同的目录下，默认会生成models目录。
然后创建一个input.txt做为输入，这里选择了一首歌词：
郁可唯-茶汤 词曲：方文山 山岚像茶杯上的云烟 颜色越来越浅 你越走越远 有好多的话还来不及兑现，你就不见 我身后窗外那片梯田 像一段段从前 我站在茶园，抬头望着天，想象你会在山的，那一边 我说再喝一碗我熬的茶汤 你说你现在马上要渡江 渡江到那遥远的寒冷北方 就怕你的手会冻僵 你何时回来喝我熬的茶汤 这次我会多放一些老姜 你寄来的信一直搁在桌上 不知要寄还哪地方 北风它经过多少村落 来来回回绕过 分不清那年，我求天保佑，只见风声大做，却更寂寞
使用方法：
java -jar THULAC_lite_java_v1_2_run.jar -seg_only -input input.txt -output output.txt
上面表示，将从input.txt做为输入，然后仅分词（不做词性标注)，并将结果生成到output.txt(如果这个文件没生成，会自动创建)
输出结果：
郁可唯 - 茶 汤 词曲 ： 方文山 山岚 像 茶杯 上 的 云烟 颜色 越来越 浅 ... 北风 它 经过 多少 村落 来来回 回绕 过 分 不 清 那年 ， 我 求 天 保佑 ， 只见 风声 大 做 ， 却 更 寂寞
其它一些通用的参数：
####1.2.通用参数 -t2s 将句子从繁体转化为简体 -seg_only 只进行分词，不进行词性标注 -deli delimeter 设置词与词性间的分隔符，默认为下划线_ -filter 使用过滤器去除一些没有意义的词语，例如“可以”。 -user userword.txt 设置用户词典，用户词典中的词会被打上uw标签。词典中每一个词一行，UTF8编码(python版暂无) -model_dir dir 设置模型文件所在文件夹，默认为models/ ####1.3.Java版特有的参数 -input input_file 设置从文件读入，默认为命令行输入 -output output_file 设置输出到文件中，默认为命令行输出
比较有用的参数：-user userword.txt，可以创建自定义词典，比如象上面的歌词，“茶汤”、“来来回回”、“分不清” 这三个词，都拆成了：
茶 汤 来来回 回绕 过 分 不 清 那年
如果希望这3个词不分，可以创建一个userword.txt的文件，类似下面这样：
茶汤 来来回回 绕过 分不清 风声大做
然后加上-user userword.txt，输出结果会有变化：
郁可唯 - 茶汤 ... 来来回 回绕 过 分不清 那年 ， 我 求 天 保佑 ， 只见 风声大做 ， 却 更 寂寞
“茶汤”，“分不清”这二个词，已经按预期正确识别了，但是“来来回回”却并没有。
二、jieba分词组件
官网地址：https://github.com/fxsjy/jieba
这里我们使用python版本(java版本的功能比较弱)，pip3 install jieba后，可以参考如下使用方法：
python3 -m jieba -u /Users/yangjunming/Downloads/thulac/userword.txt -d ' ' /Users/yangjunming/Downloads/thulac/input.txt > /Users/yangjunming/Downloads/thulac/jieba_output.txt
解释一下：
-u 表示使用自定义词典
-d ' ' 表示分词的间隔符，使用空格（默认是/)
结果如下：（左侧的是thulac的输出，右侧的是jieba的输出)
个人感觉：默认情况下，jieba分词的颗粒度要粗一些，而thulac则分得太细（但对于一些人名，thulac识别要好一些）