今天介绍CRFs在中文分词中的应用
工具：CRF++,可以去 https://taku910.github.io/crfpp/ 下载，训练数据和测试数据可以考虑使用bakeoff2005,这是链接 http://sighan.cs.uchicago.edu/bakeoff2005/
首先需要了解一些概念
字标记法——统计分词模型常用的方法，可以将分词问题转化为分类问题。这里我们介绍一下4-tag字标记法，4-tag指的是文档中的每个字都对应一个标记，一共有4类标记，分别是：B、M、E、S，分别代表一个字处于词的开始位置、中间位置、 结束位置，以及一个单子构成一个词。以“我是中国人”为例来说明，标记完的结果是
我 S
是 S
中 B
国 M
人 E
这样给文档中的每个字都赋予一个标记，那么我们可以将分词任务视为一个分类问题--将文档中的每个字分别赋予一个类标记。
然而，如果将分词仅仅视为一个分类任务来考虑，那么得到的结果很可能不太理想，因为分词需要考虑上下文，如果仅考虑字本身的特征，还是无法得到想要的效果，而CRFs模型天然考虑了上下文特征，通常在需要考虑上下文特征的序列标注问题中能取得不错的效果。
在CRFs模型中，我们将一句话视为一个最大团（最大团的概念可以回顾下CRF第一篇），这样我们只需要求得所有候选词序列的联合概率分布的最大值（每个词对应一个随机变量），那么就可以得到一个分词的标注序列。
n-gram模型——用于限定我们考虑特征的范围，以uni-gram和bi-gram为例来说明，uni-gram窗口大小为1（cut-off=1）只考虑单字的特征，bi-gram窗口大小为2（cut-off=2）考虑两个连续字的特征，比如“我是中国人”，bi-gram在取每个字的特征的时候，只分别考虑“我是”、“是中”、“中国”、“国人”、“人”范围内的特征。笔者推测这样划分的原理应该是句子马尔科夫链的性质——一个字只和它周围的若干字有关联，越远，关联越弱。
下面介绍CRF++工具包
CRF++工具包输入数据的格式是这样的：
１ D B
２ D M
月 W E
３ D B
１ D M
日 W E
， S S
中 W B
共 W M
中 W M
央 W E
第一列是文档中的字，第二列是字的特征（比如我们规定数字用D表示，普通字用W表示，标点符号用S表示等），第三列是4-tag字标记。
CRF++引入了特征模板的概念，用于扩展特征集（显然上面的输入数据格式能提供的特征太少了），模板这样定义的（以上面的输入数据为例，假设当前字符为“共”）
| template | expanded feature |
| %x[0,0] | 共 |
| %x[0,1] | W |
| %x[-1,0] | 中 |
| %x[-2,1] | S |
| %x[0,0]/%x[0,1] | 共/W |
| ABC%x[0,1]123 | ABCW123 |
%x[row,column]row是相对当前字符的行下标，column是列下标。
特征模板长这样：
# Unigram U00:%x[-2,0] U01:%x[-1,0] U02:%x[0,0] U03:%x[1,0] U04:%x[2,0] U05:%x[-1,0]/%x[0,0] U06:%x[0,0]/%x[1,0] U10:%x[-2,1] U11:%x[-1,1] U12:%x[0,1] U13:%x[1,1] U14:%x[2,1] U15:%x[-2,1]/%x[-1,1] U16:%x[-1,1]/%x[0,1] U17:%x[0,1]/%x[1,1] U18:%x[1,1]/%x[2,1] U20:%x[-2,1]/%x[-1,1]/%x[0,1] U21:%x[-1,1]/%x[0,1]/%x[1,1] U22:%x[0,1]/%x[1,1]/%x[2,1] # Bigram B
其中U01这些是特征ID，空行没任何意义，#Unigram #Bigram这些是解释说明，指的是下面用的是哪类模型。
训练的话，可以在命令行进入项目根目录之后（或者添加环境变量方便在任意位置识别训练程序）输入
crf_learn template_file train_file model_file
crf_learn是训练程序，template_file指的是模板路径，train_file指的是训练数据路径，model_file指的是生成的模型文件路径（目录+文件）
有4个可选参数，分别是
-a CRF-L2 or CRF-L1:
选择L1正则化还是L2正则化（正则化的目的是防止过拟合，一般而言，L2正则化更优，因为L1正则化偏向于减少项的个数，而L2正则化偏向于降低每一项前面的系数，使之趋向于0，而不是减少为0）
-c float
这个参数设置CRF的hyper-parameter。c的数值越大，CRF拟合训练数据的程度越高。这个参数可以调整过拟合和欠拟合之间的平衡度。这个参数可以通过交叉验证等方法寻找较优的参数。
-f NUM
这个参数设置特征的cut-off threshold。CRF++使用训练数据中至少NUM次出现的特征。默认值为1。当使用CRF++到大规模数据时，只针对特定数据的特征可能会有几百万，这个选项就会在这样的情况下起到作用。
-p NUM
如果电脑有多个CPU，那么那么可以通过多线程提升训练速度。NUM是线程数量。
所以我们在命令行训练数据也可以这样写：
crf_learn -f 3 -c 1.5 template_file train_file model_file
下面是测试数据的命令行：
crf_test -m model_file test_files
model_file指的是模型文件的路径，test_files指的是测试数据文件的路径，这里就不需要指定模板文件的路径了，因为其路径已经写入模型文件中
测试数据的文件格式与训练数据文件格式相同，运行测试命令会增加第四列，表示预测的各个字符的标记，然后可以用程序将其转化为我们想要的分词形式即可。
由于训练时间太长，笔者决定下期发布相关代码，敬请期待！