1. 未登录词识别的开关,可以允许关闭未登录词识别功能
在搜索应用中,打开未登录词识别功能将会产生大量的新词,有些新词其实不是一个真正的词,这样将增加倒排索引的负担,所以盘古分词V1.2版本提供了这个选项,让用户可以关闭未登录词识别,关闭后,未登录词将转换为单字输出。
2. 英文忽略大小写功能
这个功能在处理英文时还是很有用的。
3. 过滤掉大于指定长度的英文的功能
有时候我们不想输出英文,这是只要打开这个开关,并将过滤长度设置为0,就可以了。有时候我们只想输出小于某个长度的英文,这个功能就可以用上。
4. 过滤掉大于指定长度的数字的功能
同上。
下载地址
http://pangusegment.codeplex.com/