搜索引擎学习（四）中文分词器

一、简介

分词原理

1. Reader读取数据流
2. 数据经过第一个分词器将大写转换小写
3. 数据经过第二个分词器根据空格分割成一个一个的单词
4. 数据经过第三个分词器把标点符号，介词等剔除
5. 经过三次过滤，生成若干语汇单元

常见的分词器（中文分词场景不推荐用）

StandardAnalyzer（官方推荐的分词器）：英文分词效果比较好，无法对中文进行正确分词。(单字分词，对中文分词会一个字一个字的分)

CJKAnalyzer（中日韩联合分词器）：二分法分词，按两个字进行切分

smartChineseAnalyzer：对中文支持较好，但扩展性差，扩展词库，禁用词库和同义词库等不好处理

第三方中文分词器（中文支持效果比较好，中文分词场景推荐使用）

IK Analyzer：目前较为推荐的中文分词器

二、IK Analyzer分词器

使用方式

 

 PS：搜索时使用的分词器要与索引时使用的分词器一致！