云计算项目实战 之分词管理

第一部分： 需求分析

什么是中文分词

•  中文分词  (  Chinese Word Segmentation)  指的是将一个汉字序列切分成一个一个单独的词

•  中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果

什么是庖丁词汇

•  Paoding  （庖丁解牛分词）基于  Java  的开源中文分词组件，提供  lucene  和  solr  接口，具有极   高效率  和   高扩展性

•

•  采用基于   不限制个数  的词典文件对文章进行有效切分，使能够将对词汇分类定义

•

•  庖丁系统是个完全基于  lucene  的中文分词系统，它就是新建了一个  analyzer，  叫做  PaodingAnalyzer  ，  这个  analyer 的核心任务就是生成一个可以切词  TokenStream  。

•

•  仅支持  Java  语言。

功能需求

•  庖丁词汇初始化

•  分词表的基本维护与查询

第二部分： 技术点

安装与配置庖丁分词

•  下载庖丁最新的  Jar

•  https  ://code.google.com/p/paoding

•

•  将字典文件装载到本地的某个文件夹

•  例如  /home/test/  dic

•

•  将  paoding-analysis.properties  放在  resources  文件下或者修改  jar  包内该配置文件，指定

•  paoding.dic.home  =/home/test/  dic

基本使用演示

Analyzer a = new PaodingAnalyzer();

String doctext = “test  test”;

 

TokenStream token = a.tokenStream(doctext ,new StringReader(doctext));

 

Token k = null;

 while((k = token.next)  != null){

    System.out.println(k);

  }

 

 

关键词

作用：生成用画像时候的一个元素

 

Keyword_keywordId

rowkey:	keyword!`!keywordid
C_FAMILY	data

 

Keywordid_keyword

rowkey:	keywordid!`!keyword
C_FAMILY	data

第三部分： 代码实现

请参考视频和源码

 

私塾在线原创独家云计算课程