IK分词器 IKAnalyzer 简单demo

所用IKAnalyzer：IK-Analyzer-2012FF   百度云：http://pan.baidu.com/s/1bne9UKf　　

  

实例代码：

package com.test.ik.analyzer;

import java.io.IOException;
import java.io.StringReader;
import java.util.ArrayList;
import java.util.List;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.cfg.Configuration;
import org.wltea.analyzer.cfg.DefaultConfig;
import org.wltea.analyzer.dic.Dictionary;
import org.wltea.analyzer.lucene.IKAnalyzer;

/**
 * 文件名称: IkAnalyzer<br>
 * 文件描述: IkAnalyzer demo<br>
 * 版权所有: jstarseven<br>
 * 完成日期: 2015-10-20 下午4:18:54<br>
 * 
 * @see
 * @param
 * @since JDK1.6
 */
public class IkAnalyzer {

    public static void main(String[] args) throws Exception {

        // 检索内容
        String text = "据说WWDC要推出iPhone6要出了？与iPhone5s土豪金相比华夏怎样呢？神圣纪事，天空之城，囧囧@2014巴西世界杯 test中文"
                + "我在漫长的纠结与反省中觉悟到时间其实改变不了什么的，至少对于放弃一种好的而去相信一种坏的甚至慵懒的事物是这样的。我曾经朝九晚五，不会去日晒雨淋，坐在舒适的办公环境里，友好的同事关系，虽然工资不高，生活却也是很惬意的，如果习惯了，时间它能改变些什么呢?我不知道，也不曾去幻想，因为眼前的景物足够我安静的睡去，做足了美梦，只觉得哪怕是睁开眼睛都是件疲惫的事情，都是一件多余的事情，不必去动脑经想生活的意义是什么?";
        List<String> list = new ArrayList<String>();
        list.add("test中文");
        // 尚未初始化，因为第一次执行分词的时候才会初始化，为了在执行分此前手动添加额外的字典，需要先手动的初始化一下
        Configuration configuration = DefaultConfig.getInstance();
        // 主字典路径
        String mainDictionaryPath = configuration.getMainDictionary();
        // 量词字典路径
        String quantifierDictionaryPath = configuration.getQuantifierDicionary();
        // 获取停止词（stopword）字典路径列表，可一次返回多个停止词词典
        List<String> stopList = configuration.getExtStopWordDictionarys();
        // 获取扩展字典路径列表，可一次返回多个扩展词典
        List<String> extlist = configuration.getExtDictionarys();
        System.out.println(mainDictionaryPath);
        System.out.println(quantifierDictionaryPath);
        for (String word : extlist) {
            System.out.println(word);
        }
        for (String word : stopList) {
            System.out.println(word);
        }
        // DictionaryIK 分词器的词典对象
        // initial 初始化字典实例 字典采用单例模式，一旦初始化，实例就固定 注意该方法只能调用一次
        Dictionary.initial(configuration);
        // getSingleton 获取初始化完毕的字典单例
        // addWords 加载用户扩展的词汇列表到 IK 的主词典中，增加分词器的可识别词语
        Dictionary.getSingleton().addWords(list);
        // disableWords(Collection<String> words) 屏蔽词典中的词元

        // 创建分词对象 true为smart模式
        Analyzer analyzer = new IKAnalyzer(true);
        StringReader reader = new StringReader(text);

        TokenStream ts = analyzer.tokenStream("", reader);
        CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
        // 遍历分词数据
        try {
            while (ts.incrementToken()) {
                System.out.print(term.toString() + "|");
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            reader.close();
        }
    }
}

运行效果：

org/wltea/analyzer/dic/main2012.dic
org/wltea/analyzer/dic/quantifier.dic
ext0.dic
ext1.dic
stopword.dic
加载扩展词典：ext0.dic
加载扩展词典：ext1.dic
加载扩展停止词典：stopword.dic
据说|wwdc|要|推出|iphone6|要|出了|与|iphone5s土豪金|相比|华夏|怎样|呢|神圣纪事|天空之城|囧囧|2014|巴西世界杯|test中文|我|在|漫长的纠结|与|反省|中|觉悟|到|时间|其实|改变|不|了|什么的|至少|对于|放弃|一种|好|的|而去|相信|一种|坏|的|甚至|慵懒|的|事物|是|这样|的|我|曾经|朝九晚五|不会|去|日晒雨淋|坐在|舒适|的|办公|环境|里|友好|的|同事|关系|虽然|工资|不高|生活|却|也是|很|惬意|的|如果|习|惯了|时间|它能|改|变些|什么|呢|我|不知道|也|不曾|去|幻想|因为|眼前|的|景物|足够|我|安静|的|睡去|做足了美梦|只|觉得|哪怕是|睁开眼睛|都是|件|疲惫|的|事情|都是|一件|多余|的|事情|不|必去|动脑|经|想|生活|的|意义|是什么|

配置文件：IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典-->
    <entry key="ext_dict">ext0.dic;ext1.dic;</entry> 

    <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords">stopword.dic;</entry> 
    
</properties>

文件路径：

扩展字典：

ext0.dic:

巴西世界杯
iPhone5s土豪金

ext1.dic:

神圣纪事
天空之城
囧囧
漫长的纠结
朝九晚五
美梦
觉悟
做足了美梦

---

 -END-