• 中科院NLPIR中文分词java版


    原文:http://blog.csdn.net/k21325/article/details/53052855

    摘要:为解决中文搜索的问题,最开始使用PHP版开源的SCWS,但是处理人名和地名时,会出现截断人名地名出现错误。开始使用NLPIR分词,在分词准确性上效果要比SCWS好。本文介绍如何在windows系统下编译Java ,生成可以执行的jar文件。

    NLPIR的下载地址:

    http://ictclas.nlpir.org/downloads

    GitHub的地址:

    https://github.com/NLPIR-team/NLPIR

    两个版本有一些不同,本文将分别讲解如何利用Eclipse建立工程。

    一、NLPIR官方版本

    下载后文件夹中bin目录,如下图所示,其中NLPIR_WinDemo.exe是一个NLPIR的演示程序,可以尝试运行,了解NLPIR的功能。

     

    工程源码在sample目录下,包含C、C++、Hadoop、JAVA、Python等语言示例。

    用Eclipse新建一个工程导入JAVA工程目录JnaTest_NLPIR,

    (1)Eclipse -> File->import

     

    (2)选择JnaTest_NLPIR所在的路径,点击Finish

     

    (3)查看Eclipse工程

     

    (4)NlpirTest.java文件中包含main函数,下面的语句初始化NLPIR需要的库文件

     

    CLibrery类是包含在NlpirTest.java文件中,

    [java] view plain copy
     
    1. CLibrary Instance = (CLibrary) Native.loadLibrary("H:\workspace\ictclas\1\ICTCLAS2015\lib\win64\NLPIR", CLibrary.class);  

    函数loadLibrary需要传递库文件位置,源码提供了多种语言类库,我们的工程需要加载win64类库,该文件夹内容如下,

    (5)加载分词数据Data文件夹路径

    [java] view plain copy
     
    1. String argu = "H:\workspace\ictclas\1\ICTCLAS2015";  
    2. String system_charset = "UTF-8";  
    3. int charset_type = 1;  
    4. int init_flag = CLibrary.Instance.NLPIR_Init(argu, charset_type, "0");  

    H:\workspace\ictclas\1\ICTCLAS2015是Data文件夹的父文件夹。

    这步骤完成后,你就可以调试代码了。有关API可以阅读手册。

    二、github上下载的代码

    目录中包含了NLPIR SDK目录,每一个目录是NLPIR提供的一个组件。NLPIR-ICTCLAS目录包含NLPIR组件的代码。

    在Eclipse中导入ICTCLAS_java工程,工程目录如下图

     

    工程中没有填写main函数,可以在NlpirTest.java文件中,加入main函数

    [java] view plain copy
     
    1. public class NlpirTest {  
    2.     public static void main(String[] args) throws Exception{  
    3.     NlpirTest t = new NlpirTest();  
    4.         t.testParticiple();  
    5.     }  
    6.   
    7.     public void testParticiple() throws IOException {  
    8.         .....  
    9.   
    10.     }  
    11.     .......  
    12. }  

     和官方网站不同,加载库文件可以自动判断系统类型,在工程当前目录下查找库文件。“工程当前目录”的win32、win64、linux32、linux64都是包含库文件的文件夹。

    同时会自动加载“工程当前目录“下Data问佳佳为分词数据目录。这些目录设置好,就可以进行调试工作了。

    三、在github中"查找关键字"的组件Key_Extract

    工程目录如下,

     

    project中提供java版本的示例代码,利用Eclipse导入工程

     

    同样在KeyExtractor.java文件中添加main函数。KeyExtract_GetKeyWords的第一个参数是需要提取关键字的文本,第二参数是关键字的个数。

    [java] view plain copy
     
    1. public static void main(String[] args) {  
    2.     String keyWordsStr = CLibraryKeyExtractor.instance.KeyExtract_GetKeyWords(args[0], 10, true);  
    3.     System.out.println(keyWordsStr);  
    4.     CLibraryKeyExtractor.instance.KeyExtract_Exit();  
    5. }  


     

    在工程的当前文件夹下,有一个Data目录,是分词和提取关键词需要用到的分词数据。需要将需要的license考入到这个文件夹。你可以不用区分用到哪一个user文件,建议把全部文件都考到当前工程目录Data文件夹中。

     

    这些设置完成,在Eclipse中传入参数,菜单项run-->run configure。

     

    四、导出jar

    Eclipse工程目录上,右键选择Export

     

    选择runnablejar,生成jar文件

     

    之后就可以利用cmd执行,传递参数,效果如下

     

  • 相关阅读:
    webim-界面细节调整
    使用PHP得到所有的HTTP请求头_还有应答头
    Bootstrap学习的点点滴滴
    asterisk中eyebeam与移动的IMS帐号对接
    总结Ajax跨域调用问题
    Spring【基础】-注解-转载
    Spring-【高阶】注解-转载
    让你的IDEA倍爽
    IDEA的git密码修改
    Idea设置签名
  • 原文地址:https://www.cnblogs.com/shihaiming/p/6978566.html
Copyright © 2020-2023  润新知