• Java利用hanlp完成语句相似度分析的案例详解


    分享一篇hanlp分词工具使用的小案例,即利用hanlp分词工具分析两个中文语句的相似度的案例。供大家一起学习参考!

    在做考试系统需求时,后台题库系统提供录入题目的功能。在录入题目的时候,由于题目来源广泛,且参与录入题目的人有多位,因此容易出现录入重复题目的情况。所以需要实现语句相似度分析功能,从而筛选出重复的题目并人工处理之。

    下面介绍如何使用Java实现上述想法,完成语句相似度分析:

    1、使用HanLP完成分词:

    首先,添加HanLP的依赖:(jsoup是为了处理题干中的html标签,去除html标签得到纯文本的题干内容)

     

    分词代码如下,需要处理html标签和标点符号:

    private static List<String> getSplitWords(String sentence) {

            // 去除掉html标签

            sentence = Jsoup.parse(sentence.replace(" ","")).body().text();

            // 标点符号会被单独分为一个Term,去除之

            return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\[\].<>/?~@#¥……&*()——|{}【】‘;:”“'。,、? ".contains(s)).collect(Collectors.toList());

        }

    2、合并分词结果,列出所有的词:

     

    3、统计词频,得到词频构成的向量:

    代码如下,其中allWords是上一步中得到的所有的词,sentWords是第一步中对单个句子的分词结果:

     

    4、计算相似度(两个向量的余弦值):

     

    以上所有方法的完整代码如下,使用SimilarityUtil.getSimilarity(String s1,String s2)即可得到s1s2的语句相似度:

    package com.yuantu.dubbo.provider.questionRepo.utils;

    import com.hankcs.hanlp.HanLP;

    import com.hankcs.hanlp.dictionary.CustomDictionary;

    import org.jsoup.Jsoup;

    import java.util.ArrayList;

    import java.util.Calendar;

    import java.util.Collections;

    import java.util.List;

    import java.util.stream.Collectors;

    public class SimilarityUtil {

        static {

            CustomDictionary.add("子类");

            CustomDictionary.add("父类");

        }

        private SimilarityUtil() {

        }

        

        /**

         * 获得两个句子的相似度

         *

         * @param sentence1

         * @param sentence2

         * @return

         */

        public static double getSimilarity(String sentence1, String sentence2) {

            List<String> sent1Words = getSplitWords(sentence1);

            System.out.println(sent1Words);

            List<String> sent2Words = getSplitWords(sentence2);

            System.out.println(sent2Words);

            List<String> allWords = mergeList(sent1Words, sent2Words);

            int[] statistic1 = statistic(allWords, sent1Words);

            int[] statistic2 = statistic(allWords, sent2Words);

            double dividend = 0;

            double divisor1 = 0;

            double divisor2 = 0;

            for (int i = 0; i < statistic1.length; i++) {

                dividend += statistic1[i] * statistic2[i];

                divisor1 += Math.pow(statistic1[i], 2);

                divisor2 += Math.pow(statistic2[i], 2);

            }

            return dividend / (Math.sqrt(divisor1) * Math.sqrt(divisor2));

        }

        private static int[] statistic(List<String> allWords, List<String> sentWords) {

            int[] result = new int[allWords.size()];

            for (int i = 0; i < allWords.size(); i++) {

                result[i] = Collections.frequency(sentWords, allWords.get(i));

            }

            return result;

        }

        private static List<String> mergeList(List<String> list1, List<String> list2) {

            List<String> result = new ArrayList<>();

            result.addAll(list1);

            result.addAll(list2);

            return result.stream().distinct().collect(Collectors.toList());

        }

        private static List<String> getSplitWords(String sentence) {

            // 去除掉html标签

            sentence = Jsoup.parse(sentence.replace(" ","")).body().text();

            // 标点符号会被单独分为一个Term,去除之

            return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\[\].<>/?~@#¥……&*()——|{}【】‘;:”“'。,、? ".contains(s)).collect(Collectors.toList());

        }

    }

    ---------------------

  • 相关阅读:
    数据驱动ddt简单使用
    html-testRunner在unittest测试套件中的使用
    Python设计模式----3.单例模式
    Python设计模式----2.工厂模式
    Python设计模式----1.简单工厂模式
    在小程序中对图片进行缩放时发生的问题记录
    将项目发布到Maven中央仓库的不完整纪要
    虚机的SQL Server空间占满之后进行释放的一些操作
    jdk8环境下,添加重复注解的美好体验
    使用transient关键字解决ehcache序列化错误
  • 原文地址:https://www.cnblogs.com/adnb34g/p/10416749.html
Copyright © 2020-2023  润新知