我们将不同长度的句子(预处理并分词之后的长度)直接做比较其实是不公平的,举个例子:
Sentence 1 = 长度为2
Sentence 2 = 长度为1
Sentence 3 = 长度为3
(在取相似词TOP4,exp=0.7,的情况下)
即便Sent2与Sent1词的组成完全不同,base_similarity=0.2513
同样的,Sent3与Sent1完全不同, base_similarity=0.2063
长度长的词本身就处于劣势,所以我考虑在相似度的基础上,减去base_similarity,并加上一个常数(纯粹为了好看,不然我其实应该使用正态分布作归一化,这个后续做)
此外,exp取0.6是我在分析近义词的时候得到的,讲道理我应该统计得到TOP1 TOP2 TOP3...的平均值或者中位数,这个也后续做把。。。先用经验值替代