一、布尔模型
AND查询:倒排记录表的合并(求交集)
OR查询:倒排记录表的并集
查询优化:按df从小到大处理
二、向量空间模型
2.1 基本tf-idf向量空间模型
a.查询与文档的相关度采用余弦相似度计算:
b.tf-idf权重计算(对数词频-逆文档频率):
c.文档长度归一化:平衡短文档和长文档,降低短文档的相似度,提高长文档的相似度。
2.2 隐形语义索引LSI(降维后的空间向量模型):对词项-文档矩阵进行SVD分解(奇异值分解)。
三、概率检索模型
1.Logistic回归(特征选择困难)
基本思想:为了求Q和D相关的概率P(R=1|Q,D),通过定义多个特征函数fi(Q,D),认为P(R=1|Q,D)是这些函数的组合。
2.二值独立概率模型BIM(假设条件独立,需要估计参数)
基本思想:BIM模型通过Bayes公式对所求条件概率P(R=1|Q,D)展开进行计算。对于同一Q,P(R=1|Q,D)可以简记为P(R=1|D)。
a.多元伯努利分布(考虑是否出现)
b.多项分布(考虑出现次数)
*pi,qi参数计算
3.BestMatch BM25模型
四、语言检索模型
1.统计语言模型:文档中语句的生成满足某些规则,并服从统计规律。
2.查询似然模型QLM(文档以多项分布生成)
基本思想:检索问题转化为估计文档D的一元语言模型MD,也即求所有词项w的概率P(w|MD)
3.翻译模型:X为文档,Y为查询。
4.KL距离(相对熵)模型
五、基于排序机器学习的检索模型
1.基于布尔权重学习
2.基于实数权重学习:带松弛变量的SVM
基本思想:评分函数是两个因子的线性组合:
1 查询和文档的向量空间相似度评分 (记为 α)
2 查询词项在文档中存在的最小窗口宽度 (记为 ω)
3.基于序回归的排序学习