[IR课程笔记]概率检索模型

几个符号意义：

     R：相关文档集

       NR：不相关文档集

       q:用户查询

       d_j：文档j

1/0风险情况

     PRP（probability ranking principle）：概率排序原理，利用概率模型来估计每篇文档和需求相关概率，然后对结果进行排序。

      贝叶斯最优决策原理，基于最小损失风险作出决策，返回相关的可能性大于不相关的可能性的文档：

       基于检索代价的概率排序原理：

    

       c_rrP(R|D) + c_rnP(NR|D) < c_nrP(R|D) + c_nnP(NR|D)

如何计算概率

       文档d可以表示为向量（d_1,d₂,...,d_n）

       p_i = P(d_i=1|R)       1-p_i =  P(d_i=0|R)

       q_i = P(d_i=1|NR)     1-q_i =  P(d_i=0|NR)

   

            对这个式子取对数：

如何得到初始的R和NR

        p_i=c     ,        c通常取0.5

           q_i=n_i/N          n_i表示有d_i出现的文档的个数，N表示整个文档集数量。

improve it：

          对一个查询q,根据初始的R和NR，可以得到前k个返回结果。然后把这k个结果加入R集中。此时，概率计算方法为：

          

            p_i = P(d_i | R) = s_i / t

         q_i = P(d_i | NR) = (n_i - s_i) / (N - t)

         si表示的是t个文档中包含d_i的个数

平滑

          p_i  =  (s_i+0.5)/(t+1)

          q_i  =  ((n_i - s_i+0.5) / (N - t+1))

加权

           

            将上式的d_i换成w_i.d_i表示词语d_i出现则为1，不出现则为0

             

           BM25加权方法