• nDCG学习笔记


    参考:http://en.wikipedia.org/wiki/Discounted_cumulative_gain

    Normalized Discounted Cumulative Gain:一种对搜索引擎或相关程序有效性的度量。

    2个假设:

        1.强相关的文档出现在结果列表越靠前(rank越高)越有用。

        2.强相关文档比弱相关文档有用,比不相关文档有用。

    DCG来源于一个更早的、更基础的方法---CG。

    CG不考虑结果集中的序信息,单纯把分级相关度相加。位置P处的CG值是:

                       

    是搜索结果列表的位置i处结果的分级相关度。

    改变搜索结果的位置顺序不会影响p的CG值。也就是说:移动一个相关性高的文档d_{i}到一个评级较高但相关性不大的文档上面不改变CG的值。

    DCG取代CG作为一个更准确的测量方法。

     如果一个强相关的文档排名靠后则应该受到惩罚,位置P处的DCG值是:

                 

    另一个DCG计算公式更加强调相关性

    若分级相关度只在0和1取二值的话,二公式效果相同

    nDCG

    根据Query的不同,结果列表的长度也不同,所以这一度量考虑了正规化问题

    IDCGp(Ideal DCG)是在一个完美的排序下,p所具有的最大DCG值

    这样一来无论Query是什么,nDCG都可以得到一个平均值,因此不同的Query之间的效能就可以做比较了。

    完美的排序算法会使DCGp和IDCGp相同,从而使nDCGp为1,nDCG的取值在0到1之间

    例:

    结果列表中的6篇文档D1,D2,D3,D4,D5,D6,判定了他们的相关度是3,2,3,0,1,2,则:

                        

    一个理想的排序应该是:3,3,2,2,1,0,所以

                 

    nDCG的缺点是:当排序的数很少(比如:只有1-3个),那么任何排序的nDCG值都比较接近,所以可以考虑使用AUC(area under the ROC curve)。

    AUC学习参考文章:http://blog.csdn.net/chjjunking/article/details/5933105 

  • 相关阅读:
    自动化单元测试工具 EvoSuite 的简单使用
    Dialog lookup method
    微软Axapta中PDF支持中文
    Connected to Ax AOS by code
    Dialog control field event
    Find the tables extending a specific extended data type
    sqlplus不使用服务名,直接使用IP地址连接Oracle
    ATL编写的带窗口的控件,无论VC6(ATL3.0) VC7.1(ATL7.0) 在Windows 7 或 Server 2008 下,WinForm调用时发生的问题
    Ice的slice文件自定义编译命令
    VC9 SP1中新增加的标准 C++ 库中的新功能
  • 原文地址:https://www.cnblogs.com/lixiaolun/p/4050967.html
Copyright © 2020-2023  润新知