因为近期在写一篇关于大数据分类的论文(吐槽一下:导师天天催),所以在图书馆借了几本有关大数据的书籍。今天看《New Internet 大数据挖掘》(感兴趣的能够看一下)中提到垃圾邮件过滤,让我联想到昨天在1280社区看到一道名企面试题,“在游戏实时交流中,怎么过滤那些广告?”。当时想到的是关键词过滤。也没细想。
事实上垃圾邮件过滤跟广告过滤是一种,使用最多的是朴素贝叶斯算法。
贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。
(參见维基百科http://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86)
通过对大量已经判定的垃圾邮件和正常邮件进行学习,依据两种邮件中同样词语出现的概率对照来确定垃圾邮件的可能性。
长处是准确率高。缺点是须要大量的历史数据。