《集体智慧编程学习笔记》——Chapter2:提供推荐

知识点：

1. 协作型过滤——Collaboraive Filtering

　　通常的做法是对一群人进行搜索，并从中找出与我们品味相近的一小群人，算法会对这些人的偏好进行考察，并将它们组合起来构造出一个经过排名的推荐列表

2.搜索偏好——Collecting Preferences

3.寻找相近的用户——Finding Similar Users

　　3.1 通过相似度评价值来寻找相近的用户

　　3.2 相似度评价值体系：欧几里得距离（Euclidean Distance ），皮尔逊相关度（Pearson Collelation）曼哈顿距离和Jaccard系数等

代码实现：

# !/usr/bin/local/python3
# -*- coding utf-8 -*-
from math import sqrt

# prepare data
critics = {'Lisa Rose':{'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5,
                        'Just My Luck': 3.0, 'Superman Returns': 3.5, 'You,Me and Dupree': 2.5,
                        'The Night Listener': 3.0},
           'Gene Seymour': {'Lady in the Water': 3.0, 'Snakes on a Plane': 3.5, 'Just My Luck': 1.5,
                            'Superman Returns': 5.0, 'The Night Listener': 3.0, 'You,Me and Dupree': 3.5},
           'Michale Phillips': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.0, 'Superman Returns': 3.5,
                                'The Night Listener': 4.0},
           'Claudia Puig': {'Snakes on a Plane': 3.5, 'Just My Luck': 3.0, 'The Night Listener': 4.5,
                            'Superman Returns': 4.0,'You,Me and Dupree': 2.5},
           'Mick LaSalle': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0, 'Just My Luck': 2.0,
                            'Superman Returns': 3.0, 'The Night Listener': 3.0,'You,Me and Dupree': 2.0},
           'Jack Mattews': {'Lady in the Water': 3.0, 'Snakes on a Plane': 5.0, 'The Night Listener': '3.0',
                            'Superman Returns': 5.0, 'You,Me and Dupree': 3.5},
           'Toby': {'Snakes on a Plane': 4.5, 'You,Me and Dupree': 1.0, 'Superman Returns': 4.0}}


# 测试数据
#data =critics['Lisa Rose']['Lady in the Water']
#print(data)

# 返回一个有关P1和P2的基于欧几里得距离的相似度评价
def sim_distance(prefs, p1, p2):
    #　得到共同评价的电影列表
    si = {}
    for item in prefs[p1]:
        if item in prefs[p2]:
            si[item] = 1
    # 如果两人没有共同之处,则返回0
    if len(si) ==0: return 0
    #　计算所有差值的的平方和
    sum_of_squares = sum([pow(prefs[p1][item]-prefs[p2][item], 2) for item in prefs[p1]
                          if item in prefs[p2]])
　　 # 表示偏好越相近，返回的值越大，（避免被零整除的错误，当返回为1表示两人具有一样的偏好）
    return 1/(1+sqrt(sum_of_squares))


# 返回p1和p2的皮尔逊相关系数
def sim_pearson(prefs, p1, p2):
    si={}
    for item in prefs[p1]:
        if item in prefs[p2]:
            si[item] = 1

    n = len(si)

    if n == 0: return 1
    #　求所有偏好之和
    sum1 = sum([prefs[p1][it] for it in si])
    sum2 = sum([prefs[p2][it] for it in si])

    # 求偏好平方和
    sum1Sq = sum([pow(prefs[p1][it], 2) for it in si])
    sum2Sq = sum([pow(prefs[p2][it], 2) for it in si])

    # 求两人偏好乘积之和
    pSum = sum([prefs[p1][it] * prefs[p2][it] for it in si])

    # 计算皮尔逊评价值
    num = pSum - (sum1*sum2/n)
    den = sqrt((sum1Sq-pow(sum1, 2)/n)*(sum2Sq-pow(sum2, 2)/n))
    if den == 0: return 0
　　 # 返回值介于-1和1之间，值为1则表示两个人对每一样物品均有着完全一致的评价
    r = num/den
    return r


#   从反映偏好的字典中返回最为匹配者
# 　返回结果的个数和相似度函数均为可选参数
def topMatches(prefs, person, n=5, similarity=sim_pearson):
    scores = [(similarity(prefs, person, other), other) for other in prefs if other != person]

    # 对表进行排序,评价值最高的排在最前面
    scores.sort()
    scores.reverse()
    return scores[0:n]


# 利用所有他人评价值的加权平均,为某人提供建议
def getRecommendations(prefs, person, similarity=sim_pearson):
    totals = {}
    simSum = {}
    for other in prefs:
        #　不和自己作比较
        if other == person: continue
        #　获取两人之间的相似度
        sim = similarity(prefs, person, other)

        # 忽略评价值小于零或者为零的情况
        if sim <= 0: continue
        for item in prefs[other]:
            # 只对自己未看过的电影进行评价
            if item not in prefs[person] or prefs[person][item] == 0:
                # 相似度*评价值
                totals.setdefault(item, 0)
                totals[item] += sim * float(prefs[other][item])
                # 相似度之和(多人评价对于特定电影的相似度之和)
                simSum.setdefault(item, 0)
                simSum[item] += sim

    # 建立一个归一化的列表
    rankings = [(total/simSum[item], item) for item, total in totals.items()]
    print(simSum)
    # 返回经过排序的列表
    rankings.sort()
    rankings.reverse()
    return rankings


#　将人名和物品进行对调
def transforPrefs(prefs):
    result = {}
    for person in prefs:
        for item in prefs[person]:
            result.setdefault(item,{})
            result[item][person] = prefs[person][item]
    return result

总结：

1.相似性度量方法的选择问题：

　　1.1  当采用Pearson方法进行评价时，它修正了‘夸大分值’的情况

　　1.2 当采用Euclidean Distance方法进行评价时，适用于存在一定共性的数据之间

2.基于用户过滤和基于物品过滤的选择：
　　2.1 基于用户过滤方法更容易实现，而且无需额外步骤，更适用于规模较小的变化非常频繁的内存数据集

　　2.2 基于物品过滤明显比基于用户的过滤更快，不过在维护物品相似度表有额外的开销,更适用于稀疏数据集