机器学习：协同过滤

基于协同过滤（collaborative filtering）的推荐引擎，是通过将用户和其他用户的数据进行对比来实现推荐


不是利用属性来描述物品从而计算它们之间的相似度，而是利用用户对它们的意见来计算相似度，这就是协同过滤中所使用的方法，它并不关心物品的描述属性，而是严格地按照许多用户的观点来计算相似度


相似度计算
  欧氏距离
    (small 距离 = sqrt{(a1-b1)^{2} + (a2-b2)^{2} + ... + (an-bn)^{2}})
  
    (large 相似度 = frac{1}{1+距离})
  
    相似度的范围是 0~1
  
  皮尔逊相关系数 (Pearson correlation)
    该方法相对于欧氏距离的一个优势在于，它对用户评级的量级并不敏感
    比如某个狂躁者对所有物品的评分都是5分
    而另一个忧郁者对所有物品的评分都是1分
    皮尔逊相关系数会认为这两个向量是相等的
    
    在 NumPy 中，皮尔逊相关系数的计算是由函数 corrcoef() 进行的
    通过 0.5 + 0.5*corrcoef() 计算，把取值范围归一化到 0~1
    
  余弦相似度 (cosine similarity)
    计算的是两个向量夹角的余弦值
    如果夹角为 90 度，则相似度为 0，如果两个向量的方向相同，则相似度为 1
    
    (small 相似度 = frac{A imes B}{||A|| imes ||B||})
    
    (small ||A|| = sqrt{x_{1}^{2} + x_{2}^{2} + ... + x_{n}^{2}} = np.linalg.norm(A))
  
计算两个餐馆菜肴之间的距离，这称为基于物品的相似度
另一种计算用户距离的方法则称为基于用户的相似度
到底使用哪一种相似度取决于用户或物品的数目
基于物品相似度计算的时间会随物品数量的增加而增加
基于用户的相似度计算的时间则会随用户数量的增加而增加
  
协同过滤是基于用户的相似度计算
  
代码（使用 SVD 和没使用 SVD 两种）

# coding=utf-8
import numpy as np


def ecludSim(inA, inB):
    """
    欧氏距离
    """
    return 1.0 / (1.0 + np.linalg.norm(inA - inB))


def pearsSim(inA, inB):
    """
    皮尔逊相关系数
    """
    if len(inA) < 3:
        return 1.0

    # corrcoef 返回的是矩阵，[0][1] 代表 inA 和 inB 间的相关系数
    return 0.5 + 0.5 * np.corrcoef(inA, inB, rowvar=False)[0][1]


def cosSim(inA, inB):
    """
    余弦相似度
    """
    num = float(inA.T * inB)
    denom = np.linalg.norm(inA) * np.linalg.norm(inB)
    return 0.5 + 0.5 * (num / denom)


def standEst(dataMat, user, simMeas, item):
    """
    预测 user 对 item 的评分 (没有使用 SVD)

    dataMat - 每行是一个用户，每列是该用户对某物品的评分
    user - 要预测的用户
    item - 要预测的物品
    simMeas - 用于计算相似度的函数，ecludSim、pearsSim、cosSim 中的一个
    """
    n = np.shape(dataMat)[1]

    simTotal = 0.0
    ratSimTotal = 0.0

    # 遍历所有物品
    for j in range(n):
        # 取 user 对 j 的评分
        userRating = dataMat[user, j]

        # 没评分则跳过
        if userRating == 0:
            continue

        # 找出所有既对 item 有评分，又对 j 有评分的用户
        overLap = np.nonzero(np.logical_and(dataMat[:, item].A > 0, dataMat[:, j].A > 0))[0]
        if len(overLap) == 0:
            similarity = 0
        else:
            # 计算找出来的用户对 item 评分和对 j 评分的相似度
            similarity = simMeas(dataMat[overLap, item], dataMat[overLap, j])

        # 累加相似度
        simTotal += similarity

        # 累加 user 对 j 的评分与相似度的乘积
        ratSimTotal += similarity * userRating

    if simTotal == 0:
        return 0
    else:
        # 预测 user 对 item 的评分
        # 计算方法类似 (a1*x1+a2*x2+...+an*xn)/(x1+x2+...+xn) 其中 xi 是 i 和 item 的相似度，ai 是 user 对 i 的评分
        return ratSimTotal / simTotal


def svdEst(dataMat, user, simMeas, item):
    """
    另一种预测评分的方法：基于 SVD 的评分估计

    dataMat - 每行是一个用户，每列是该用户对某物品的评分
    user - 要预测的用户
    item - 要预测的物品
    simMeas - 用于计算相似度的函数，ecludSim、pearsSim、cosSim 中的一个
    """
    n = np.shape(dataMat)[1]

    simTotal = 0.0
    ratSimTotal = 0.0

    # np.linalg.svd(dataMat) 求解 dataMat 的奇异值矩阵
    U, Sigma, VT = np.linalg.svd(dataMat)

    # 将 Sigma 转换为只有对角线有值的 r 阶矩阵
    # 这里直接取 4 个
    # Sigma 是有排好序的，正常应该取前 r 个，使其平方和大于90%，或固定一个比较大的数值
    # 然后 dataMat(m,n) ≈ U(m,r) * Sig(r,r) * VT(r,n)
    Sig4 = np.mat(np.eye(4) * Sigma[:4])

    # xformedItems 维度是 (n*r)，通过转换只保留 r 个用户的所有评分，实现了降维，减少了数据量
    # 是不是也可以保留所有用户的 r 个评分？是不是可以用 VT 映射到另一个空间
    xformedItems = dataMat.T * U[:, :4] * Sig4.I

    # 遍历所有物品
    for j in range(n):
        # 取 user 对 j 的评分
        userRating = dataMat[user, j]

        # 没评分则跳过
        if userRating == 0 or j == item:
            continue

        # 计算 r 个用户对 j 和 item 的评分的相似度
        similarity = simMeas(xformedItems[item, :].T, xformedItems[j, :].T)

        # 累加相似度
        simTotal += similarity

        # 累加 user 对 j 的评分与相似度的乘积
        ratSimTotal += similarity * userRating

    if simTotal == 0:
        return 0
    else:
        # 预测 user 对 item 的评分
        # 计算方法类似 (a1*x1+a2*x2+...+an*xn)/(x1+x2+...+xn) 其中 xi 是 i 和 item 的相似度，ai 是 user 对 i 的评分
        return ratSimTotal / simTotal