• MapReduce – 基本思路之推荐引擎


    理解MapReduce关键两个步骤;

    首先是构想出结构的数据结构,这种数据结构可以支撑你的业务分析使用;是要理解这种模式的处理元素。

    第二步,分析原始数据的结构是怎样的;

    第三步,基于原始数据结构以及目标数据结构,在分析map的实现逻辑,返回值什么,sort-shuffle之后的值什么,这个值也是reduce的入口参数,然后是reduce的逻辑是什么,以符合目标结构;

    map和reduce在处理数据上面的很大差别在于map之后会有一个汇总过程,按照key进行汇聚(发生在sort-shuffle阶段);reduce产生的数据不会再有这个过程,产生的是什么数据,加入到集合中之后,这个数据集合再无其他操作;如果再次把这个数据集合作为下一个阶段的Map-Reduce。

    对于"购买过该商品的用户还购买了哪些商品",这个需求,分析过程如下:

    0. 目标数据结构是:key:商品(主体);value:关联商品+权值(数量)列表;

    1. 实现要明白map的入口参数是什么样子,用户对应一个商品;

    2. 分析一下map之后数据,是一个商品对应多个商品;

    3. shuffle没有什么特别处理;

    3. reduce没有什么特别处理;

    下面是第二轮mapreduce:

    1. 入口参数是一个用户对多个商品;

    2. map返回值某个用户的某个商品对应多个相关联的商品;

    3. map之后shuffle合并是个集合,集合中的元素是:key是某个商品,value是相关联的商品List,此时这个list里面可能会有很多重复项;

    4. reduce的入口参数是上步中介绍的内容;reduce处理之后,变成了key:某个商品;value:关联商品以及该商品的累加个数;

    下面的是应用:基于reduce处理的数据,我们可以获得某个商品关联度最高的前N个商品(累加个数最高的N的)

    处理的全流程如下图所示:

    注意其实处理的维度的变化,阶段1map的处理维度还是在user;到了阶段儿的map处理维度是用户+商品,到了阶段2的reduce就抛弃了用户了,而是完全在商品的维度了;reduce的一个功能就是"降维",这个是我的一个说法,其实"降维"是指原本的key不管了,而是从value中在建立一套key-value数据结构;因为reduce功能是group,group意味着可以抛弃一个数据维度,或者说忽略某些个数据维度。

    继续,对于"经常一起购买的商品":

    0. 构想目标数据结构:key:商品;value:关联商品+权值列表;

    1. 你要原始的数据集合中,一条记录的结构是交易-产品列表;

    2. 在map阶段,直接"降维",抛弃key(交易ID),对于产品列表做两两配对;shuffle之后的数据集合的元素结构是[<p1,p2>, 1];

    3. 到了reduce阶段,就是按照<p1, p2>进行汇聚,输出的是数据集合的元素结构是[<p1, p2>, n];

    应用:

    找到p1=XX,n最高的3个产品作为推荐。

    第三波,难度比较大了,推荐好友,A和B是好友,B是C的好友,那么AC要双向推荐一下。

    我最初的想法是做差集;A-B的人向B做推荐,B-A的人想A做推荐;但是这样算法无法获取共同好友,我们登录QQ看到推荐的时候,一般都会看到你和以下人是好友;

    0. 构想目标数据结构,key:主体人,value:[推 荐者,List<共同好友>]

    1. 原始数据结构:key:主体人,value:List<Friends>

    2. map输出的是key:被推荐人;value:[推荐好友, 共同好友(入参的主体人)];shuffle之后是key是推荐人;value推荐好友列表;

    3. reduce逻辑则是将被推荐人的推荐好友叠加到List中,同时叠加该推荐好友的共同朋友;

  • 相关阅读:
    手机发送验证码—.net代码
    AJAX之XMLHttpRequest
    JQuery总结+实例
    ASP.NET总结——更改后
    css总结——position
    JavaScript的程序构成
    初识javascript
    asp总结
    北大青鸟代码---asp.net初学者宝典
    iOS常用技术-Label自适应
  • 原文地址:https://www.cnblogs.com/xiashiwendao/p/9278765.html
Copyright © 2020-2023  润新知