一、项目业务介绍
1. 学习该项目的是什么？
flume+kafka+Spark Streaming+hbase
1）掌握高可用的大数据采集系统
2）掌握高并发的分布式消息队列
3）掌握基于内存的高吞吐的实时计算
4）海量存储，毫秒级查询的数据库
2. 公司在什么背景下做这个项目？
1）需要采集用户数据
2）采集数据需要经过用户的同意
3） 奖励：成长值，各种特权（优惠券，电影票，），游戏币，游戏礼包。
4）进一步刺激用户对手机应用的使用，而且可以用用户实时看到手机应用的使用情况
5）随着业务的规模以及用户量越来越大，对系统接口的响应情况实时监控，比如pv，uv，接口响应时间
3. 做这个项目对公司有何意义？
1）合法获取用户手机数据
2）奖励用户成长值，用户可以兑换虚拟币或者升级用户等级特权，然后可以玩游戏，逛商城，看电影，视频等
对用户做用户画像，喜欢，行为，后期可以做推荐或定制操作。
3）用户获得了优惠或者好处之后胡，那么用户就会越来越活越。然后我们可以对接第三方平台
（携程，大众点评）或者接一些广告，提供了更多的服务，促进了用户活跃度，形成良性循环
4. 公司当前业务架构是什么样的？
1）用户可以通过做业务（比如签到，在线观看剧集），就可以增加成长值，用户同意上报使用情况，也可以增加成长值
2）成长值可以兑换虚拟币，可以玩游戏，也可以在商城买东西
3）成长值达到一定的量级，用户就可以升级，不用用户有不同的等级特权（电影，视频会员等）。用户等级越高
用户特权就越多，用户越愿意使用你的应用。使用越频繁，用户等级升级的越快，此时形成一个闭门
对用户的粘性就越高
4）用户下载使用什么游戏，到商城购买什么商品，这些数据也会上报。对用户数据进行分析，喜欢什么游戏
喜欢购买什么商品，对你这个用户做什么用户画像，进一步挖掘、建模，供给业务部门使用。
当用户再次登录使用手机应用，推荐合适广告。业务这一块离线计算，数据挖掘。
5）用户上报使用应用情况，对用户使用应用进程统计，做实时计算。实时分析结果，又反过来服务用户
用户喜好哪款游戏，购买什么商品
5. 项目需求分析
1）用户玩过哪些app和使用时长
2）用户每小时玩机多长时间
3）每天的玩机时长
4）用户每个应用每个小时玩机时长
5）用户每个应用每天的玩机时长