• Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery,含3个完整实际项目)


    1.1、课程的背景
    
            Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?
    
           Storm在大数据领域的影响已经不用多说,大数据实时性计算已经是发展趋势。目前在各大互联网、电商、电信、金融业等领域,Storm已经功不可没,被广泛应用在精准推荐、即时搜索、网站分析、监控告警、高频交易等领域。
    
    
    
    本课程完全呈现企业实际项目,具有如下五大亮点和七大目标:
    
    五大亮点:
    
        1、课程中完整开发3个Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。
    
           项目源码均可以直接运行,也可直接用于商用或企业。
    
        2、每个技术均采用最新稳定版本,学完后会员可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定!让学员身价剧增!
    
        3、搭建CDH5生态环境完整平台,且采用Cloudera Manager界面化管理CDH5平台。让Hadoop平台环境搭建和维护都变得轻而易举。
    
        4、分享实际项目的架构设计、优劣分析和取舍、经验技巧,陡直提升学员的经验值。
    
        5、学习完此课程,学员完全具备追求IT行业高薪的能力。
    
     
    
    七大目标:
    
     
    
        1、全面掌握Storm完整项目开发思路和架构设计
    
        2、掌握Storm Trident项目开发模式
    
        3、掌握Kafka运维和API开发、与Storm接口开发
    
        4、掌握HighCharts各类图表开发和实时无刷新加载数据
    
        5、熟练搭建CDH5生态环境完整平台
    
        6、灵活运用HBase作为外部存储
    
        7、可以做到以一己之力完成从后台开发(Storm、Kafka、Hbase开发)到前台HighCharts图表开发、Jquery运用等,所有工作一个人搞定!
    
     就是说可以一个人搞定淘宝双11大屏幕项目!
    
    1、Storm应用前景和课程大纲介绍
    
     
    
    2、CDH5搭建之CM5安装部署
    
     
    
    3、CDH5搭建和CM界面化集群管理
    
     
    
    4、Hadoop、HBase、Zookeeper集群管理和角色分配
    
     
    
    5、Kafka基础知识和集群搭建
    
     
    
    6、Kafka基本操作和最优设置
    
     
    
    7、Kafka Java API 简单开发测试
    
     
    
    8、storm-kafka 详解和实战案例
    
     
    
    9、JS图表框架HighCharts介绍
    
     
    
    10、HBase 快速入门
    
     
    
    11、基于HBase的Dao基类和实现类开发一
    
     
    
    12、基于HBase的Dao基类和实现类开发二
    
     
    
    13、【项目1-地区销售额】需求分析和架构设计
    
     
    
    项目1主要技术点:
    
    后台开发架构设计
    
    前台开发架构设计
    
    前后端数据实时交互
    
    HighCharts图表开发
    
    图表秒级无刷新实时展示
    
    3D柱图、条形图、柱子图展示效果
    
     
    
    14、【项目1-地区销售额】Spout融合Kafka Consumer及线程安全测试
    
     
    
    15、【项目1-地区销售额】Bolt业务逻辑处理一
    
     
    
    16、【项目1-地区销售额】优化Bolt支持重启及结果数据核查
    
     
    
    17、【项目1-地区销售额】HighCharts图表开发一及Web端架构设计
    
     
    
    18、【项目1-地区销售额】HTTP长链接实现实时推送
    
     
    
    19、【项目1-地区销售额】HighCharts图表开发二及jquery运用
    
     
    
    20、【项目1-地区销售额】Web端完善和细节优化
    
     
    
    21、【项目1-地区销售额】项目发布及总结
    
     
    
    22、【项目2-省份销售排行】项目需求分析和分区Trident Spout开发
    
    项目2为完全Storm Trident开发项目,主要技术点:
    
    采用双纵轴图表展示效果
    
    Storm Trident开发 
    
    采用Storm事务处理
    
    基于Hbase的Trident State
    
    DRPC分布式远程调用
    
    TopN,前N排行
    
     
    
    23、【项目2-省份销售排行】Trident 代码开发一
    
     
    
    24、【项目2-省份销售排行】Trident 代码开发二
    
     
    
    25、【项目2-省份销售排行】基于HBase存储的State运用
    
     
    
    26、【项目2-省份销售排行】双纵轴HighCharts图表开发一
    
     
    
    27、【项目2-省份销售排行】双纵轴HighCharts图表开发二
    
     
    
    28、【项目2-省份销售排行】双纵轴HighCharts图表开发三
    
     
    
    29、【项目2-省份销售排行】前台和图表交互开发和Top N实现
    
     
    
    30、【项目2-省份销售排行】Top N展示优化和项目总结
    
     
    
    31-40讲为【项目3-网站User Views数】内容,该项目会继续增加难度,
    
    展示图形为仿股票走势图的UV数实时分时走势图。
    
     
    
     
  • 相关阅读:
    Atitit attilax要工作研究的要素 纪要 方案 趋势 方向 概念 理论
    Atitit 常见每日流程日程日常工作.docx v7 r8f
    Atitit it 互联网 软件牛人的博客列表
    Atitit 信息链(Information Chain)的概念理解 attilax总结
    Atitit 知识点的体系化 框架与方法 如何了解 看待xxx
    Atitit 聚合搜索多个微博 attilax总结
    Atitit 企业知识管理PKM与PIM
    Atitit 项目沟通管理 Atitit 沟通之道 attilax著.docx
    Atitit 项目管理软件 在线服务 attilax总结 1. 项目管理协作的历史 1 1.1. Worktile 406k 1 1.2. Teambition  584k in baidu
    Atitit.每周末总结 于每周一计划日程表 流程表 v8 import 上周遗漏日志补充 检查话费 检查流量情况 Crm问候 Crm表total and 问候
  • 原文地址:https://www.cnblogs.com/timssd/p/5380588.html
Copyright © 2020-2023  润新知