1.1、课程的背景 Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么? Storm在大数据领域的影响已经不用多说,大数据实时性计算已经是发展趋势。目前在各大互联网、电商、电信、金融业等领域,Storm已经功不可没,被广泛应用在精准推荐、即时搜索、网站分析、监控告警、高频交易等领域。 本课程完全呈现企业实际项目,具有如下五大亮点和七大目标: 五大亮点: 1、课程中完整开发3个Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。 项目源码均可以直接运行,也可直接用于商用或企业。 2、每个技术均采用最新稳定版本,学完后会员可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定!让学员身价剧增! 3、搭建CDH5生态环境完整平台,且采用Cloudera Manager界面化管理CDH5平台。让Hadoop平台环境搭建和维护都变得轻而易举。 4、分享实际项目的架构设计、优劣分析和取舍、经验技巧,陡直提升学员的经验值。 5、学习完此课程,学员完全具备追求IT行业高薪的能力。 七大目标: 1、全面掌握Storm完整项目开发思路和架构设计 2、掌握Storm Trident项目开发模式 3、掌握Kafka运维和API开发、与Storm接口开发 4、掌握HighCharts各类图表开发和实时无刷新加载数据 5、熟练搭建CDH5生态环境完整平台 6、灵活运用HBase作为外部存储 7、可以做到以一己之力完成从后台开发(Storm、Kafka、Hbase开发)到前台HighCharts图表开发、Jquery运用等,所有工作一个人搞定! 就是说可以一个人搞定淘宝双11大屏幕项目! 1、Storm应用前景和课程大纲介绍 2、CDH5搭建之CM5安装部署 3、CDH5搭建和CM界面化集群管理 4、Hadoop、HBase、Zookeeper集群管理和角色分配 5、Kafka基础知识和集群搭建 6、Kafka基本操作和最优设置 7、Kafka Java API 简单开发测试 8、storm-kafka 详解和实战案例 9、JS图表框架HighCharts介绍 10、HBase 快速入门 11、基于HBase的Dao基类和实现类开发一 12、基于HBase的Dao基类和实现类开发二 13、【项目1-地区销售额】需求分析和架构设计 项目1主要技术点: 后台开发架构设计 前台开发架构设计 前后端数据实时交互 HighCharts图表开发 图表秒级无刷新实时展示 3D柱图、条形图、柱子图展示效果 14、【项目1-地区销售额】Spout融合Kafka Consumer及线程安全测试 15、【项目1-地区销售额】Bolt业务逻辑处理一 16、【项目1-地区销售额】优化Bolt支持重启及结果数据核查 17、【项目1-地区销售额】HighCharts图表开发一及Web端架构设计 18、【项目1-地区销售额】HTTP长链接实现实时推送 19、【项目1-地区销售额】HighCharts图表开发二及jquery运用 20、【项目1-地区销售额】Web端完善和细节优化 21、【项目1-地区销售额】项目发布及总结 22、【项目2-省份销售排行】项目需求分析和分区Trident Spout开发 项目2为完全Storm Trident开发项目,主要技术点: 采用双纵轴图表展示效果 Storm Trident开发 采用Storm事务处理 基于Hbase的Trident State DRPC分布式远程调用 TopN,前N排行 23、【项目2-省份销售排行】Trident 代码开发一 24、【项目2-省份销售排行】Trident 代码开发二 25、【项目2-省份销售排行】基于HBase存储的State运用 26、【项目2-省份销售排行】双纵轴HighCharts图表开发一 27、【项目2-省份销售排行】双纵轴HighCharts图表开发二 28、【项目2-省份销售排行】双纵轴HighCharts图表开发三 29、【项目2-省份销售排行】前台和图表交互开发和Top N实现 30、【项目2-省份销售排行】Top N展示优化和项目总结 31-40讲为【项目3-网站User Views数】内容,该项目会继续增加难度, 展示图形为仿股票走势图的UV数实时分时走势图。