• 2016-12-20


    初识Storm

    1.storm有一个分支,则这个分支一个事jstorm,这个是阿里巴巴将要开源的
    2.离线计算:
    批量获取数据,批量传输数据
    代表技术:Sqoop批量导入数据,HDFS批量存储数据,MapReduce批量计算数据
    大量消耗hive,消耗大量SQL语句
    主要工作量:
    1.hivesql(工作量较多)
    2.调度平台
    3.hadoop 集群运维
    4.数据清洗(脚本语言)
    5.元数据管理
    6.数据稽查
    7.数据仓库模型架构

    3.流式计算:
    数据实时产生产生,数据实时传输,数据实时计算,实时展示
    代表技术:Flume实时获取数据,Kafka/metag实时数据存储,Storm/JStorm实时数据计算,Redis实时结果缓存,持久化存储
    一句话总结:将源源不断的产生的数据实时手机并实时计算,尽可能快的得到计算结果

    4.离线计算与实时计算的区别
    最大的区别:实时收集,实时计算,实时展示

    Storm用来实时处理数据,特点:低延迟,高可用,分布式,可扩展,数据不丢失,提供简单容易理解的接口,便于开发。

    我们为什么要进行实时监控:
    1.例如11.11,我们可以监控自己的流量情况,根据实时的情况可以发一些优惠券,从而可以最大限度的刺激消费
    2.对于业务人员,可以看自己的所管辖的业务范围内,根据用户所喜爱的东西来适当的发布优惠券,例如对于用户所喜爱的,我们可以少发布优惠券,对于用户不喜爱的产品,我们可以大量发布优惠券,从而可以起到刺激消费的功能,
    以上两点就是为什么要进行实时监控的原因

    海量数据:
    数据类型很多,产生数据的终端很多,处理数据能力增强
    Storm用来实时处理数据,特点:低延迟,高可用,分布式,可扩展,数据不丢失,提供简单容易理解的接口,便于开发。

    何当共剪西窗烛,却话巴山夜雨时
  • 相关阅读:
    Java下的tinylog日志打印
    rmi的调用
    linux下hex转ascii
    CSP攻略
    ThinkPHP5代码执行的简单分析
    MySQL UDF(User Defined Function)提权
    与邮件协议相关的端口
    常见哈希算法的密文格式
    ThinkPHP 5.0.x 反序列化漏洞 PoC
    Tomcat AJP协议文件包含漏洞(CVE-2020-1938)
  • 原文地址:https://www.cnblogs.com/wnbahmbb/p/6201249.html
Copyright © 2020-2023  润新知