• apache storm 1.0.0 新特性


    1>处理速度增加, 延迟减少.性能提升10倍以上,延迟减少60%. 实际应用最少提升性能3倍以上.

    2>pacemaker, wokrer间心跳服务器.减少了通过zookeeper保持心跳的瓶颈. 通过in-memory store这些数据.

    3>分布式缓存api, 支持在命令行更改缓存内容.不需要重启拓扑.

    4>HA nimbus, 之前版本中nimbus是单点的,新版本可以启动多个nimbus service,选择leader.

    5>native streaming window api, 可以指定window length 或者 slideing interval,具体操作看:http://storm.apache.org/releases/1.0.0/Windowing.html

    6>bolt的状态管理,  继承BaseStatefulBolt ,在bolt失败时recover.

    7>automatic backpressure, 之前版本中,通过设置topology.max.spout.pending来设置最大等待队列.新版本中通过设置task的缓冲区的百分比大小进行限流.当缓冲区达到设     置的警戒线的高值时,会降低spout的发送速度.当缓冲区大小达到设置的警戒线的低值时,会取消缓冲区

    8>资源调度,可以设置拓扑的spout/bolt内存(on-heap和off-heap)和CPU.具体考:http://storm.apache.org/releases/1.0.0/Resource_Aware_Scheduler_overview.html

    9>动态调整log级别,不用重启

    10> 可以在storm ui中对部分拓扑进行debug

    11> 可以在storm ui 中对单个拓扑的日志进行全部的查找,即查找所以的supervisor日志.

    12> 动态的worker分析,在storm ui 中可以请求worker的heap dump,jstack output and JProfile Recording.

    over...基本就是官网的翻译吧.具体还没试呢.

     

     

  • 相关阅读:
    bzoj 2002: [Hnoi2010]Bounce 弹飞绵羊(分块算法)
    hdu 3652 "B-number"(数位DP)
    数位DP+其他
    hdu 4352 "XHXJ's LIS"(数位DP+状压DP+LIS)
    CodeForces 55D "Beautiful numbers"(数位DP+离散化处理)
    洛谷 P1163"银行贷款"(二分)
    ZOJ-3872-Beauty of Array-思维
    洛谷P3951 小凯的疑惑
    CodeForces
    CodeForces
  • 原文地址:https://www.cnblogs.com/yimapingchuan/p/5385891.html
Copyright © 2020-2023  润新知