• storm0.9.0.1升级安装


    来自:http://blog.csdn.net/liuzhoulong/article/details/21112101

    1,下载0.9.0.1 http://storm.incubator.apache.org/downloads.html

    2,安装就jdk,python,zookeeper  在服务器 "192.168.1.1" "192.168.1.1""192.168.1.2"上

    3,解压,修改conf下的storm.yaml 

     

     1 storm.zookeeper.servers:  
     2 
     3      - "192.168.1.1"  
     4 
     5      - "192.168.1.2"  
     6 
     7      - "192.168.1.3"  
     8 
     9  nimbus.host: "192.168.1.10"  
    10 
    11  storm.local.dir: "/data/storm/work"  
    12 
    13  supervisor.slots.ports:  
    14 
    15     - 6700  
    16 
    17     - 6701  
    18 
    19     - 6702  
    20 
    21     - 6703  
    22 
    23  storm.messaging.transport: "backtype.storm.messaging.netty.Context"    
    24 
    25  storm.messaging.netty.buffer_size: 209715200    
    26 
    27  storm.messaging.netty.max_retries: 100    
    28 
    29  storm.messaging.netty.max_wait_ms: 1000    
    30 
    31  storm.messaging.netty.min_wait_ms: 100  
    32 
    33  logviewer.port: 80  


    4,删除storm/lib下的log4j-over-slf4j,因为0.9用的logback,不删除top可能起不来,并报类似如下错误

    2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn't started
    2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn't started

    或者如下错误

    2014-03-12 17:48:56 b.s.d.worker [ERROR] Error on initialization of server mk-worker
    java.io.IOException: No such file or directory

    把这些错误日志前面的执行语句拿出来看一下就明白了

     

    为了支持logviewer还要给storm/lib下手动copy一个log4j的jar报,这个自己找找吧,我是把0.8.1下面的log4j  拷贝过来的

    不得不说,storm的升级对日志的支持很乱

     

    4,分发配置好的storm,到192.168.1.10,192.168.1.12,192.168.1.13,并在三台服务器上创建/data/storm/work给足够的写权限

    5,启动

       192.168.1.10

      #启动storm nimbus进程
       nohup storm nimbus &
      #启动storm ui监控界面进程
       nohup storm ui &

       192.168.1.12,192.168.1.13

      #启动storm supervisor进程
    nohup storm supervisor &
    #启动storm 日志监控进程。启动该进程,可以在storm ui界面上看各个supervisor节点上日志
    nohup storm logviewer &

    6,show time

          http://192.168.1.10:8080/

          storm  jar **.jar   ATopology   跑一个top看看效果

         下面可以看具体work的日志

          http://192.168.1.12/log?file=worker-6701.log

    7,资源分配不爽

         storm rebalance ATopology -n 10  修改个ATopology 的workers玩玩

         storm rebalance ATopology -e stepblot=74 修改个 ATopology 的stepblot的executors数量玩玩

        

    安装到此为止!

  • 相关阅读:
    剑指offer39-平衡二叉树
    剑指offer37-数字在排序数组中出现的次数
    剑指offer36-两个链表的第一个公共结点
    剑指offer31-整数中1出现的次数
    剑指offer30-连续子数组的最大和
    剑指offer28-数组中出现次数超过一半的数字
    剑指offer26-二叉搜索树与双向链表
    剑指offer21-栈的压入、弹出序列
    剑指offer16-合并两个排序的链表
    C#-杂碎
  • 原文地址:https://www.cnblogs.com/sunxucool/p/3624795.html
Copyright © 2020-2023  润新知