• linux 下搭建 storm


    搭建storm  需要搭建:

          1.zookeeper 搭建

          2.下载/安装 storm 的依赖包  zeromq, jzmq,python

          2.storm 搭建

    一、Zookeeper 安装

    1. 下载安装包,到桌面 soft/zookeeper
    2. 解压 命令 tar –xzvf  zookeeper-3.4.5.tar.gz
    3. 解压完成之后得到一个zookeeper-3.4.5 的文件夹一路  cd到conf目录  zookeeper/conf

              

          4.用cp 命令拷贝一个zoo_samle.cfg 为zoo.cfg

             

          5. 然后用vi zoo.cfg命令打开编辑zoo.cfg文件

        (改为自己的目录 /home/sufi/Desktop/zookeeper/zookeeper-3.4.5/data)

              

      6. 设置环境变量

             export…与截图一样就可以了

              

      7.回到zookeeper/bin目录下,启动zookeeper服务,在bin下运行 ./zkServer.sh start即可

         

          8.测试zookeeper

            --在zookeeper/bin目录下运行 ./zkCli.sh -server  192.168.130.130 就是你的服务器和端口

            --命令 ifconfig 就可以查到服务器号

    二、下载安装storm 的依赖包

        下载安装 zeromq

              

                执行第四步 ./configure 的时候可能报错 (我只遇到1,2 个问题)

        

                                 ----输入命令:  sudo yum install gcc-c++ (直接复制就可以了)

                                              运行完,再次输入  ./configure    再看一下有什么错误

        

                                 ----命令: sudo yum install uuid-devel      (同样是直接复制)

                     sudo yum install libuuid-devel

               

                                ---命令: sudo yum install libtool     (直接复制)

                                ---此错误在安装jzmq 的  ./configure 时报错   ,还是提前装好吧

                  安装jzmq

                 

                              -----执行      git clone git://github.com/nathanmarz/jzmq.git 可能会报错,可能是网络限制

                                                 改为  git clone https://github.com/nathanmarz/jzmq.git      (git-->https)

             安装 Python2.7.2

                       wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
              tar -zxvf Python-2.7.2.tgz
                          cd Python-2.7.2
                          ./configure
               make
                   make install

    三、storm 安装

    1.下载并解压storm

           ---把压缩文件放到指定目录

           ---tar -zxf  文件名    解压

    2.修改storm.yaml配置文件

           ---Storm发行版本解压目录下有一个conf/storm.yaml文件,用于配置Storm

                            ---除了ip 地址,目录,要修改,其他保留复制就可以了

          

          

          ########### These MUST be filled in for a storm configuration
                storm.zookeeper.servers:
                - "10.3.3.244"
                # - "server2"
                #
                nimbus.host: "10.3.3.244"

                storm.local.dir: "/home/aicep/apache-storm-0.9.5/workdir"

                ui.port: 8080
                supervisor.slots.ports:
                - 6700
                - 6701
                #- 6702
                #- 6703

    3.启动:

         3.1.首先启动zookeeper ,在其安装的bin 目录下启动   

                  --启动zookeeper:命令 :  ./zKServer.sh start

                  --jps 命令:查看进程

            

         3.2.启动storm

            ----3.2.1 启动storm主节点服务   nimbus

                       --  ./storm nimbus &         ('&"表示在后台运行)

                            启动完 输入命令  # jps     看进程是否存在

           ----3.2.2 启动storm监控页面:监控地址:http://hostname:8080

                      --  ./storm ui  &

          -----3.2.3 启动supervisor(很不稳定,可能运行时 还要启动一次)

                      -- ./storm supervisor &

          -----3.2.4 命令启动查看的启动的进程

                      

        3.3 检测是否搭建成功 

                   打开浏览器 输入 192.168.130.130:8080(本虚拟机的IP+端口号)

                   出现页面,则成功

                  

    4.启动一个进程测试


               ---把storm 的java 项目打成jar 文件 我的例子的 storm_epl.jar

                        --右键项目-->export-->java-->javafile-->next-->..记得有一个是四个勾选的(勾 1,3)

                        --把storm_epl.jar 放到 storm 的安装目录下的 lib 文件夹中

                        --进入 lib 目录 ,启动jar 文件

                                ./storm jar storm_epl.jar com.SimpleTopology  test

                                       1             2                         3                   4

                                 --1./storm jar 固定格式,所有要启动的都是用  ./storm  这里是启动jar 包, 所以是 ./storm jar

                                 --2(jar包的名字,若类不是直接放在 src 下的,前面应该加上包名,我是放在 com包下,所以加 com)

                                 --3  main方法所在类的名称

                                 --4  该进程的名称(自定义),等到执行性完 ,可以用  ./storm kill 进程名字    杀死该进程

                         ----执行成功显示

                                 

                ----进入 192.168.130.130:8080  若执行成功 看到进程的状态为  Active

                ----回到命令 页面 杀死进程

                       ./storm kill test

    参考文档:

          http://shiyanjun.cn/archives/241.html

      http://www.myexception.cn/database/2045639.html

               

  • 相关阅读:
    【汇编程序】出地址为BUF的5个字符数组的内容之和
    Ugly Number
    Best Time to Buy and Sell Stock IV****
    Best Time to Buy and Sell Stock III
    Best Time to Buy and Sell Stock
    Best Time to Buy and Sell Stock II
    House Robber II
    Contain Duplicate III*******
    Contain Duplicate II
    Contain Duplicate
  • 原文地址:https://www.cnblogs.com/sufi/p/5179067.html
Copyright © 2020-2023  润新知