- 项目地址:https://github.com/yahoo/storm-yarn
- Storm-yarn enables Storm clusters to be deployed into machines managed by Hadoop YARN.It is still a workin progress.仍然在开发中,所以变化有可能会比较大,而且storm是作为一个work在其中运行的。
- 邮件列表:http://groups.google.com/group/storm-yarn
- 需要java7的版本
- 使用mvn编译
- 部署:在hadoop的网关(应该是master)然后将lib目录下的storm.zip文件上传至HDFS中,以便被分布式缓存分布在所有节点中的路径:/lib/storm/<storm-version>/storm.zip
- Storm-YARN被配置为使用Netty进行通信。
- 如果使用zeromq替代Netty运行storm,还需要使用
create-tarball.sh storm.zip
命令增加一个.so文件 - 使用命令
storm-yarn launch <storm-yarn-config>
启动集群 - storm-yarn-configuration(yaml文件)将被用于启动一个storm集群。storm-yarn有许多新的配置选项配置storm。
- 使用命令
storm-yarn getStormConfig <storm-yarn-config> --appId <Application-ID> --output <storm.yaml>
启动master - 使用命令
storm jar <appJar>
提交storm的作业 - 帮助命令
storm-yarn help