【编者按】本文来自 Baqend Tech Blog,描述了如何在 Docker Swarm,而不是在虚拟机上部署和调配Apache Storm集群。文章系国内 ITOM 管理平台 OneAPM 编译呈现。
点此查看《在Docker Swarm上部署Apache Storm:第1部分》
创建Swarm集群
如果一切顺利,那么你现在已经有了三台Ubuntu服务器,每个上面都运行了一个Docker守护进程。可以通过私有网络中的zk1.cloud和manager.swarm访问Ubuntu 1,或者也可以从外部通过manager.swarm.baqend.com(至少在8080端口)访问。我们一直在这台机器上折腾,并且,从现在开始,这是我们唯一需要访问的机器。为了保证Swarm节点之间的协调通畅,我们需要配置ZooKeeper ensemble和Swarm管理器。
1.通过SSH连接Ubuntu1,接着快速检查一遍。如果Docker安装正确,运行下列代码可以显示出一个所有运行中的Docker容器的列表(只有针对Swarm的):
docker ps
2.现在我们可以按下面的方法在每台机器上启动一个ZooKeeper节点:
docker -H tcp://zk1.cloud:2375 run -d --restart=always
-p 2181:2181
-p 2888:2888
-p 3888:3888
-v /var/lib/zookeeper:/var/lib/zookeeper
-v /var/log/zookeeper:/var/log/zookeeper
--name zk1
baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 1
docker -H tcp://zk2.cloud:2375 run -d --restart=always
-p 2181:2181
-p 2888:2888
-p 3888:3888
-v /var/lib/zookeeper:/var/lib/zookeeper
-v /var/log/zookeeper:/var/log/zookeeper
--name zk2
baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 2
docker -H tcp://zk3.cloud:2375 run -d --restart=always
-p 2181:2181
-p 2888:2888
-p 3888:3888
-v /var/lib/zookeeper:/var/lib/zookeeper
-v /var/log/zookeeper:/var/log/zookeeper
--name zk3
baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 3
通过明确说明-H……参数,我们可以在不同的主机上启动ZooKeeper容器。-p命令打开ZooKeeper默认需要的那些端口。两个-v命令通过将ZooKeeper使用的文件夹映射到对应的主机文件夹,可以在发生容器错误的情况仍然保持连贯性。以逗号分隔的主机名列表通知ZooKeeper这一集合中有哪些服务器。集合中的每个节点都不例外。唯一的变量就是ZooKeeper的ID(第二个参数),因为它对每个容器都是不一样的。
你可以使用以下命令行来检查ZooKeeper是否一切正常:
docker -H tcp://zk1.cloud:2375 exec -it zk1 bin/zkServer.sh status &&
docker -H tcp://zk2.cloud:2375 exec -it zk2 bin/zkServer.sh status &&
docker -H tcp://zk3.cloud:2375 exec -it zk3 bin/zkServer.sh status
如果你的集群一切正常,每个节点都会汇报它们是主节点还是从节点。
3.现在,开启Swarm管理器:
docker run -d --restart=always
--label role=manager
-p 2376:2375
swarm manage zk://zk1.cloud,zk2.cloud,zk3.cloud
4.现在Swarm集群正在运行。但是我们必须把这一点告诉Docker客户端。最后你只须保证之后所有的Docker运行语句都指向Swarm管理器的容器(它会负责排程),并且不违反本地Docker守护进程。
cat << EOF | tee -a ~/.bash_profile
# this node is the master and therefore should be able to talk to the Swarm cluster:
export DOCKER_HOST=tcp://127.0.0.1:2376
EOF
export DOCKER_HOST=tcp://127.0.0.1:2376
上面这段会立即执行,并且保证下次我们登录机器的时候被再次执行。
健康度检查
现在一切都被启动运行了。键入docker info
检查一下manager节点上的集群状态。你会看到3个运行中的worker,类似这样:
Nodes: 3
docker1: zk1.cloud:2375
└ Status: Healthy
└ Containers: 3
└ Reserved CPUs: 0 / 1
└ Reserved Memory: 0 B / 2.053 GiB
└ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, server=manager, storagedriver=devicemapper
└ Error: (none)
└ UpdatedAt: 2016-04-03T15:39:59Z
docker2: zk2.cloud:2375
└ Status: Healthy
└ Containers: 2
└ Reserved CPUs: 0 / 1
└ Reserved Memory: 0 B / 2.053 GiB
└ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, storagedriver=devicemapper
└ Error: (none)
└ UpdatedAt: 2016-04-03T15:39:45Z
docker3: zk3.cloud:2375
└ Status: Healthy
└ Containers: 2
└ Reserved CPUs: 0 / 1
└ Reserved Memory: 0 B / 2.053 GiB
└ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, storagedriver=devicemapper
└ Error: (none)
└ UpdatedAt: 2016-04-03T15:40:15Z
最重要的是每个节点的Status: Healthy那一行。如果你发现出现了其它的状态,例如Status: Pending,或者有的节点没有显示出来,那么即使其它地方还没有报错,也应该用以下命令试着重启管理容器,
docker restart $(docker ps -a --no-trunc --filter "label=role=manager"
然后再检查一次(这个操作可能会引发一个错误信息;无视它)。
配置Storm集群
现在Swarm已经运行起来了,你将要创建一个覆盖网络来跨越所有的Swarm节点,为单独的Storm组建运转多个容器。尽管Supervisor节点(即Storm workers)散布于Swarm集群中的所有节点,Nimbus和UI会在manager节点上,每台服务器上一个。
1.先创建覆盖网络stormnet:
docker network create --driver overlay stormnet
然后通过Docker来检查stormnet是否存在:
docker network ls
2.现在一个一个地启动Storm组件。每个Storm相关的容器会有一个cluster=storm标记,这样你在后面杀死整个Storm集群时,不会错杀其它容器。
首先,启动UI
docker run
-d
--label cluster=storm
--label role=ui
-e constraint:server==manager
-e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud
--net stormnet
--restart=always
--name ui
-p 8080:8080
baqend/storm ui
-c nimbus.host=nimbus
接下来是Nimbus:
docker run
-d
--label cluster=storm
--label role=nimbus
-e constraint:server==manager
-e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud
--net stormnet
--restart=always
--name nimbus
-p 6627:6627
baqend/storm nimbus
-c nimbus.host=nimbus
为了确保这些在manager节点上运行,我们加入一个限制条件:constraint:server==manager。
3.你现在可以访问Storm UI了,就好像它是在manager节点上运行一样:假如你的manager节点有个公开IP并且其端口8080开放,你就可以用链接http://manager.swarm.baqend.com:8080通过浏览器来访问Storm集群。但是目前还没有运行任何supervisor节点。
4.运行以下语句三次,来启动三个supervisor:
docker run
-d
--label cluster=storm
--label role=supervisor
-e affinity:role!=supervisor
-e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud
--net stormnet
--restart=always
baqend/storm supervisor
-c nimbus.host=nimbus
-c supervisor.slots.ports=[6700,6701,6702,6703]
因为我们无所谓具体启动哪里的supervisor节点,这里我们不用加入任何限制条件或容器名。但是,为了防止同一台机器上的有两个supervisor被启动,我们用了一个affinity标记:affinity:role!=supervisor。如果你要用更多的supervior容器,就得添加更多的Swarm worker节点(Ubuntu 4、Ubuntu 5等等)。
5.看一眼Storm UI,确保有三个Supervisor在运行。
(远程)拓扑部署
可以通过与manager主机在同一网络中的任意一台装有Docker守护进程的服务器来部署拓扑网络。在下面的代码中,假设你目前使用的目录中,拓扑fatjar是一个名为topology.jar的文件。
docker -H tcp://127.0.0.1:2375 run
-it
--rm
-v $(readlink -m topology.jar):/topology.jar
baqend/storm
-c nimbus.host=manager.swarm
jar /topology.jar
main.class
topologyArgument1
topologyArgument2
注意:这个命令会生出一个Docker容器,部署拓扑,接着删除容器。我们用-H tcp://127.0.0.1:2375参数来确保容器是在你当前使用的机器上启动的。如果让Docker Swarm自己来编排,部署就可能会失败,因为在生成容器的主机上可能找不到必要的拓扑文件。
另外,readlink -m topology.jar会为topology.jar生成一个绝对路径,因为并不支持相对路径。但是你也可以直接提供一个绝对路径。
终止一个拓扑
可以通过与Storm web UI交互从而终止一个拓扑,或者也可以通过下面的方式,假设正在运行的拓扑叫做runningTopology:
docker run
-it
--rm
baqend/storm
-c nimbus.host=manager.swarm
kill runningTopology
此处并不需要主机参数-H …,因为上述命令是独立的,并不依赖任何文件。
关掉Storm集群
由于每个与Storm相关的容器都有一个cluster=storm标签,你可以用下述语句终止所有的容器:
docker rm -f $(docker ps -a --no-trunc --filter "label=cluster=storm"
不要忘记安全性!
我们在此教程中示范了如何在Docker上用多节点的ZooKeeper集为了高可用性和容错性运行一个分布式Storm集群。为了不让这个教程过分复杂,我们跳过了针对TLS配置Docker Swarm的部分。如果你打算把Docker Swarm用于关键的业务应用中,你必须在这个方面多下些功夫。
Baqend是怎样使用Apache Storm的?
我们利用Storm的能力来提供低延迟的流查询和查询缓存:
连续查询
如果你的APP允许连续查询,Apache Storm能接受你的连续查询和所有你的写入操作,并且将它们相比对:每当写一个对象时,所有注册的连续查询都与之比对。既然Storm一直在跟踪所有查询的结果,它就能发现新的主机或者新的匹配或不匹配的情况,并且在变更刚发生的时候通知你。
查询缓存
对于查询缓存来说,我们用这些通知来主动让缓存失效:Baqend Cloud用一段合理长度的TTL来缓存一个查询结果,一旦发生变更就自动让缓存的查询结果无效。得益于Storm,我们的匹配网络延迟仅为几毫秒,相较以往,数据的获取速度显著提高。
Baqend Cloud将很快发布这两大功能,近期,我们也会在Baqend Tech博客发表更多有关架构的细则和标杆性测试结果。敬请期待!
结束语
本教程是为1.10.3版本的Docker和1.1.3的Swarm所做,并在OpenStack和AWS上测试。本教程及我们的Storm和ZooKeeper Docker镜像文件都在Chicken Dance License v0.2的保护下有效。
- 在GitHub获取教程
- 在Docker Hub和GitHub获取baqend/storm Docker镜像文件
- 在Docker Hub和GitHub获取baqend/zookeeper Docker镜像文件
你可以在GitHub上复制我们的项目,如有任何改进,也欢迎发起pull请求!
OneAPM Cloud Insight 产品集监控、管理、计算、协作、可视化于一身,帮助所有 IT 公司,减少在系统监控上的人力和时间成本投入,让运维工作更加高效、简单。想阅读更多技术文章,请访问 OneAPM 官方技术博客。
本文转自 OneAPM 官方博客
原文地址:http://highscalability.com/blog/2016/4/25/the-joy-of-deploying-apache-storm-on-docker-swarm.html