Docker+Consul+Registrator实现服务注册与发现
逻辑图 实现nginx节点自动化加入容器IP代理
1、三台Consul agent server作为高可用通过Consul Template实时监测Leader的变化。
2、Leader如果变化就触发渲染模板动作，执行相应命令。
3、如图 如果Node01 docker创建了一个nginx web容器随机暴露了一个24123端口，Registrator会监听到这个事件之后，会将宿主级IP与暴露的端口注册到本地的Consul agent client。
4、Consul agent Clinet 再将这个请求转发到 Consul agent service中。
环境说明
- Linux系统版本：Linux Centos 7.4 x64
- Consul应用版本：consul_1.4.0
- Template应用版本：consul-template_0.19.3
- Docker应用版本：18.09.0
- Consul管理节点：192.168.1.79
- Docker工作节点：192.168.1.78
- Docker工作节点：192.168.1.77
1、管理节点安装 Consul 服务端
1.1、下载解压安装包Consul
- Consul下载地址：https://pan.baidu.com/s/13fFhJwj6TxXkAB0tOLo8Sg
- 密码：hjub
# 解压出一个二进制包 unzip unzip consul_1.4.0_linux_amd64.zip # 移动到bin目录下 mv consul /usr/bin
1.2、server模式初始化集群
consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=192.168.1.79 -client=0.0.0.0 -node=test
# 使用命令 consul agent # 设置server模式 -server # 自选举为自己Leader -bootstrap # 启用内置web页面 -ui # 集群数据保存位置 -data-dir=/var/lib/consul-data # 集群之间通讯绑定地址 -bind=192.168.1.79 # 客户端访问地址 -client=0.0.0.0 # 指定管理节点名称默认主机名，必须是唯一的 -node=test
==> Consul agent running! # 软件版本1.4 Version: 'v1.4.0' Node ID: '0f09693a-f66e-08f2-6199-0523c27d010d' # node节点为test Node name: 'test' # 数据中心默认名称dc1 Datacenter: 'dc1' (Segment: '<all>') Server: true (Bootstrap: true) # client可访问IP地址 Client Addr: [0.0.0.0] (HTTP: 8500, HTTPS: -1, gRPC: -1, DNS: 8600) # 集群IP地址，设置为管理节点地址 Cluster Addr: 192.168.1.79 (LAN: 8301, WAN: 8302) Encrypt: Gossip: false, TLS-Outgoing: false, TLS-Incoming: false
1.3、查看管理节点Consul启动信息
命令：netstat -antp | grep consul # 集群节点 tcp 0 0 192.168.1.79:8300 0.0.0.0:* LISTEN 68220/consul # 集群内部访问 tcp 0 0 192.168.1.79:8301 0.0.0.0:* LISTEN 68220/consul # 夸数据中心访问 tcp 0 0 192.168.1.79:8302 0.0.0.0:* LISTEN 68220/consul tcp 0 1 192.168.1.79:52742 192.168.1.78:8301 SYN_SENT 68220/consul tcp 0 0 192.168.1.79:8300 192.168.1.79:55923 ESTABLISHED 68220/consul tcp 0 0 192.168.1.79:55923 192.168.1.79:8300 ESTABLISHED 68220/consul tcp 0 0 192.168.1.79:8300 192.168.1.77:44698 ESTABLISHED 68220/consul # HTTP tcp6 0 0 :::8500 :::* LISTEN 68220/consul # DNS tcp6 0 0 :::8600 :::* LISTEN 68220/consul
命令：consul info agent: check_monitors = 0 check_ttls = 0 checks = 0 services = 0 build: prerelease = revision = 0bddfa23 version = 1.4.0 consul: acl = disabled bootstrap = true known_datacenters = 1 leader = true # leader地址 leader_addr = 192.168.1.79:8300 server = true # 保持选举一致性算法 raft: applied_index = 22 commit_index = 22 fsm_pending = 0 last_contact = 0 last_log_index = 22 last_log_term = 2 last_snapshot_index = 0 last_snapshot_term = 0 latest_configuration = [{Suffrage:Voter ID:0f09693a-f66e-08f2-6199-0523c27d010d Address:192.168.1.79:8300}] latest_configuration_index = 1 num_peers = 0 protocol_version = 3 protocol_version_max = 3 protocol_version_min = 0 snapshot_version_max = 1 snapshot_version_min = 0 state = Leader term = 2 runtime: arch = amd64 cpu_count = 2 goroutines = 81 max_procs = 2 os = linux version = go1.11.1 serf_lan: coordinate_resets = 0 encrypted = false event_queue = 1 event_time = 2 failed = 0 health_score = 0 intent_queue = 0 left = 0 member_time = 1 members = 1 query_queue = 0 query_time = 1 serf_wan: coordinate_resets = 0 encrypted = false event_queue = 0 event_time = 1 failed = 0 health_score = 0 intent_queue = 0 left = 0 member_time = 1 members = 1 query_queue = 0 query_time = 1
命令：consul members
Node Address Status Type Build Protocol DC Segment
test 192.168.1.79:8301 alive server 1.4.0 2 dc1 <all>
查看leaderIP地址
consul catalog services
curl 127.0.0.1:8500/v1/status/peers # 集群server成员 curl 127.0.0.1:8500/v1/status/leader # 集群Raft leader curl 127.0.0.1:8500/v1/catalog/services # 注册的所有服务 curl 127.0.0.1:8500/v1/catalog/services/nginx # 服务信息 curl 127.0.0.1:8500/v1/catalog/nodes # 集群节点详细信息
类型 描述
kv 键值存储
agent agent管理
catalog nodes和services管理
health 健康检查
session session管理
acl ACL管理
event 用户事件
status Consul系统状态
2、工作节点安装Consul 客户端
2.1、下载解压安装包到本地
# 解压出一个二进制包 unzip unzip consul_1.4.0_linux_amd64.zip # 移动到bin目录下 mv consul /usr/bin
2.2、client模式加入集群
工作节点1
docker run -d --name=consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart=always progrium/consul -join 192.168.1.79 -advertise 192.168.1.77 -client 0.0.0.0 -node=node01
工作节点2
docker run -d --name=consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart=always progrium/consul -join 192.168.1.79 -advertise 192.168.1.78 -client 0.0.0.0 -node=node02
# 运行 docker run -d # 指定名称 --name=consul # 指定暴露端口 -p 8301:8301 -p 8301:8301/udp # 提供HTTP服务端口 -p 8500:8500 # 提供DNS服务端口 -p 8600:8600 -p 8600:8600/udp # 设置重启策略 --restart=always # 指定镜像 progrium/consul # 加入现有集群IP -join 192.168.1.79 # 通告地址，本机地址 -advertise 192.168.1.77 # 通过那里连接本地 -client 0.0.0.0 # 指定管理节点名称默认主机名，必须是唯一的 -node=node01
2.3、查看工作节点consul启动情况
命令：docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 7c82880b3685 progrium/consul "/bin/start -join 19…" 3 minutes ago Up 9 seconds 53/tcp, 8300/tcp, 53/udp, 8302/tcp, 0.0.0.0:8301->8301/tcp, 0.0.0.0:8500->8500/tcp, 0.0.0.0:8301->8301/udp, 8400/tcp, 8302/udp, 0.0.0.0:8600->8600/tcp, 0.0.0.0:8600->8600/udp consul
命令：consul members Node Address Status Type Build Protocol DC Segment test 192.168.1.79:8301 alive server 1.4.0 2 dc1 <all> node01 192.168.1.77:8301 alive client 0.5.2 2 dc1 <default> node02 192.168.1.78:8301 failed client 0.5.2 2 dc1 <default>
注：关闭防火墙拦截。
2.4、管理节点：web页面测试查看
http://192.168.1.79:8500/ui/dc1/services
查看节点
3、管理节点：注册使用
3.1、注册服务
# 案例： curl -X PUT -d '{"id": "jetty","name": "service_name","address": "192.168.1.77","port": 8080,"tags": ["test"],"checks": [{"http": "http://192.168.1.77:8080/","interval": "5s"}]}' http://127.0.0.1:8500/v1/agent/service/register
3.2、查看注册服务
5、工作节点：安装Registrator与template
5.1、Registrator简介
consul-template：一个守护程序，用于实时查询consul集群数据，并更新文件系统上的任意数量的指定模板，生成配置文件，更新完成后可以选择运行任何命令。
gliderlabs/registrator：检查容器运行状态自动注册到服务中心。registrator支持服务注册有consul、etcd、SkyDNS2。
5.2、工作节点1节点2：下载解压部署
- Template下载地址：https://pan.baidu.com/s/1N9U89ClxY-fpTfxiP8l3Tw
- 密码：wso1
# 解压文件 unzip consul-template_0.19.3_linux_amd64.zip # 移动文件到bin目录下 mv consul-template /usr/bin/
5.3、工作节点1节点2：创建registrator项目
docker run -d --name=registrator -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator:latest consul://192.168.1.77:8500
# docker run -d # 指定容器名称 --name=registrator # 给容器挂载存储卷，挂载到容器的某个目录 -v /var/run/docker.sock:/tmp/docker.sock # 添加重启策略 --restart=always # 指定镜像 gliderlabs/registrator:latest # 指定docker本地IP，连接注册到consul client。 consul://192.168.1.77:8500 注：它可以将之前创建的容器注册。
5.4、浏览器查看注册情况
6、实现Nginx集群节点自动加入
6.1、工作节点1节点2：启动nginx容器
docker run -d -P nginx
6.2、工作节点1节点2：浏览器查看服务
前提：管理节点（推荐）环境安装好nginx服务设置代理
6.3、管理节点：创建nginx代理模板
vi nginx.ctmpl
upstream http_backend { ip_hash; # nginx 为服务名称 {{range service "nginx"}} # 服务名 服务IP:端口号 server {{ .Address }}:{{ .Port }}; # 结束 {{ end }} } server { listen 80; server_name localhost; location / { proxy_pass http://http_backend; } }
6.4、管理节点：配置template自动部署
consul-template -consul-addr 192.168.1.79:8500 -template "./nginx.ctmpl:/etc/nginx/conf.d/default2.conf:/usr/sbin/nginx -s reload" -log-level=info
# 使用template命令 consul-template # 指定consul server地址 -consul-addr 192.168.1.79:8500 # 指定 新配置文件：生成配置文件：重载配置文件 -template "./nginx.ctmpl:/etc/nginx/conf.d/default2.conf:/usr/sbin/nginx -s reload" # 指定日志级别 -log-level=info
6.5、管理节点：测试查看生成结果
命令： cat default2.conf upstream http_backend { ip_hash; server 192.168.1.77:32768; server 192.168.1.77:32769; server 192.168.1.78:32788; } server { listen 80; server_name localhost; location / { proxy_pass http://http_backend; } }
6.6、测试添加了多台Nginx容器后输出，验证自动发现
查看Nginx配置文件
cat default2.conf upstream http_backend { ip_hash; server 192.168.1.77:32772; server 192.168.1.77:32768; server 192.168.1.77:32771; server 192.168.1.77:32773; server 192.168.1.77:32770; server 192.168.1.77:32769; server 192.168.1.78:32789; server 192.168.1.78:32791; server 192.168.1.78:32788; server 192.168.1.78:32790; } server { listen 80; server_name localhost; location / { proxy_pass http://http_backend; } }
注：删除添加docker容器都执行动作。