微服务项目运维管理

服务器IP	主机名	端口	服务	用途
172.16.1.61 172.16.1.62 172.16.1.63	eureka01 eureka02 eureka03	8888	eureka	注册中心
172.16.1.64	mariadb	3306	mariadb	数据库
172.16.1.65 172.16.1.66	ms01 ms02	8010	product	商品服务
		8020	order	订单服务
		8030	stock	库存服务
		8080	portal	前端
		9999	gateway	网关
172.16.1.67	nginx	80	nginx	负载均衡器
172.16.1.68	msjenkins	8080	jenkins	微服务发布平台
172.16.1.69	msgitlab	80	gitlab	代码仓库
172.16.1.70	pinpoint	8079	pinpoint相关组件	微服务监控系统

3 环境准备

(1) 在172.16.1.61机器上安装maven和jdk环境

1) 配置环境变量

# tar -xzf jdk-8u45-linux-x64.tar.gz

# tar -xzf apache-maven-3.5.0-bin.tar.gz

# mv jdk1.8.0_45/ /usr/local/jdk

# mv apache-maven-3.5.0/ /usr/local/maven

# cat >>/etc/profile<< EOF

export JAVA_HOME=/usr/local/jdk

export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar

export PATH=$JAVA_HOME/bin:/usr/local/maven/bin:$PATH

EOF

# source /etc/profile

2) 修改maven仓库地址

参考网址：https://maven.aliyun.com/mvn/guide

打开maven的配置文件，一般在maven安装目录的conf/settings.xml，在<mirrors></mirrors>标签中添加如下mirror子节点。

# vim /usr/local/maven/conf/settings.xml

<id>aliyunmaven</id>

<name>阿里云公共仓库</name>

<url>https://maven.aliyun.com/repository/public</url>

</mirror>

(2) 在172.16.1.62、172.16.1.63、172.16.1.65、172.16.1.66机器上安装jdk环境

# tar -xzf jdk-8u45-linux-x64.tar.gz

# mv jdk1.8.0_45/ /usr/local/jdk

# cat >>/etc/profile<< EOF

export JAVA_HOME=/usr/local/jdk

export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar

export PATH=$JAVA_HOME/bin:$PATH

EOF

# source /etc/profile

3.2 源代码编译构建

在172.16.1.61节点上操作

1 编译

# unzip simple-microservice.zip

# cd simple-microservice/

# mvn clean package -Dmaven.test.skip=true

2 编译后jar包所在位置

(1) 服务目录

(2) 配置目录

3.3 部署Eureka集群

在172.16.1.61、62、63节点上操作

1 修改源代码中eureka配置文件并编译

在172.16.1.61节点上操作

# vim eureka-service/src/main/resources/application-fat.yml

eureka:

server:

renewal-percent-threshold: 0.9

enable-self-preservation: false

eviction-interval-timer-in-ms: 40000

instance:

hostname: 127.0.0.1

prefer-ip-address: true

client:

register-with-eureka: true

serviceUrl:

defaultZone: http://172.16.1.61:${server.port}/eureka/,http://172.16.1.62:${server.port}/eureka/,http://172.16.1.63:${server.port}/eureka/

fetch-registry: true

编译eureka

# mvn clean package -Dmaven.test.skip=true

2 将编译好的jar包放到指定目录下

# mkdir -p /data/ms/eureka

# cp -a eureka-service/target/eureka-service.jar /data/ms/eureka/

3 使用systemd管理eureka

# vim /usr/lib/systemd/system/eureka.service

[Unit]

Description=Eureka

Documentation=eureka

[Service]

ExecStart=/usr/local/jdk/bin/java -jar /data/ms/eureka/eureka-service.jar

ExecReload=/bin/kill -HUP $MAINPID

KillMode=process

Restart=on-failure

[Install]

WantedBy=multi-user.target

# systemctl daemon-reload

# systemctl start eureka.service

# systemctl enable eureka.service

# netstat -tunlp | grep 8888

tcp6 0 0 :::8888 :::* LISTEN 2734/java

# jps -l

2865 sun.tools.jps.Jps

2734 /data/ms/eureka/eureka-service.jar

4 在浏览器中访问

# http://172.16.1.61:8888/

3.4 部署mysql数据库

在172.16.1.64节点上操作

1 安装Mariadb数据库

# yum install mariadb-server -y

# systemctl start mariadb

# systemctl enable mariadb

# mysqladmin -uroot password '123456'

# mysql -uroot -p123456

2 创建一个账号并授权，该账户用于微服务连接

MariaDB [(none)]> grant all on *.* to 'ms'@'%' identified by '123456';

MariaDB [(none)]> flush privileges;

3 将源代码目录里sql文件拷贝到数据库服务器上

在172.16.1.61节点上操作

# scp -r db/ root@172.16.1.64:~

4 创建数据库并导入表

MariaDB [(none)]> create database tb_product;

MariaDB [(none)]> create database tb_stock;

MariaDB [(none)]> create database tb_order;

MariaDB [(none)]> use tb_product;

MariaDB [tb_product]> source /root/db/product.sql

MariaDB [tb_product]> use tb_stock;

MariaDB [tb_stock]> source /root/db/stock.sql

MariaDB [tb_stock]> use tb_order;

MariaDB [tb_order]> source /root/db/order.sql

MariaDB [tb_order]> exit;

3.5 部署业务程序、网关、前端

1 在172.16.1.65、66节点上创建微服务目录

# mkdir -p /data/ms/{product,stock,order,portal,gateway}

2 修改源码配置文件并编译

在172.16.1.61节点上操作

(1) 业务程序

修改商品服务配置文件如下，库存服务、订单服务配置修改同理

# cat product-service/product-service-biz/src/main/resources/application-fat.yml

spring:

datasource:

url: jdbc:mysql://172.16.1.64:3306/tb_product?characterEncoding=utf-8

username: ms

password: 123456

driver-class-name: com.mysql.jdbc.Driver

eureka:

instance:

prefer-ip-address: true

client:

register-with-eureka: true

fetch-registry: true

service-url:

defaultZone: http://172.16.1.61:8888/eureka/,http://172.16.1.62:8888/eureka/,http://172.16.1.63:8888/eureka/

(2) 前端、网关

修改前端服务配置文件如下、网关服务修改配置文件同理

# cat portal-service/src/main/resources/application-fat.yml

eureka:

instance:

prefer-ip-address: true

client:

service-url:

defaultZone: http://172.16.1.61:8888/eureka/,http://172.16.1.62:8888/eureka/,http://172.16.1.63:8888/eureka/

register-with-eureka: true

fetch-registry: true

spring:

freemarker:

allow-request-override: false

allow-session-override: false

cache: true

charset: UTF-8

check-template-location: true

content-type: text/html

enabled: true

expose-request-attributes: false

expose-session-attributes: false

expose-spring-macro-helpers: true

prefer-file-system-access: true

suffix: .ftl

template-loader-path: classpath:/templates/

(3) 编译

# mvn clean package -Dmaven.test.skip=true

3 编写脚本拷贝编译好的jar包到172.16.1.65、66机器上

在172.16.1.61节点上操作

(1) 创建172.16.1.61节点和172.16.1.65、66节点的免交互

# ssh-keygen

# ssh-copy-id root@172.16.1.65

# ssh-copy-id root@172.16.1.66

(2) 业务程序

for ip in 172.16.1.65 172.16.1.66; do

for name in product order stock; do

scp $name-service/$name-service-biz/target/$name-service-biz.jar root@$ip:/data/ms/$name

done

(3) 前端、网关

for ip in 172.16.1.65 172.16.1.66; do

for name in portal gateway; do

scp $name-service/target/$name-service.jar root@$ip:/data/ms/$name

done

4 生成systemd service配置文件并启动服务

在172.16.1.65、66节点上操作

(1) 生成业务程序的systemd service

for name in product order stock; do

cat > /usr/lib/systemd/system/$name.service << EOF

[Unit]

Description=$name

Documentation=$name

[Service]

ExecStart=/usr/local/jdk/bin/java -jar /data/ms/$name/$name-service-biz.jar

ExecReload=/bin/kill -HUP $MAINPID

KillMode=process

Restart=on-failure

[Install]

WantedBy=multi-user.target

EOF

done

(2) 生成前端、网关的systemd service

for name in portal gateway; do

cat > /usr/lib/systemd/system/$name.service << EOF

[Unit]

Description=$name

Documentation=$name

[Service]

ExecStart=/usr/local/jdk/bin/java -jar /data/ms/$name/$name-service.jar

ExecReload=/bin/kill -HUP $MAINPID

KillMode=process

Restart=on-failure

[Install]

WantedBy=multi-user.target

EOF

done

(3) 启动业务程序、前端、网关，并加入到开机自启

for name in product order stock portal gateway; do

systemctl restart $name

systemctl enable $name

done

说明：如果服务没有起来，可以使用journalctl -u $name -f持续查看服务的日志信息。

(4) 查看java进程

# jps -l

3216 /data/ms/gateway/gateway-service.jar

3106 /data/ms/order/order-service-biz.jar

3076 /data/ms/product/product-service-biz.jar

3176 /data/ms/portal/portal-service.jar

3146 /data/ms/stock/stock-service-biz.jar

3434 sun.tools.jps.Jps

5 在浏览器中查看注册的业务程序、前端、网关

url: http://172.16.1.61:8888/

3.6 使用Nginx负载均衡对外访问

在172.16.1.67节点上操作

1 安装nginx

# yum install nginx -y

2 配置nginx负载均衡文件

(1) 配置文件

# cat /etc/nginx/conf.d/ms.conf

upstream gateway {

server 172.16.1.65:9999;

server 172.16.1.66:9999;

}

server {

listen 80;

server_name gateway.ctnrs.com;

access_log /var/log/nginx/gateway-access.log main;

location / {

proxy_pass http://gateway;

}

upstream portal {

server 172.16.1.65:8080;

server 172.16.1.66:8080;

}

server {

listen 80;

server_name portal.ctnrs.com;

access_log /var/log/nginx/portal-access.log main;

location / {

proxy_pass http://portal;

}

# 说明

# gateway 包含在 portal中

# ls portal-service/src/main/resources/static/js/

# index.js jquery-1.8.2.min.js layui orderList.js productList.js

# portal 调用

# http://gateway.ctnrs.com/product/queryAllProduct

# http://gateway.ctnrs.com/order/queryAllOrder

(2) 检查配置文件

# nginx -t

nginx: the configuration file /etc/nginx/nginx.conf syntax is ok

nginx: configuration file /etc/nginx/nginx.conf test is successful

(3) 启动nginx并加入开机自启动

# systemctl restart nginx

# systemctl enable nginx

3 修改本地hosts解析

C:WindowsSystem32driversetchosts

172.16.1.67 portal.ctnrs.com gateway.ctnrs.com

4 在浏览其中访问

URL地址：http://portal.ctnrs.com/

4 基于jenkins构建微服务发布平台

在172.16.1.78节点上操作。

4.1 安装gitlab和jenkins

1 使用docker方式在172.16.1.68节点上安装jenkins，具体安装请参考jenkins安装文档，这里安装步骤省略。

2 使用docker方式在172.16.1.69节点上安装gitlab，具体安装请参考gitlab安装文档，这里安装步骤省略。

将修改好配置文件的微服务项目上传到gitlab的自建仓库project/microserver.git中，需要将已经编译好的target目录jar文件删除，否则会导致微服务无法在eureka集群中注册(这里省略步骤)。

4.2 安装ansiable

# yum install ansible -y # ssh-keygen

# ssh-copy-id root@172.16.1.65

# ssh-copy-id root@172.16.1.66

测试ansiable

# vim /etc/ansible/hosts

[webservers]

172.16.1.65

172.16.1.66

# ansible webservers -m ping

4.3 安装jenkins分布式节点

1 创建从节点的工作目录

# mkdir -p /jenkins_home

2 创建从节点

3 上线从节点

# cd /jenkins_home/

# wget http://172.16.1.68:8080/jnlpJars/agent.jar

# nohup /usr/local/jdk/bin/java -jar agent.jar -jnlpUrl http://172.16.1.68:8080/computer/localhost/slave-agent.jnlp -s

ecret 3def841847662ecd2ed43460f671b59ac112189107b952bf3ab3832b48d2fe01 -workDir "/jenkins_home" &>agent.log &

4 上线完成

4.4 安装jenkins插件

1 发布流程

(1) 自动拉取代码

(2) 代码编译

(3) 推送构建文件

(4) 部署构建文件，并重启服务

(5) 测试访问

2 安装插件如下

pipeline(pipeline脚本)、git(git命令，用于拉取git仓库)、git parameter(获取git仓库标签)、extended choice parameter(多选框)、ansible(批量化处理)

4.5 创建pipeline项目

4.6 根据pipeline语法生成器生成需要的pipeline脚本

1 获取git仓库标签脚本

parameters {

gitParameter branch: '', branchFilter: '.*', defaultValue: '', description: '请选择要发布的分支', name: 'Branch', quickFilterEnabled: false, selectedValue: 'NONE', sortMode: 'NONE', tagFilter: '*', type: 'PT_TAG'

}

2 生成要发布的微服务多选框的脚本

parameters {

extendedChoice description: '请选择要发布的微服务', multiSelectDelimiter: ',', name: 'Service', quoteValue: false, saveJSONParameterToFile: false, type: 'PT_CHECKBOX', value: 'portal,gateway,product,stock,order', visibleItemCount: 5

}

3 生成要发布服务器组的脚本

parameters {

choice choices: ['webservers1', 'webservers2'], description: '请选择要发布的服务器组', name: 'Servers'

}

4 生成拉取gitlab代码仓库的脚本

checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: 'a0c7bec9-230b-4b86-995b-ef162b4d5f42', url: 'http://172.16.1.69/project/microserver.git']]])

4.7 创建pipeline脚本

pipeline {

agent {

label "localhost"

}

parameters {

gitParameter branch: '', branchFilter: '.*', defaultValue: 'master', description: '请选择要发布的分支', name: 'Branch', quickFilterEnabled: false, selectedValue: 'NONE', sortMode: 'NONE', tagFilter: '*', type: 'PT_BRANCH'

extendedChoice description: '请选择要发布的微服务', multiSelectDelimiter: ',', name: 'Service', quoteValue: false, saveJSONParameterToFile: false, type: 'PT_CHECKBOX', value: 'portal,gateway,product,stock,order', visibleItemCount: 5

choice choices: ['webservers1', 'webservers2'], description: '请选择要发布的服务器组', name: 'Servers'

}

stages {

stage('拉取代码') {

steps {

checkout([$class: 'GitSCM', branches: [[name: '$Branch']], extensions: [], userRemoteConfigs: [[credentialsId: 'a0c7bec9-230b-4b86-995b-ef162b4d5f42', url: 'http://172.16.1.69/project/microserver.git']]])

}

stage('代码编译') {

steps {

sh '''

JAVA_HOME=/usr/local/jdk

PATH=$JAVA_HOME/bin:/usr/local/maven/bin:$PATH

mvn clean package -Dmaven.test.skip=true

'''

}

stage('部署') {

steps {

// 将用户选择的微服务的构建文件拷贝到临时目录，以便ansible统一推送

// Service=portal,gateway,product,stock,order

script {

def tmp_dir = "$WORKSPACE/tmp"

def services = "$Service".split(",")

sh """

[ -d $tmp_dir ] && rm -rf $tmp_dir

mkdir -p $tmp_dir

"""

for(name in services) {

sh """

echo $name

pwd

ls

cd $name-service

if ls |grep biz &>/dev/null;then

cd $name-service-biz

fi

mv target/*.jar $tmp_dir

ls $tmp_dir

"""

}

// 生成主机清单文件和playbook

sh """

cat > /jenkins_home/.hosts << EOF

[webservers1]

172.16.1.65

[webservers2]

172.16.1.66

EOF

cat > /jenkins_home/.playbook <<EOF

- hosts: $Servers

gather_facts: no

vars:

workspace: $WORKSPACE

work_dir: "/data/ms"

service_name: $Service # Service=portal,gateway,product,stock,order

tasks:

- name: 推送构建文件

copy:

src={{ item }}

dest={{ work_dir }}/{{ item.split("/")[-1].split("-")[0] }}

with_fileglob:

- "{{ workspace }}/tmp/*.jar"

- name: 重启服务

systemd: name={{ item }} state=restarted

loop: "{{ service_name.split(',') }}"

EOF

"""

ansiblePlaybook(

playbook: "/jenkins_home/.playbook",

inventory: "/jenkins_home/.hosts",

credentialsId: ""

)

}

4.8 构建成功

# 所有服务在eureak集群中正常注册

4.9 测试

1 在gitlab中修改portal-service前端数据

2 重新部署portal服务到172.16.1.66(webservers2)节点

3 在浏览器中循环刷新微服务项目，会发现标题循环发生改变

http://portal.ctnrs.com/

# 出现添加的内容

# 没有出现添加的内容

5 微服务全链路监控

5.1 说明

1 全链路监控是什么

随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。这些服务可能不同编程语言开发，不同团队开发，可能部署很多副本。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候，能够快速定位和解决问题。全链路监控组件就在这样的问题背景下产生了。全链路性能监控从整体维度到局部维度展示各项指标，将跨应用的所有调用链性能信息集中展现，可方便度量整体和局部性能，并且方便找到故障产生的源头，生产上可极大缩短故障排除时间。

2 全链路监控解决什么问题

(1) 请求链路追踪：通过分析服务调用关系，绘制运行时拓扑信息，可视化展示

(2) 调用情况衡量：各个调用环节的性能分析，例如吞吐量、响应时间、错误次数

(3) 容器规划参考：扩容/缩容、服务降级、流量控制

(4) 运行情况反馈：告警，通过调用链结合业务日志快速定位错误信息

3 全链路监控系统选择依据

全链路监控系统有很多，应从这几方面选择：

(1) 探针的性能消耗

APM组件服务的影响应该做到足够小，数据分析要快，性能占用小。

(2) 代码的侵入性

即也作为业务组件，应当尽可能少入侵或者无入侵其他业务系统，对于使用方透明，减少开发人员的负担。

(3) 监控维度

分析的维度尽可能多。

(4) 可扩展性

一个优秀的调用跟踪系统必须支持分布式部署，具备良好的可扩展性。能够支持的组件越多当然越好。

主流系统：skywalking、pinpoint、zipkin

4 Pinpoint介绍

Pinpoint是一个APM（应用程序性能管理）工具，适用于用Java/PHP编写的中大型分布式系统。

特性：

(1) 服务器地图（ServerMap）

通过可视化分布式系统的模块和他们之间的相互联系来理解系统拓扑。点击某个节点会展示这个模块的详情，比如它当前的状态和请求数量。

(2) 实时活动线程图（Realtime Active Thread Chart）

实时监控应用内部的活动线程。

(3) 请求/响应分布图（Request/Response Scatter Chart）

长期可视化请求数量和应答模式来定位潜在问题。通过在图表上拉拽可以选择请求查看更多的详细信息。

(4) 调用栈（CallStack）

在分布式环境中为每个调用生成代码级别的可视图，在单个视图中定位瓶颈和失败点。

(5) 检查器（Inspector）

查看应用上的其他详细信息，比如CPU使用率，内存/垃圾回收，TPS，和JVM参数。

5.2 Pinpoint部署

在172.16.1.70节点上操作

1 环境准备

(1) 安装docker环境(省略步骤)

(2) 安装docker-compose

1) 下载二进制文件

# curl -L https://github.com/docker/compose/releases/download/1.27.4/docker-compose-Linux-x86_64 -o /usr/bin/docker-compose

2) 添加可执行权限

# chmod +x /usr/bin/docker-compose

2 部署

# git clone https://github.com/pinpoint-apm/pinpoint-docker.git

# cd pinpoint-docker

# docker-compose pull

# docker-compose up -d

# docker-compose ps

访问url地址：http://172.16.1.70:8079

5.3 Pinpoint Agent部署

1 下载pinpoint agent jar包

-javaagent:${pinpointPath}/pinpoint-bootstrap-1.8.5.jar

-Dpinpoint.applicationName=

-Dpinpoint.agentId=

https://github.com/pinpoint-apm/pinpoint/releases/download/1.8.5/pinpoint-agent-1.8.5.tar.gz

TomCat：

# catalina.sh

CATALINA_OPTS="$CATALINA_OPTS -javaagent:${pinpointPath}/pinpoint-bootstrap-1.8.5.jar"

CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.applicationName=portal"

CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.agentId=172.16.1.65"

2 部署

以portal服务为例，在172.16.1.65节点上操作

(1) 配置pinpoint agent连接pinpoint服务端

# mkdir -p /data/ms/portal/pinpoint-agent/

# cd /data/ms/portal/pinpoint-agent/

# tar -xzf pinpoint-bootstrap-1.8.5.jar

# vim pinpoint.config

profiler.collector.ip=172.16.1.70

(2) 将pinpoint agent加入到portal前端服务中

# vim /usr/lib/systemd/system/portal.service

[Unit]

Description=portal

Documentation=portal

[Service]

ExecStart=/usr/local/jdk/bin/java -jar -javaagent:/data/ms/portal/pinpoint-agent/pinpoint-bootstrap-1.8.5.jar -Dpinpoint.applicationName=portal -Dpinpoint.agentId=172.16.1.65 /data/ms/port

al/portal-service.jarExecReload=/bin/kill -HUP

KillMode=process

Restart=on-failure

[Install]

WantedBy=multi-user.target

(3) 重启portal服务

# systemctl daemon-reload

# systemctl restart portal.service

3 在浏览器中多次访问http://portal.ctnrs.com/，然后在pinpoint中查看调用关系图

5.4 重点关注的监控指标

1 堆内存

2 GCC

3 CPU使用率

4 堆栈跟踪

5 接口状态

6 吞吐量、相应时间

6 Java程序调用与故障排查工具

6.1 java常用工具

1 jps # 显示JVM进程状态

2 jstack # 打印Java进程的线程堆栈信息

3 jmap # 打印共享对象内存映射或堆内存详细信息

4 jstat # 监控JVM的统计数

6.2 程序调优参数

以portal服务为例

1 配置调优参数

# vim /usr/lib/systemd/system/portal.service

[Unit]

Description=portal

Documentation=portal

[Service]

ExecStart=/usr/local/jdk/bin/java -Xms512m -Xmx2g -XX:+UseG1GC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xloggc:/data/ms/portal/gc.log -jar /data/ms/portal/portal-

service.jarExecReload=/bin/kill -HUP

KillMode=process

Restart=on-failure

[Install]

WantedBy=multi-user.target

2 重启portal服务

# systemctl daemon-reload

# systemctl restart portal.service

3 查看堆栈信息

# jps -l

2066 sun.tools.jps.Jps

1960 /data/ms/portal/portal-service.jar

# jmap -heap 1960

6.3 故障排查

1 堆内存溢出

(1) 可能原因

1) 堆内存不足，设置容量较小

2) 代码Bug，对象不释放

(2) 堆内存内存溢出日志错误

老年代内存不足

java.lang.OutOfMemoryError:Javaheapspace

2 Java进程CPU利用率占用很高

(1) 可能原因

1) 频繁GC

2) 代码Bug

(2) 定位占用CPU高的代码

1) 查看占用资源最多的Java进程的PID

# top

2) 查看进程下占用CPU使用率最多的线程PID

# top -Hp 2268

3) 将线程PID转换为十六进制

# printf "%x " 2279

8e7

4) jstack获取进程堆栈信息，过滤出这个线程的

格式：jstack <进程PID> |grep <十六进制> -A 30

# jstack 2268 | grep 8e7 -A 30

原文地址：https://www.cnblogs.com/LiuChang-blog/p/14704169.html