夜莺监控（ Nightingale ）

1.简介

1.1夜莺介绍

夜莺监控（ Nightingale ）是一款国产、开源云原生监控分析系统，采用 All-In-One 的设计，集数据采集、可视化、监控告警、数据分析于一体。于 2020 年 3 月 20 日，在 github 上发布 v1 版本，已累计迭代 60 多个版本。从 v5 版本开始与 Prometheus、VictoriaMetrics、Grafana、Telegraf、Datadog 等生态紧密协同集成，提供开箱即用的企业级监控分析和告警能力，已有众多企业选择将 Prometheus + AlertManager + Grafana 的组合方案升级为使用夜莺监控。夜莺监控，由滴滴开发和开源，并于 2022 年 5 月 11 日，捐赠予中国计算机学会开源发展委员会（CCF ODC），为 CCF ODC 成立后接受捐赠的第一个开源项目。夜莺监控的核心开发团队，也是Open-Falcon项目原核心研发人员。

1.2产品介绍

Nightingale 可以接收各种采集器上报的监控数据，转存到时序库（可以支持Prometheus、M3DB、VictoriaMetrics、Thanos等），并提供告警规则、屏蔽规则、订阅规则的配置能力，提供监控数据的查看能力，提供告警自愈机制（告警触发之后自动回调某个webhook地址或者执行某个脚本），提供历史告警事件的存储管理、分组查看的能力。

1.3系统架构

1.4产品对比

Zabbix

Zabbix 是一款老牌的监控系统，对机器和网络设备的监控覆盖很全，比如支持 AIX 系统，常见的开源监控都是支持 Linux、Windows，AIX 较少能够支持，Zabbix 用户群体广泛，国内很多公司基于 Zabbix 做商业化服务，不过 Zabbix 使用数据库做存储，容量有限，监控大盘不足，配置麻烦，服务器较多的话，很卡。

Open-Falcon

因为开发 Open-Falcon 和 Nightingale 的是一拨人，所以很多社区伙伴会比较好奇，为何要新做一个监控开源软件。核心点是 Open-Falcon 和 Nightingale 的差异点实在是太大了，Nightingale 并非是 Open-Falcon 设计逻辑的一个延续，就看做两个不同的软件就好。

Open-Falcon 是 14 年开发的，当时是想解决 Zabbix 的一些容量问题，可以看做是物理机时代的产物，整个设计偏向运维视角，虽然数据结构上已经开始设计了标签，但是查询语法还是比较简单，无法应对比较复杂的场景。

Nightingale 直接支持 PromQL，支持 Prometheus、M3DB、VictoriaMetrics 多种时序库，支持 Categraf、Telegraf、Datadog-Agent、Grafana-Agent 做监控数据采集，支持 Grafana 看图，整个设计更加云原生。

Prometheus

Nightingale 可以简单看做是 Prometheus 的一个企业级版本，把 Prometheus 当做 Nightingale 的一个内部组件（时序库）

Nightingale 可以接入多个 Prometheus，可以允许用户在页面上配置告警规则、屏蔽规则、订阅规则，在页面上查看告警事件、做告警事件聚合统计，配置告警自愈机制，管理监控对象，配置监控大盘等，就把 Nightingale 看做是 Prometheus 的一个 WEBUI 也是可以的，不过实际上，它远远不止是一个 WEBUI，用一下就会深有感触。

2.安装部署

首先我们来看下面的架构图，夜莺的服务端有两个模块：n9e-webapi 和 n9e-server，n9e-webapi 用于提供 API 给前端 JavaScript 使用，n9e-server 的职责是告警引擎和数据转发器。依赖的组件有 MySQL、Redis、时序库，时序库我们这里使用 Prometheus。

mysql、redis、prometheus，这三个组件都是开源软件，mysql、redis请大家自行安装，其中 prometheus 在启动的时候要注意开启 --enable-feature=remote-write-receiver ，如果已经有 Prometheus 了，也可以直接使用，无需再次部署。这里也提供一个小脚本来安装prometheus，大家可以参考

# install prometheus   
mkdir -p /TRS/prometheus  && cd  /TRS/soft

wget  https://github.com/prometheus/prometheus/releases/download/v2.36.2/prometheus-2.36.2.linux-amd64.tar.gz
#如果不能kexue上网请手动上传
tar xf prometheus-2.36.2.linux-amd64.tar.gz
mv prometheus-2.36.2.linux-amd64/*  /TRS/prometheus/

# service 
cat <<EOF >/etc/systemd/system/prometheus.service
[Unit]
Description="prometheus"
Documentation=https://prometheus.io/
After=network.target

[Service]
User=zwyuser
Type=simple

ExecStart=/TRS/prometheus/prometheus  --config.file=/TRS/prometheus/prometheus.yml --storage.tsdb.path=/TRS/prometheus/data --web.enable-lifecycle --enable-feature=remote-write-receiver --query.lookback-delta=2m  
#>> /var/log/prometheus.log  2>&1"
Restart=on-failure
SuccessExitStatus=0
LimitNOFILE=65536
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=prometheus


[Install]
WantedBy=multi-user.target
EOF

chown -R zwyuser.zwyuser  /TRS/prometheus/
systemctl daemon-reload
systemctl enable prometheus
systemctl restart prometheus
systemctl status prometheus
journalctl  -u prometheus  #查看日志

#install  nightingale         
mkdir -p /TRS/n9e && cd /TRS/n9e
wget https://www.gitlink.org.cn/api/attachments/389627
tar xf  389627  && rm -f 389627

#这里要改数据库密码
mysql -uroot -p1234 < docker/initsql/a-n9e.sql   SH1y6C5$l9o  aCj9n5NjgdCBr5wn

#更改配置文件  
vim /TRS/n9e/etc/server.conf   vim /TRS/n9e/etc/webapi.conf
#这两个配置文件中药更改以下配置
[Redis]
Address = "127.0.0.1:6379"
Password = "zbb21"

RedisType = "standalone"

[DB]
DSN="root:z21521@tcp(127.0.0.1:3306)/n9e_v5?charset=utf8mb4&parseTime=True&loc=Local&allowNativePasswords=true"


#启动
#nohup ./n9e server &> server.log &
#nohup ./n9e webapi &> webapi.log &

cat <<EOF >/etc/systemd/system/n9e-server.service
[Unit]
Description="n9e-server"
After=network.target

[Service]
User=zwyuser
Type=simple

ExecStart=/TRS/n9e/n9e server
WorkingDirectory=/TRS/n9e

Restart=on-failure
SuccessExitStatus=0
LimitNOFILE=65536
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=n9e-server


[Install]
WantedBy=multi-user.target
EOF


cat <<EOF >/etc/systemd/system/n9e-webapi.service
[Unit]
Description="n9e-webapi"
After=network.target

[Service]
User=zwyuser
Type=simple

ExecStart=/TRS/n9e/n9e webapi
WorkingDirectory=/TRS/n9e

Restart=on-failure
SuccessExitStatus=0
LimitNOFILE=65536
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=n9e-webapi


[Install]
WantedBy=multi-user.target

EOF

chown zwyuser.zwyuser  /TRS/n9e/ -R
systemctl daemon-reload
systemctl enable n9e-server
systemctl enable n9e-webapi
systemctl restart n9e-server
systemctl restart n9e-webapi

如果启动成功，server 默认会监听在 19000 端口，webapi 会监听在 18000 端口

好了，浏览器访问 webapi 的端口（默认是18000）就可以体验相关功能了，默认用户是root，密码是root.2020

3.采集器

基本介绍

Categraf 是一款 all-in-one 的采集器，由 快猫团队 开源，代码托管在两个地方：

• gitlink: https://www.gitlink.org.cn/flashcat/categraf
• github: https://github.com/flashcatcloud/categraf

Categraf 不但可以采集 OS、MySQL、Redis、Oracle 等常见的监控对象，也准备提供日志采集能力和 trace 接收能力，这是夜莺主推的采集器，相关信息请查阅项目 README

Categraf 采集到数据之后，通过 remote write 协议推给远端存储，Nightingale 恰恰提供了 remote write 协议的数据接收接口，所以二者可以整合在一起，重点是配置 Categraf 的 conf/config.toml 中的 writer 部分，其中 url 部分配置为 n9e-server 的 remote write 接口：

[writer_opt]
# default: 2000
batch = 2000
# channel(as queue) size
chan_size = 10000

[[writers]]
url = "http://N9E-SERVER:19000/prometheus/v1/write"

# Basic auth username
basic_auth_user = ""

# Basic auth password
basic_auth_pass = ""

# timeout settings, unit: ms
timeout = 5000
dial_timeout = 2500
max_idle_conns_per_host = 100

对比

categraf 和 telegraf、exporters、grafana-agent、datadog-agent 等的关系是什么？

telegraf 是 influxdb 生态的产品，因为 influxdb 是支持字符串数据的，所以 telegraf 采集的很多 field 是字符串类型，另外 influxdb 的设计，允许 labels 是非稳态结构，比如 result_code 标签，有时其 value 是 0，有时其 value 是 1，在 influxdb 中都可以接受。但是上面两点，在类似 prometheus 的时序库中，处理起来就很麻烦。

prometheus 生态有各种 exporters，但是设计逻辑都是一个监控类型一个 exporter，甚至一个实例一个 exporter，生产环境可能会部署特别多的 exporters，管理起来略麻烦。

grafana-agent import 了大量 exporters 的代码，没有裁剪，没有优化，没有最佳实践在产品上的落地，有些中间件，仍然是一个 grafana-agent 一个目标实例，管理起来也很不方便。

datadog-agent确实是集大成者，但是大量代码是 python 的，整个发布包也比较大，有不少历史包袱，而且生态上是自成一派，和社区相对割裂。

安装

mkdir -p /TRS/categraf && cd /TRS/categraf
wget  https://www.gitlink.org.cn/api/attachments/389628
tar xf  389628  && rm -f 389628
mv   categraf-v0.1.9-linux-amd64/*   . && rm -rf categraf-v0.1.9-linux-amd64


cat <<EOF >/etc/systemd/system/categraf.service
[Unit]
Description="Categraf"
After=network.target

[Service]
User=zwyuser
Type=simple

ExecStart=/TRS/categraf/categraf
WorkingDirectory=/TRS/categraf

Restart=on-failure
SuccessExitStatus=0
LimitNOFILE=65536
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=categraf


[Install]
WantedBy=multi-user.target

EOF

chown -R  zwyuser.zwyuser  /TRS/categraf/
systemctl daemon-reload
systemctl enable categraf.service
systemctl restart categraf.service

4.监控项

4.1主机监控

4.2站点监控

 vim /TRS/categraf/conf/input.http_response/http_response.toml 
 
[[instances]]
targets = [
    "https://c0",
    "https://www.baidu.com"
]

# # append some labels for series
labels = { region="cloud", product="n9e" }

4.3Mysql监控

vim /TRS/categraf/conf/input.mysql/mysql.toml 

interval = 15
[[instances]]
address = "192.168.1.29:3308"
username = "root"
password = "qd30in"

labels = { instance="192.168.1.28:3308" }

4.4Redis监控

interval = 15

[[instances]]
address = "192.168.1.29:6379"
# username = ""
password = "xvTTFfZ2kV6LDc5yGz"
pool_size = 2
labels = { instance="192.168.1.29:6379" }

4.5服务监控

通过端口号判断服务是否存活

[[instances]]
targets = [
     "localhost:8080",
]

labels = { region="cloud", product="IIP" }



[[instances]]
targets = [
     "localhost:8280",
]

labels = { region="cloud", product="test" }

label_values(rabbitmq_identity_info, rabbitmq_cluster)

label_values(mysql_global_status_uptime, instance)

4.6rabbitmq监控

从 rabbitmq 3.8 版本开始，就内置了 prometheus 的支持，即，如果 rabbitmq 启用了 prometheus，可以直接暴露 metrics 接口，Categraf 从这个 metrics 接口拉取数据即可

rabbitmq 启用 prometheus 插件：

rabbitmq-plugins enable rabbitmq_prometheus

启用成功的话，rabbitmq 默认会在 15692 端口起监听，访问 http://localhost:15692/metrics 即可看到符合 prometheus 协议的监控数据。

[[instances]]
 urls = [
     "http://192.168.1.29:15692/metrics"
 ]

url_label_key = "instance"
url_label_value = "{{.Host}}"

## Scrape Services available in Consul Catalog
[instances.consul]
  enabled = false
  agent = "http://localhost:8500"
  query_interval = "5m"

  [[instances.consul.query]]
    name = "a service name"
    tag = "a service tag"
    url = 'http://{{if ne .ServiceAddress ""}}{{.ServiceAddress}}{{else}}{{.Address}}{{end}}:{{.ServicePort}}/{{with .ServiceMeta.metrics_path}}{{.}}{{
else}}metrics{{end}}'
    [instances.consul.query.tags]
      host = "{{.Node}}"

4.7监控ping

ping 监控插件，探测远端目标地址能否 ping 通，如果机器没有禁 ping，这就是一个很好用的探测机器存活的手段

要探测的机器配置到 targets 中，targets 是个数组，可以配置多个，当然也可以拆成多个 [[instances]] 配置段，比如：

[[instances]]
targets = [ "10.4.5.6" ]
labels = { region="cloud", product="n9e" }
[[instances]]
targets = [ "10.4.5.7" ]
labels = { region="cloud", product="zbx" }

上例中是 ping 两个地址，为了信息更丰富，附加了 region 和 product 标签

一般要使用ping命令需要加上

[Service]
...
CapabilityBoundingSet=CAP_NET_RAW
AmbientCapabilities=CAP_NET_RAW
...

4.8监控nginx-vts

1、下载模块
https://github.com/vozlt/nginx-module-vts/releases

2、编译
编译参数添加–add-module=/path/to/nginx-module-vts

3、替换现有bin文件
4、reload nginx
通过nginx -V来查看模块是否添加成功

        location /status {
        #allow  127.0.0.1;
        #deny all;
        vhost_traffic_status_display;
        vhost_traffic_status_display_format html;
        vhost_traffic_status_filter on;
        vhost_traffic_status_filter_by_set_key $status $server_name; #开启状态码统计
        vhost_traffic_status_filter_by_set_key $uri uris::$server_name; #开启url统计
        }

此外还有基于地理信息的统计，根据访问量或访问流量对nginx
做访问限制，详细使用见文档： https://github.com/vozlt/nginx-module-vts#installation

4.9监控zookeeper

注意: >=3.6.0 zookeeper 版本内置 prometheus 的支持，即，如果 zookeeper 启用了 prometheus，Categraf 可使用 prometheus 插件从这个 metrics 接口拉取数据即可;

移植于 dabealu/zookeeper-exporter，适用于 <3.6.0 版本的 zookeeper, 原理就是利用 Zookeper 提供的四字命令（The Four Letter Words）获取监控信息；

需要注意的是，在 zookeeper v3.4.10 以后添加了四字命令白名单，需要在 zookeeper 的配置文件 zoo.cfg 中新增白名单配置:

4lw.commands.whitelist=mntr,ruok

zookeeper 插件的配置在 conf/input.zookeeper/zookeeper.toml 集群中的多个实例地址请用空格分隔：

[[instances]]
cluster_name = "dev-zk-cluster"
addresses = "127.0.0.1:2181"
timeout = 10

如果要监控多个 zookeeper 集群，就增加 instances 即可：

[[instances]]
cluster_name = "dev-zk-cluster"
addresses = "127.0.0.1:2181"
timeout = 10
[[instances]]
cluster_name = "test-zk-cluster"
addresses = "127.0.0.1:2181 127.0.0.1:2182 127.0.0.1:2183"
timeout = 10

4.10监控ES

[root@trs28 input.elasticsearch]# systemctl  restart categraf.service 
(reverse-i-search)`grep -': ^Cep -rn 'status'
[root@trs28 input.elasticsearch]# egrep  -v  "^#|^$"  elasticsearch.toml 
interval = 15
[[instances]]
labels = { cluster="cloud-n9e-es" }
servers = ["http://localhost:9200"]
http_timeout = "5s"
local = true
cluster_health = true
cluster_health_level = "cluster"
cluster_stats = true
indices_level = ""
node_stats = ["jvm", "breaker", "process", "os", "fs", "indices","thread_pool","transport","http"]
num_most_recent_indices = 1

4.11自定义监控

vim   input.exec/exec.toml 
# collect interval
 interval = 15

 [[instances]]
 # commands, support glob
 commands = [
     "/tmp/1.sh"
 ]

 # timeout for each command to complete
 timeout = 5

 # interval = global.interval * interval_times
 interval_times = 1

 # mesurement,labelkey1=labelval1,labelkey2=labelval2 field1=1.2,field2=2.3
 data_format = "influx"

#该插件用于给用户自定义监控脚本，脚本的输出格式支持两种，一种是 influx 格式，一种是 falcon 格式
#输出格式如下
filesize,directory="/home/gxslzy/" size=547754993374

5.告警

模版自带很多监控配置

可根据自定义KEY实现自定义监控

待补充

钉钉报警

新建用户

*在钉钉创建机器人，设置关键字认证方式，关键字填写 20