Prometheus：
简介：
是一款优秀的监控工具，准确来说，应该是监控方案，Prometheus提供了监控数据搜集、存储、处理、可视化和告警一套完整的解决方案。
组件：
1.Prometheus Server
Prometheus Server负责从Exporter拉取和存储监控数据，并提供一套灵活的查询语言(PromQL)供用户使用
2.Exporter
Exporter负责收集目标对象(host、container等)的性能数据，并通过http接口供Prometheus Server获取
3.可视化组件
Grafana能够与Prometheus无缝集成，提供完美的数据展示能力
4.Altermanager
用户可以定义基于监控数据的告警规则，规则会触发告警。一旦Altermanager收到告警，会通过预定义的方式发出告警通知
架构：
优点：
Prometheus最大的亮点和先进性来自于它的多维数据模型
最适合prometheus的场景就是采集时间序列(ts)数据的场合，Prometheus具有很大的查询优势，此外也适用于微服务的体系架构
缺点：
由于采集数据可能会丢失，所以prometheus不适合对采集数据要100%准确的情形
与zabbix相比较，其优势在哪儿？
1.可以监控的agent更多
2.占用的资源更少
Prometheus数据结构：
指标(notation(metric(监控对象)+labels(不同维度的描述(key=value)))+samples(数据+时间戳)
Prometheus按照时间序列存储指标，每个指标都由Notation + Samples组成
Notation：也就是时间序列
是由metric的名字和一系列的标签(键值对)唯一标识的，不同的标签则代表不同的时间序列
metric名字：
该名字应该具有语义，一般用于表示metric的功能
metric名字由ASCII字符、数字、下划线以及冒号组成，且必须满足正则表达式[a-zA-Z_:][a-zA-Z0-9_:]*
例如：
http_requests_total：表示http请求的总数
标签：
使同一个时间序列有了不同维度的识别
标签中的键由ASCII字符、数字、下划线以及冒号组成，且必须满足正则表达式[a-zA-Z_:][a-zA-Z0-9_:]*
例如：
http_requests_total{method="Get"}:表示所有http请求中的Get请求，当method="post"时，则为一个新的metric
Samples(样品)：
实际的时间序列，通常包含一个64位的浮点数和一个毫秒级的时间戳
例如：
http_requests_total{method="POST",endpoint="/api/tracks"}
四种Metric类型
1、counter：一种累加的metric，典型的应用如：请求的个数，结束的任务数，出现的错误数等
例如：
查询http_requests_total{method="Get",job="Prometheus",handler="query"}
返回8，经过10秒后再次查询，则返回14
2、Gauge(计量)：一种常规的metric，典型的应用如：温度，运行的goroutines的个数等，可以任意加减
例如：
go_goroutines{instance="192.168.1.101",job="Prometheus"}
返回值147，经过10秒返回124
3、Histogram(柱状图)：典型的应用如：请求持续时间，响应大小，可对观察结果采样，分组及统计
例如：
查询http_request_duration_microseconds_sum{job="Prometheus",handler="query"}时，返回结果图
4、Summary(类似于Histogram)：典型应用如：请求持续时间，响应大小。提供观测值的count和sum功能，提供百分位的功能，既可以按百分比划分跟踪结果
instance和jobs：
instance：一个单独scrape(抓取)的目标，一般对应于一个进程
jobs：一组同种类型的instances(主要用于保证可扩展性和可靠性)
例如：
job: api-server
instance 1:192.168.1.21:5670
instance 2:192.168.1.22:5671
instance 3:192.168.1.23:5670
时间同步：
安装Prometheus之前，必须先安装ntp时间同步服务器
Prometheus T_S对系统时间的准确性要求很高，必须保证本机时间实时同步
配置ntp服务器
修改配置文件：vim /etc/ntp.conf ## 注释原有的server，追加以下两行
server 127.127.1.0
fudge 127.127.1.0 stratum 8
重启服务：systemctl restart ntpd
在exporter端设置任务计划，定时同步时间：
* * * * * /usr/sbin/ntpdate 192.168.1.250
Prometheus安装：
官网下载最新版本：https://prometheus.io
安装：
tar xf prometheus-2.19.2.linux-amd64.tar.gz
cp -rf prometheus-2.19.2.linux-amd64 /usr/local/prometheus
启动：默认运行在9090端口
cd /usr/local/prometheus
./prometheus
访问：
浏览器可以直接打开访问http://prometheus:9090
Prometheus主配置文件：prometheus.yml
cd /usr/local/prometheus
ls
console_libraries consoles data LICENSE NOTICE
prometheus prometheus.yml promtool tsdb
cat prometheus.yml
# my global config # 全局配置
global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
# scrape_timeout is set to the global default (10s).
# Alertmanager configuration # 报警配置
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
# - "first_rules.yml"
# - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: 'prometheus' # 任务名
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['localhost:9100'] # 监控目标，目标上面需要有对应的node_exporter
scrape_interval：
抓取采样数据的时间间隔，默认是每60秒去被监控主机上采样一次，这个就是prometheus的自定义数据采集的频率
evaluation_interval：
监控数据规则的评估频率，这个参数是prometheus多长时间会进行一次，监控规则的评估
例如：
我们设置当 内存使用量>70%时 发出报警，这样一条rule(规则)，那么prometheus会默认每60秒来执行一次这个规则，检查内存的情况
node_exporter安装：
下载地址：https://prometheus.io/download/
安装：
tar xf node_exporter-1.0.1.linux-amd64.tar.gz
cd node_exporter-1.0.1.linux-amd64
./node_exporter
查看状态：
lsof -i:9100
安装Grafana：
wget https://dl.grafana.com/oss/release/grafana-7.1.3-1.x86_64.rpm
yum install grafana-7.1.3-1.x86_64.rpm
granafa默认端口为3000，可以在浏览器中输入http://localhost:3000/
granafa首次登录账户名和密码admin/admin，可以修改
配置数据源Data sources->Add data source -> Prometheus，输入prometheus数据源的信息，主要是输入name和url
添加 Dashboard -> New Dashboard -> Import Dashboard -> 输入11074，导入Linux监控模板. 并配置数据源为Prometheus，即上一步中的name
配置完保存后即可看到逼格非常高的系统主机节点监控信息，包括系统运行时间, 内存和CPU的配置, CPU、内存、磁盘、网络流量等信息, 以及磁盘IO、CPU温度等信息。
更详细配置请参考：https://www.cnblogs.com/miaocbin/p/12009974.html