2.prometheus安装及简单使用

参考文档：https://prometheus.io/docs/prometheus/latest/getting_started/

一、使用docker部署prometheus

[root@node1 ~]# docker search prometheus
[root@node1 ~]# docker pull prom/prometheus
[root@node1 prometheus]# docker run --name prometheus-server -d -p 9090:9090 -v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus  #准备一份默认配置文件放到/opt/prometheus/下
[root@node1 ~]# docker ps | grep prometheus

浏览器访问可以获得一些基础数据：

http://192.168.42.133:9090/

http://192.168.42.133:9090/metrics

http://192.168.42.133:9090/targets

[root@node1 ~]# curl -X POST http://localhost:9090/-/reload #重新加载配置，默认是没有开启的，启动的时候需要加上需要--web.enable-lifecycle参数开启
[root@node1 ~]# docker run --name prometheus-server -d -p 9090:9090 -v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus   --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/prometheus --web.console.libraries=/usr/share/prometheus/console_libraries --web.console.templates=/usr/share/prometheus/consoles --web.enable-lifecycle 
#查看镜像里的cmd entrypoint，修改运行容器命令。也可以修改镜像。此处只是为了实验修改配置热加载方便。(没效果)
# 由于热加载没效果，实验的时候直接重启容器会生效
[root@node1 ~]# docker restart prometheus-server

二、使用node_exporter监控节点

[root@node1 prometheus]# wget https://github.com/prometheus/node_exporter/releases/download/v0.16.0/node_exporter-0.16.0.linux-amd64.tar.gz 
[root@node1 prometheus]# tar xf node_exporter-0.16.0.linux-amd64.tar.gz 
[root@node1 prometheus]# cd node_exporter-0.16.0.linux-amd64 
[root@node1 node_exporter-0.16.0.linux-amd64]# ./node_exporter --version 
[root@node1 node_exporter-0.16.0.linux-amd64]# ./node_exporter --help

1、配置文本文件采集器

[root@node1 node_exporter]# mkdir textfile_collector
[root@node1 node_exporter]# echo 'metadata{role="node1",datacenter="CD"} 1' > textfile_collector/metadata.prom  
注：文本文件收集器，默认是加载的，只需要在启动时指定采集文件即可。
[root@node1 node_exporter]# ./node_exporter --collector.textfile.directory=/opt/prometheus/node_exporter/textfile_collector/

启动成功后默认监听端口为9100，浏览器访问： http://192.168.42.133:9100/metrics，可以搜索到在文件中写的数据

2、启用systemd采集器

--collector.systemd #默认是关闭的
--collector.systemd.unit-whitelist=".+"   # 从systemd中循环正则匹配单元。白名单，收集目标。对应的也有黑名单方式。
--collector.systemd.unit-blacklist=".+\.scope" #黑名单
[root@node1 node_exporter]# ./node_exporter --collector.systemd --collector.systemd.unit-whitelist="(docker|sshd|nginx).service" --web.telemetry-path='/systemd_metrics'

启动成功后默认监听端口为9100，浏览器访问：http://192.168.42.133:9100/systemd_metrics，搜索systemd，可以看到有docker和sshd对应systemd采集的数据。

3、修改prometheus配置文件，采集node_exporter的数据

在scrape_configs模块添加一个job:

global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

scrape_configs:
  - job_name: 'prometheus'

    static_configs:
    - targets: ['localhost:9090']
  
  
  - job_name: 'node_exporter'
    static_configs:
    - targets: ['192.168.42.133:9100','192.168.42.128:9100']
    params:
      collect[]:
        - cpu
        - meminfo
        - diskstats

浏览器访问：http://192.168.42.133:9090/targets

注意：prometheus默认采集点是http://ip:port/metrics，如果修改了无法采集，需要在prometheus配置文件里指明 metrics_path。

更改配置，只采集想要的数据：
  - job_name: 'node_exporter'
    static_configs:
    - targets: ['192.168.42.133:9100','192.168.42.128:9100']
    params:
      collect[]:
        - cpu
        - meminfo
        - diskstat

三、使用容器CAdvisor监控节点

安装CAdvisor

[root@node1 ~]# docker run --name cadvisor -d -p 8181:8080 google/cadvisor
[root@node1 ~]# docker run --name cadvisor -d -p 8181:8080 --volume=/:/rootfs:ro 
--volume=/var/run:/var/run:rw 
--volume=/sys:/sys:ro 
--volume=/var/lib/docker/:/var/lib/docker:ro 
--volume=/dev/disk/:/dev/disk:ro  google/cadvisor #容器需要采集节点的一些数据，所以需要挂载节点目录到容器。

浏览器访问： http://192.168.42.133:8181/metrics/  

同node_exporter一样，prometheus更改配置采集其数据即可。

注：运行了kubelet的节点可以直接通过访问api-server获取到metric数据。单独的CAdvisor UI以及旧版使用的端口已经废弃。

[root@master ~]# kubectl proxy
[root@master ~]# curl http://localhost:8001/api/v1/nodes/master/proxy/metrics 【master为节点名称】