介绍
内核公开的硬件和操作系统指标的 Prometheus 导出器，用 Go 编写，带有可插入的指标收集器。
项目地址: https://github.com/prometheus/node_exporter
主机监控的USE方法
USE是使用率（Utilization）、饱和度（Saturation）和错误（Error）的缩写，由Netflix的内核和性能工程师Brendan Gregg开发；
USE方法可以概括为：针对每个资源，检查使用率、饱和度和错误；
资源：系统的一个组件，在USE中，它指的是一个传统意义上的物理服务器组件，如CPU、内存和磁盘等；
- 使用率：资源忙于工作的平均时间，它通常用随时间变化的百分比进行表示；
- 饱和度：资源排队工作的指标，无法再处理额外的工作；通常用队列长度表示；
- 错误：资源错误事件的计数；
对CPU来说，USE通常意味着如下概念
- CPU使用率随时间的百分比；
- CPU饱和度，等待CPU的进程数；
- 错误，通常对CPU不太有影响；
对内存来说，USE的意义相似
- 内存使用率随时间的百分比；
- 内存饱和度，可通过监控swap进行测量；
- 错误，通常不太关键；
grafana模板
模板地址: https://grafana.com/grafana/dashboards/8919
安装
下载并安装
wget https://github.com/prometheus/node_exporter/releases/download/v1.2.2/node_exporter-1.2.2.linux-amd64.tar.gz tar xf node_exporter-1.2.2.linux-amd64.tar.gz -C /opt/ ln -s node_exporter-1.2.2.linux-amd64 node_exporter
启动文件
cat > /usr/lib/systemd/system/node_exporter.service << EOF [Unit] Description=Node Exporter Wants=network-online.target After=network-online.target [Service] ExecStart=/opt/node_exporter/node_exporter StandardOutput=syslog StandardError=syslog SyslogIdentifier=node_exporter [Install] WantedBy=default.target EOF
启动
systemctl start node_exporter.service
systemctl enable node_exporter.service
systemctl status node_exporter.service
浏览器访问
http://ip_or_domain_name:9100/metrics
黑白名单
黑名单
不采集某一个指标的信息 --no-collector.<name> flag 例如不采集CPU信息 ./node_exporter --no-collector.cpu
白名单
设置 node_exporter 只采集某些采集项
--collector.disable-defaults --collector.<name> # 只开启mem采集 ./node_exporter --collector.disable-defaults --collector.meminfo # 只开启mem 和cpu 采集 ./node_exporter --collector.disable-defaults --collector.meminfo --collector.cpu
禁用自身SDK
--web.disable-exporter-metrics
指标含义
CPU相关
CPU使用率
每台主机CPU在5分钟内的平均使用率
(1 - avg (rate(node_cpu_seconds_total{mode='idle'}[5m])) by (instance))
CPU的饱和度
跟踪CPU的平均负载就能获取到相关主机的CPU饱和度，实际上，它是将主机上的CPU数量考虑在内的一段时间内的平均运行队列长度
平均负载少于CPU的数量是正常状况，而长时间内超过CPU数量则表示CPU已然饱和；
node_load1 > on (instance) 2 * count(node_cpu_seconds_total{mode="idle"}) by (instance)
内存相关
node_exporter暴露了多个以node_memory为前缀的指标
- node_memory_MemTotal_bytes
- node_memory_MemFree_bytes
- node_memory_Buffers_bytes
- node_memory_Cached_bytes
计算使用率
- 可用空间：上面后三个指标之和；
- 已用空间：总空间减去可用空间；
- 使用率：已用空间除以总空间；
磁盘相关
node_filesystem_size_bytes{mount_point=PATH}
node_system_unit_state{name=}
node_vmstat_pswpin：系统每秒从磁盘读到内存的字节数；
node_vmstat_pswpout：系统每秒钟从内存写到磁盘的字节数；