告警规则的设置是通过yml文件来设置，因此需要遵从yml的语法
groups:
- name: example #报警规则组的名字
rules:
- alert: InstanceDown #检测job的状态，持续1分钟metrices不能访问会发给altermanager进行报警
expr: up == 0
for: 1m #持续时间 ， 表示持续一分钟获取不到信息，则触发报警
labels:
serverity: page # 自定义标签
annotations:
summary: "Instance {{ $labels.instance }} down" # 自定义摘要
description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 1 minutes." # 自定义具体描述
可以设置规则组， 规则组主要是做个告警类型的区分，比如说跟内存相关，IO相关，等等。
rules 下面 就是设置具体的规则。
告警规则的设置主要在于expr表达式的设置，以及annotations里面的提示消息的设置。
对于不了解PromSQL查询语言的，独自写表达式的难度是非常大的，我这里有个非常好的办法，我们可以从grafana
控制台获取查询语言，然后根据这个来写表达式。
第一步
进入grafana的控制台，找到任意一个视图。
点击edit
进入edit页面，可以看到**metrics **这个tab栏 ， 这里就有各个指标的查询函数。 这里举个例子，比如
获取整个系统的CPU占比
system_cpu_usage{job="$application", instance="$instance"}
这个函数是指定了Job（应用的唯一标识，默认为应用名）和instance（应用的IP：端口）的，我们在实际使用的时候可以这样
system_cpu_usage{job="MSG-MS", instance="192.168.139.120:8080"}
想知道这个具体能查出来的数据是什么，可以访问prometheus的控制台。
http://10.208.204.46:9090/graph
查询结果如下
最下方，我们可以看到查询出来的结果。
查询的时候除了可以使用等号，也可以使用其他运算符
=：选择正好相等的字符串标签
!=：选择不相等的字符串标签
=~：选择匹配正则表达式的标签（或子标签）
!=：选择不匹配正则表达式的标签（或子标签）
举个例子：
system_cpu_usage{ job=~'.*MSG.*' } # 包含MSG的JOB
system_cpu_usage这个括号里面的值，都可以用来做查询条件。 后面value即为查出来的值
由此根据上面的准备，我们就可以定义如下的告警规则
groups:
- name: example #报警规则组的名字
rules:
- alert: CPU负载告警 # 规则名称
expr: system_cpu_usage{job="MSG-MS"}> 0.7 # 表示如果MSG-MS这个应用整个系统的CPU超过70% ，则触发告警
for: 10s #持续时间 ， 表示持续10秒都是高于70%的，则报警
labels:
serverity: page # 自定义标签
annotations:
summary: "{{ $labels.job}} - {{ $labels.instance }} 的CPU 太高了" # 自定义摘要
description: "应用名： {{ $labels.job }} 实例名： {{ $labels.instance }} ， 环境： {{ $labels.env }} , 当前值为 ： {{ $value }}" # 自定义具体描述
上面的告警规则， 我们用到了labels这个变量，以及value这个变量来输出信息。
labels 使用方法 ：
在我们使用prometheus控制台做测试查询的时候，system_cpu_usage括号里面的属性，就是labels可以取到的值
value 使用：
上图中的value值
转自
prometheus告警规则设置（二） | sharedCode https://www.shared-code.com/article/83