一、拦截器
1、拦截器:
拦截器主要作用在source和channel之间,用于给event设置header消息头,如果没有设置拦截器,则event中只有message。
常见的拦截器有:
Timestamp Interceptor 时间拦截器:将时间戳插入到header中。
Host Interceptor 主机拦截器:将服务器的ip地址或者主机名插入到header中。
Regex Filtering Interceptor 正则过滤拦截器:过滤掉不需要的日志。
https://blog.csdn.net/jinywum/article/details/82598947
2、自定义拦截器:
主要目的就是给日志进行分类,自定义拦截器为每个event设置header,header里标志着日志的类型。当数据传输到kafka就可以根据header知道这个日志属于哪个类型,从而通过消息的内容对日志进行路由。
自定义拦截器操作:
a、在项目pom文件中引入flume依赖
b、找到现有的TimestampInterceptor类,copy代码到自己的自定义类里,按照需求进行修改。
c、将项目打成jar包,修改名字为app_logs_flume.jar,然后放到/opt/module/flume/lib目录下。
d、在flume配置文件指定拦截器类型。
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = 自定义类全类名
https://blog.csdn.net/u012443641/article/details/80757229
二、监控器
1、监控器
监控器可以看到:
source尝试写入channel中的event数量,成功写入且提交的event数量;
sink尝试从channel中拉取的event数量,成功读取的事件数量;
channel相关信息,例如:启动时间,停止时间,目前的event总数,容量,占用百分比