Beats系列产品：
Filebeat：
架构：
用于监控、收集服务器日志文件
部署与运行：
下载地址：https://www.elastic.co/downloads/beats
mkdir /usr/local/beats
tar -zxvf filebeat-6.5.4-linux-x86_64.tar.gz
cd filebeat-6.5.4-linux-x86_64
创建如下配置文件 fan.yml
filebeat.inputs:
- type: stdin #输入的方式
enabled: true #启用输入
output.console: # 输出到控制台
pretty: true
enable: true
启动filebeat
./filebeat -e -c fan.yml # -e 输出到标准输出，默认输出到syslog和logs下，-c 指定配置文件，-d 输出debug信息（-d "publish"）
输入hello运行结果如下：hello
{ "@timestamp": "2020-03-27T03:32:57.130Z", "@metadata": { #元数据信息 "beat": "filebeat", "type": "doc", "version": "6.5.4" }, "input": { #控制台标准输入 "type": "stdin" }, "beat": { #beat版本以及主机信息 "name": "fan", "hostname": "fan", "version": "6.5.4" }, "host": { "name": "fan" }, "source": "", "offset": 0, "message": "hello", #输入的内容 "prospector": { #标准输入勘探器 "type": "stdin" } }
读取文件：
复制一份配置并修改
cp fan.yml fan-log.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /fan/beats/logs/*.log
setup.template.settings:
index.number_of_shards: 3
output.console:
pretty: true
enable: true
在 /fan/beats/logs 目录下准备一下日志文件进行测试
启动 filebeat
./filebeat -e -c fan-log.yml
可以看出，开始会读取已有的日志文件，后面检测到日志文件有更新，立刻就会读取到更新的内容，并且输出到控制台。
自定义字段：
修改配置文件
filebeat.inputs:
- type: log
enabled: true
paths:
- /fan/beats/logs/*.log
tags: ["web"] #添加自定义tag，便于后续的处理
fields: #添加自定义字段
from: test-web
fields_under_root: true #true为添加到根节点，false为添加到子节点中
output.console:
pretty: true
enable: true
启动测试：
输出到Elasticsearch：
修改配置文件
filebeat.inputs:
- type: log
enabled: true
paths:
- /fan/beats/logs/*.log
tags: ["web"] #添加自定义tag，便于后续的处理
fields: #添加自定义字段
from: test-web
fields_under_root: true #true为添加到根节点，false为添加到子节点中
setup.template.settings:
index.number_of_shards: 3 #指定es索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["192.168.43.182:9200","192.168.43.182:9201","192.168.43.182:9202"]
Filebeat工作原理：
Filebeat由两个主要组件组成：prospector 和 harvester。
harvester：
负责读取单个文件的内容。
如果文件在读取时被删除或重命名，Filebeat将继续读取文件。
prospector
prospector 负责管理harvester并找到所有要读取的文件来源。
如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester。
Filebeat目前支持两种prospector类型：log和stdin。
Filebeat如何保持文件的状态
Filebeat 保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中。
该状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。
如果输出（例如Elasticsearch或Logstash）无法访问，Filebeat会跟踪最后发送的行，并在输出再次可用时继续读取文件。
在Filebeat运行时，每个prospector内存中也会保存的文件状态信息，当重新启动Filebeat时，将使用注册文件的数据来重建文件状态，Filebeat将每个harvester在从保存的最后偏移量继续读取。
文件状态记录在data/registry文件中。
读取Nginx日志文件：
创建配置文件 fan-nginx.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/local/nginx/logs/*.log
tags: ["nginx"]
setup.template.settings:
index.number_of_shards: 3
output.elasticsearch:
hosts: ["192.168.43.182:9200","192.168.43.182:9201","192.168.43.182:9202"]
启动后，可以在Elasticsearch中看到索引以及查看数据：
可以看到，在message中已经获取到了nginx的日志，但是，内容并没有经过处理，只是读取到原数据。
Module：
前面要想实现日志数据的读取以及处理都是自己手动配置的，其实，在Filebeat中，有大量的Module，可以简化我们的配置，直接就可以使用，如下：
查看module：./filebeat modules list
可以看到，内置了很多的module，但是都没有启用，如果需要启用需要进行enable操作：
./filebeat modules enable nginx #启动
./filebeat modules disable nginx #禁用
nginx module 配置：
vim modules.d/nginx.yml
配置filebeat：
vim fan-nginx.yml
filebeat.inputs:
setup.template.settings:
index.number_of_shards: 3
output.elasticsearch:
hosts: ["192.168.43.182:9200","192.168.43.182:9201","192.168.43.182:9202"]
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
测试：
解决：可以直接使用sudo命令安装，但速度很慢，这里使用压缩包
1.把ingest-user-agent.tar、ingest-geoip.tar解压到Elasticsearch的plugins目录下
2.把ingest-geoip-conf.tar解压到Elasticsearch的config目录下
注意：所有集群中的节点都需要安装。
重启后可以看到，数据已经写入到了Elasticsearch中，并且拿到的数据更加明确了
其他的Module的用法参考官方文档：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules.html