• FileBeats配置应用详解


    一、FileBeats特点

    1.读取日志文件,但不做数据的解析处理

    2.保证数据“At Least Once” 至少被读取一次,即数据不会丢失,某些情况下会重复消费

    3.其他能力:处理多行数据,解析Json数据,简单的过滤功能

    二、配置文件大致结构

    6版本之前的OutPut可以有多个,之后的处于性能考虑只能有一个

    三、常见输入类型配置介绍

    1.标准输入

    语法格式:

    filebeat.inputs:
      - type: stdin
    ...

    常用可接的配置选项:

    encoding  指定编码方式

    exclude_lines 忽略正则规则匹配到的行,exclude_lines: ['^DBG']表示 忽略 DBG  开始的行,无默认值,但是空行会被忽略

    include_lines 与上述规则相反,当和上述选项一起出现时,该选项优先级高,无关配置文件中的顺序

    max_bytese 处于单条数据的最大字节数,超过的将被丢弃,默认10MB

    2.log输入

    语法格式

    filebeat.inputs:
    - type: log
      paths:
        - /var/log/messages
        - /var/log/*.log
    常用可接的配置选项:(有些与上述相同的就不列举了)
    paths 指定的文件,可用通配符,每个路径一行且以- 开头
    recursive_glob.enabled 启用递归通配 例如  /foo/** 可以是 /foo, /foo/*, /foo/*/*等,默认启用
    exclude_files 忽略的文件

    四、常见输出类型配置介绍

    1.标准输出

    语法格式

    output.console:
      pretty: true
    常用可接的配置选项:
    pretty 将输出的json美化
    codec 默认输出json格式,可以自定改变

    其他输出后续更新




  • 相关阅读:
    液晶电子看板
    车间电子看板厂家
    车间电子看板系统
    Andon系统有哪些类型?
    Andon系统最完整的介绍
    Andon系统一般架构
    生产看板管理系统
    车间看板系统
    生产管理看板介绍
    黑马Java2020在线就业班2.1-全新升级
  • 原文地址:https://www.cnblogs.com/jedi1995/p/11241509.html
Copyright © 2020-2023  润新知