• logstash 入门篇


    场景介绍

    基于分布式集群海量日志数据,且分布在不同的服务器上,日志的采集以及可视化是需要我们解决的问题。ELK就是这么一个方案,当然我们这里主要讲解logstash安装配置和基础语法。

    ELK帮我们解决了什么问题?

    • 错误日志分散在大量服务器上, 且错误类型众多, 需要有一个工具能够将所有错误日志汇总, 帮助代码的开发调试.
    • 不需要频繁登陆服务器, 节省时间.
    • 根据日志, 实时掌握整个系统的运行状况
    • 及时发现问题进行排查
    • 事后对系统进行分析, 消除黑盒

    让我们先来看一下logstash的组成结构,我们可以看到核心分为三部分,input,filter,output
    logstash结构


    安装配置

    这里当然采用docker

    $ docker pull docker.elastic.co/logstash/logstash:7.1.1
    $ docker run --rm -it -v ~/pipeline/:/usr/share/logstash/pipeline/ docker.elastic.co/logstash/logstash:7.1.1
    

    Every file in the host directory ~/pipeline/ will then be parsed by Logstash as pipeline configuration,
    举个小栗子,自定义~/pipeline/logstash.conf配置

    基础语法

    Logstash 设计了自己的 DSL —— 有点像 Puppet 的 DSL,或许因为都是用 Ruby 语言写的吧 —— 包括有区域,注释,数据类型(布尔值,字符串,数值,数组,哈希),条件判断,字段引用等。

    区段

    # This is a comment. You should use comments to describe
    # parts of your configuration.
    input {
      ...
    }
    
    filter {
      ...
    }
    
    output {
      ...
    }
    
    

    数据类型

    • bool
    debug => true
    
    • string
    host => "hostname"
    
    • number
    port => 514
    
    • array
    match => ["datetime", "UNIX", "ISO8601"]
    
    • hash
    options => {
        key1 => "value1",
        key2 => "value2"
    }
    

    字段引用

    如果你想在 Logstash 配置中使用字段的值,只需要把字段的名字写在中括号 [] 里就行了,这就叫字段引用。
    对于 嵌套字段(也就是多维哈希表,或者叫哈希的哈希)的写法

    [geoip][location][0]
    

    Logstash 还支持变量内插

    "the longitude is %{[geoip][location][0]}"
    

    条件判断

    支持的操作符

    equality, etc: ==, !=, <, >, <=, >=
    regexp: =~, !~
    inclusion: in, not in
    boolean: and, or, nand, xor
    unary: !()
    
  • 相关阅读:
    Pandas数据分析 (三)
    Pandas数据分析 (二)
    Pandas数据分析 (一)
    Django后台应用管理名称修改
    Jupyter Notebooks 配置
    Hadoop完全分布式搭建流程
    Java学习笔记(五)
    微信小程序学习笔记(一)
    redis windows版安装
    Linux计划任务
  • 原文地址:https://www.cnblogs.com/zenan/p/11088504.html
Copyright © 2020-2023  润新知