• 搭建ELK 6


    ELK 6.2.4搭建

    https://www.cnblogs.com/harvey2017/p/8922164.html

    开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

    官方网站:https://www.elastic.co/products

    Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

    Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

    Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

    ELK下载:https://www.elastic.co/downloads/

    ELK工作原理:

    ElasticSearch
    配置ElasticSearch:

    • View Code
      然后编辑ES的配置文件:

    • View Code
      修改以下配置项:

    • View Code
      其他的选项保持默认,然后启动ES:

    • View Code
      注意:

    1.需要添加用户elk,ES不能以root用户进行启动

    2.可能出现的错误:

    max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

    • View Code
      max number of threads [1024] for user [work] likely too low, increase to at least [2048]
    • View Code
      max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
    • View Code
      另外再配置ES的时候,threadpool.bulk.queue_size 已经变成了thread_pool.bulk.queue_size ,ES_HEAP_SIZE,ES_MAX_MEM等配置都变为ES_JAVA_OPTS这一配置项,如限制内存最大最小为1G:
    • View Code
      然后可以打开页面http://node1:9200/,将会看到以下内容:(我是通过外部访问虚拟机,因此为了简单没有配置host文件,直接用ip访问)

    Logstash
    配置Logstash:

    • View Code
      编写配置文件(名字和位置可以随意,这里我放在config目录下,取名为log_app.conf):

    • View Code
      其他的选项保持默认,然后启动Logstash:

    • View Code
      日志:

    Kibana
    配置Kibana:

    • View Code
      修改以下几项(由于是单机版的,因此host的值也可以使用localhost来代替,这里仅仅作为演示):

    • View Code
      启动kibana:

    • View Code
      启动后界面:

    然后需要创建index,步骤如下:

    ①点击左边iscover出现以下界面

    ②按照注释配置,然后点击Next step,在第二页 选择@timestamp点击create创建

    ③创建完成之后,可以看到以下一个界面,红框内是 自动生成的域,也可以理解为 跟数据库中的字段类似,其中有一个message字段,就是我们想要的日志信息。

    ④再次点击Discover出现以下界面,可以看到默认搜索的是最后15分钟的日志,可以通过点击设置搜索的时间范围.

    ⑤可以点击右侧域的add设置需要显示的字段

    添加完成之后,日志显示如下:

    参考:https://my.oschina.net/itblog/blog/547250

       https://blog.csdn.net/abcd_d_/article/details/53018927

       https://blog.csdn.net/qq_34021712/article/details/79364592

         https://www.cnblogs.com/yincheng/p/logstash.html
  • 相关阅读:
    Redhat6.4安装MongoDBv3.6.3
    windows模糊查询指定进程是否存在
    Linux普通用户不能使用TAB键、上下键
    零基础Python爬虫实现(百度贴吧)
    零基础Python爬虫实现(爬取最新电影排行)
    让bat批处理后台运行,不显示cmd窗口(完全静化)
    根据进程名监控进程(邮件提醒)
    android 开发中,必须要注意的知识点. (持续更新)
    Android上传文件至服务器
    为应用添加多个Activity与参数传递
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/8969694.html
Copyright © 2020-2023  润新知