• 大数据时代日志分析平台ELK的搭建


    A,首先说说ELK是啥,  ELK是ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。Logstash是数据源,ElasticSearch是分析数据的,Kiabana是展示数据用的

    B,开始搞

      1,安装 Logstash 依赖包 JDK

         wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
       要是没有wget可以yum -y install wget安装一下wget,有的机子是没有安装的

       JDK 的安装方式比较简单,只需将下载回来的程序包解压到相应的目录即可。

        mkdir /usr/local/java
        tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

          设置 JDK 的环境变量,如下:

      tail -3 ~/.bash_profile
      export JAVA_HOME=/usr/local/java/jdk1.8.0_45
      export PATH=$PATH:$JAVA_HOME/bin
      exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
    然后就可以java 或者javac试试JDK有没有安装成功
    (1)安装 Logstash
      下载  
      wget https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
      解压
      tar -zxf logstash-1.5.2.tar.gz -C /usr/local/
      启动,-e是说明以参数形式启动
      /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
      2,安装Elastic search
    下载,解压完成安装
        tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/
      接下来我们在 logstash 安装目录下创建一个用于测试 logstash 使用 elasticsearch 作为 logstash 的后端的测试文件 logstash-es-simple.conf,
      该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。
      cat logstash-es-simple.conf
      input { stdin { } } output { elasticsearch {hosts => "localhost" } stdout { codec=> rubydebug } }
      一定要注意上面的是hosts而不是host国内的都死host然后我搞了半天谷歌后才发现少了个s
      启动logstash
      /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf

      然后会看到系统打印
      Logstash startup completed
      hello logstash { "message" => "hello logstash", "@version" => "1", "@timestamp" => "2015-07-15T18:12:00.450Z", "host" => "noc.vfast.com" }
      可以使用curl指令查看ES有没有收到数据curl 'http://localhost:9200/_search?pretty'
      3,安装Kibana
      下载后解压到对应的文件夹
      tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
      启动

      /usr/local/kibana-4.1.1-linux-x64/bin/kibana
      使用 http://kibanaServerIP : 5601 访问 Kibana ,登录后,首先,配置一个索引,默认, Kibana 的数据被指向 Elasticsearch ,使用默认的 logstash-* 的索引名称,并且是基于时间的,点击“ Create ”即可
      然后就说明基本的已经部署完成了
      但是如果需要显示一些系统信息或者收集系统的日志信息还需要很多配置
      欲知后事如何,请继续关注





     
     
  • 相关阅读:
    Ubuntu 14.04上架IPSec+L2TP的方法
    Windows Server 2008 R2 FTP无法从外部访问的解决方法
    在Windows Server 2008 R2上打开ping的方法
    全站导航
    拉勾网招聘信息分析
    pandas之DataFrame
    pandas之Series
    matplolib学习
    numpy学习
    scrapy框架【爬虫的暂停和启动】
  • 原文地址:https://www.cnblogs.com/chao538/p/5730210.html
Copyright © 2020-2023  润新知