一、安装包下载和jdk安装
1、下载地址
1 、Java JDK http: / / www.oracle.com / technetwork / java / javase / downloads / jdk8 - downloads - 2133151.html 2 、Logstash https: / / www.elastic.co / downloads 3 、Elasticsearch https: / / www.elastic.co / downloads 4 、Kibana https: / / www.elastic.co / downloads
二、ELK环境搭建
1. 配置elasticsearch
由于我们需要从本地文件导入数据,所以指定data的存放目录即可。进入到config目录下,修改elasticsearch.yml 文件:
data:数据存取地址;logs:日志存取地址
点击D:\yuzhan\develop\elasticsearch-6.3.2\bin\elasticsearch.bat,启动elasticsearch,访问http://localhost:9200/出现以下信息表示elasticsearch安装成功。
2. 配置logstash
logstash 核心命令是 Input--->Filter--->Output(数据输入、过滤、输出)、编解码Codec,可通过命令方式输入配置,也可以通过加载.conf文件进行配置。本文使用文件加载配置。在bin目录中新建stdin.conf文件,输入以下信息:
input { file { path = > "C:/path/csv/2.csv" start_position = > beginning } } filter { csv { separator = > "," quote_char = > "\"" columns = > [ "name" , "person_id" , "email" , "tel" , "adress" , "from" ] } } output { elasticsearch { hosts = > [ "localhost:9200" ] index = > "sgdb" document_type = > "sgdb" } stdout { codec = > rubydebug } }
2.csv内容如下:
name,person_id,email,tel,adress, from 'zhang1san' , '11' , '111@qq.com' , '1213546' , 'c1hina' , '1beijing' "zhangsan" , "110" , "zhangsan@qq.com" , "13100001234" , "beijing" , "china"
3.运行:
CMD进入D:\yuzhan\develop\logstash-6.3.2\bin中,执行以下命令
logstash.bat - f stdin.conf - t
logstash.bat - f stdin.conf
-t表示检测配置文件是否正确,如果出现以下情况,则表示logstash配置成功:
注意:logstash每次对某一文件处理后便不会处理,如需再次处理,需删除D:\yuzhan\develop\logstash-6.3.2\data\plugins\inputs\file下的文件。
3. 配置kibana
CMD进入D:\yuzhan\develop\kibana-6.3.2\bin,执行以下命令:
kibana.bat
访问http://localhost:5601,出现以下情况,则表示kibana安装成功: