[原创]ubuntu14.04部署ELK+redis日志分析系统

ubuntu14.04部署ELK+redis日志分析系统

[环境]
	host1:172.17.0.4	搭建ELK+redis服务
	host2:172.17.0.3	搭建logstash+nginx服务
	
	注：安装开发编译包：
	#apt-get install build-essential -y		（ubuntu）
	#yum groupinstall "Development Tools" -y	（CentOS）

一、ELK的运行环境需要java支持，ubuntu14.04安装java8。(host1和host2都需要执行)
	#apt-get install python-software-properties
	#apt-get install software-properties-common
	#add-apt-repository ppa:webupd8team/java
	#apt-get update
	#apt-get install oracle-java8-installer

二、下载ELK+redis安装包。
	wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
	wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
	wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
	wget http://download.redis.io/releases/redis-3.0.4.tar.gz

三、安装redis。
1）redis安装需要tcl支持，所以安装tcl。
	#wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz
	#tar xzvf tcl8.6.1-src.tar.gz  -C /usr/local/
	#cd  /usr/local/tcl8.6.1/unix/
	#./configure
	#make && make install
2）安装redis。
	#tar –xvzf redis-3.0.4.tar.gz
	#cd redis-3.0.4
	#make
	#make test	//需要tcl的支持，要安装tcl
	#cd utils
	#./install_server.sh

这样redis就安装好了，可以测试一下。
	#redis-cli
	>keys *
	>set aa aavalue
	>get aa 即可测试。

四、安装elasticsearch，解压即可。
	#tar –xvzf elasticsearch-1.7.1.tar.gz

五、安装logstash，解压即可。
	#tar –xvzf logstash-1.5.4.tar.gz

六、安装kibana，解压即可。
	#tar –xvzf kibana-4.1.2-linux-x64.tar.gz

七、配置和启动服务。
	由于elasticsearch和logstash是安装在一台机器上所以elasticsearch默认配置即可。
	#./elasticsearch/bin/elasticsearch –d &（以deamon方式启动elasticsearch）
	访问http://172.17.0.4:9200即可看到

八、配置logstash程序
	1） 在logstashin目录下，mkdir {conf,logs}两个文件夹，conf用于存放配置文件，logs用于存放日志文件
	在该conf目录下建立一个central.conf配置文件：
	input{   
		redis{   
			host=>"127.0.0.1"
			port=>6379
			type=>"redis-input"
			data_type=>"list"
			key=>"logstash:redis"
		}
	}

	output{
		stdout{}
		elasticsearch{
			host=>"127.0.0.1"
			port=>9200
			cluster=>"elasticsearch"
			codec=>"json"
			protocol=>"http"
		}   
	}
	2）启动
	#./logstash agent --verbose -f conf/central.conf --log logs/stdout.log &

九、启动kibana
	#./kibana &

十、配置客户端收集日志：
	1）安装配置客户端logstash。
	#tar –xvzf logstash-1.5.4.tar.gz
	#cd logstash/bin
	同样需要#mkdir {conf,logs}存放配置文件和日志文件。
	#vim logstash_agent.conf
	input{
		file {
		   type=>"nginx_access"
			   path => "/var/log/nginx/access.log"
			   start_position => "beginning"
		   sincedb_path => "/data/info.txt"
	  }
	}

	output{
		stdout { codec => rubydebug }
		redis{
			host=>"172.17.0.4"
			port=>6379
			data_type=>"list"
			key=>"logstash:redis"
		} 
	}

	2）启动logstash程序
	#./logstash --verbose -f /data/logstash-1.5.4/bin/conf/logstash_agent.conf &

十一、测试
	在客户端安装了nginx服务。通过使用curl工具for循环访问产生访问日志。然后用浏览器打开http://172.17.0.4:5601即可查看kibana日志了。