ElasticSearch学习笔记（三）logstash安装和logstash-input-jdbc插件

ElasticSearch学习笔记（三）logstash安装和logstash-input-jdbc插件
ElasticSearch的索引可以手动添加索引的，就是类似下面这样添加的
```
PUT /movies/movie/1
{
    "title": "The Godfather",
    "director": "Francis Ford Coppola",
    "year": 1972,
    "genres": ["Crime", "Drama"]
}
```
但是如果很多的信息，这样添加显然是不可能的，尤其是一般数据都在数据库中。

于是elasticsearch提供了可以直接和数据库关联，并且自动根据数据库中的数据更新索引logstash。

安装logstash

logstash的安装和elasticsearch的安装是一样简单的，就是那种拆箱即用的。目前最新的版本是5.5.0，注意这个版本需要和elasticsearch的版本一致。

下载安装
```
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
```
下载完之后
```
unzip logstash-5.5.0.zip
```
之后将文件移动到自己存放的目录即可。

启动服务测试一下是否安装成功：
```
cd bin
./logstash -e 'input { stdin { } } output { stdout {} }'
```
如果出现下面的东西就表示成功：

输入随便什么内容：
```
HelloWorld
```
就会变成下面这样：

基本上这样就算是安装成功了（其实好像并没有安转，只是下载而已）

安装logstash-input-jdbc插件

在我安装完这东西之后，看到好像可以不用安装这个就可以直接和数据库同步的，但是由于重新安装太麻烦了，而且没有其他的服务器给我试，就没有去试试看行不行。

我主要参考的是http://blog.csdn.net/yeyuma/article/details/50240595这位老铁的方法。

安装logstash是一件比较蛋疼的事，因为这东西适用ruby开发的，我对ruby这东西是一点也不懂，所以比较不好弄。
如果没有gem命令的话，需要先安装一下子（root用户才可以）
```
yum install gem
```
替换ruby镜像库为国内的库，因为国外的库，国内是访问不到的，然后国内有两个库，两个库都是可以用的：
1、替换成ruby-china的库
```
gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/
```
查看是否成功
```
gem sources -l
```
2、国内还有一个库，是淘宝的：
```
gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/
```
可以同样用gem sources -l查看是否替换成功。

替换完之后，进入logstash-5.5.0，修改Gemfile文件里面的数据源：
```
vi Gemfile
```
修改成这个样子：
```
source "https://gems.ruby-china.org"
```
如果用的用的是淘宝的库，就修改成这样
```
source "https://ruby.taobao.org"
```
好了，这样ruby的安装环境就算是配好了。

进入到logstash的bin下
```
cd bin
./logstash-plugin install logstash-input-jdbc
```
等待一整子，挺久的，如果成功那就安装成功了。

如果不成功，可以尝试一下下面这个东西，如果没记错的话，我好像就是用这种方法安装的：
```
cd logstash-5.5.0
wget https://github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip
unzip v1.0.0.zip
cd logstash-input-jdbc-1.0.0/
```
修改Gemfile里面的source，和上面修改是一样的。

然后
```
vi logstash-input-jdbc.gemspec
```
再
```
s.files = `git ls-files`.split($)
改为：
s.files = [".gitignore", "CHANGELOG.md", "Gemfile", "LICENSE", "NOTICE.TXT", "README.md", "Rakefile", "lib/logstash/inputs/jdbc.rb", "lib/logstash/plugin_mixins/jdbc.rb", "logstash-input-jdbc.gemspec", "spec/inputs/jdbc_spec.rb"]
```
继续
```
gem build logstash-input-jdbc.gemspec
```
得到
```
cd ..
cd bin
./logstash-plugin install ../logstash-input-jdbc-1.0.0/logstash-input-jdbc-1.0.0.gem
```
然后等着就好了。如果提示成功了，就安装成功了，如果还是失败，多尝试几下第一种方式，我在另一个服务器尝试了几次第一种方式就莫名其妙成功了。如果还失败，就在查查资料吧。

测试一下安装成功了吗：

在此之前，需要一个mysql数据库连接包，mysql-connector-java-6.0.6.jar，随便什么版本应该都是可以的，可以使用wget下下来，也可以从本地下下来之后rz上传到服务器，这里就省略了。

在bin下新建一个目录config-mysql创建mysql.conf文件：
```
mkdir config-mysql
cd config-mysql
vim mysql.conf 
```
在文件中输入下面的内容：
```
input {
    stdin {
    }
    jdbc {
      # 数据库
      jdbc_connection_string => "jdbc:mysql://localhost:3306/test01"
      # 用户名密码
      jdbc_user => "root"
      jdbc_password => "123456"
      # jar包的位置
      jdbc_driver_library => "/usr/local/logstash-5.5.0/mysql-connector-java-6.0.6.jar"
      # mysql的Driver
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      #statement_filepath => "config-mysql/test02.sql"
      statement => "select * from test02"
      schedule => "* * * * *"
      #索引的类型
      type => "test02"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        hosts => "127.0.0.1:9200"
        # index名
        index => "test01"
        # 需要关联的数据库中有有一个id字段，对应索引的id号
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}
```
注意关联的数据库表中需要有id字段用来映射形成的索引的id号。

终于把工作都做完了。

进入bin目录下：
```
./logstash -f config-mysql/mysql.conf
```
等一会之后，就会看到数据库中的数据被读取出来，然后加载进索引，在sense可以查询到刚刚添加的索引的
```
 GET /_search  
```
然后往数据库中添加一些新的数据之后等待大概30S之后重新索引，就会看到索引被更新了。回到linux下，会看到，没过一段时间，logstash就会重新扫描一下数据库，通过这样的方式，实现和mysql数据库的同步。

自测试，在/app/logstash-5.5.0/bin目录中创建文件夹：

jdbc.conf文件内容如下：
```
input {
    jdbc {
      jdbc_connection_string => "jdbc:mysql://10.0.10.58:3306/eb_search"
      jdbc_user => "root"
      jdbc_password => "123@abcd"
      jdbc_driver_library => "/app/logstash-5.5.0/bin/mysql/mysql-connector-java-5.1.28-bin.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "500"
      statement_filepath => "/app/logstash-5.5.0/bin/mysql/jdbc.sql"
	  schedule => "* * * * *"
	  type => "product"
    }
}

output {
    elasticsearch {
        hosts => "192.168.1.48:9200"
        index => "sync_productinfo_20171010"
	document_id => "%{id}"
    }
}
```
　　jdbc.sql文件内容如下：
```
SELECT * from productinfo
```
运行：
```
./logstash -f ./mysql/jdbc.conf
```
效果如下图：
相关阅读:
Eclipse 代码提示功能设置。
eclipse android 查看源文件出错的解决办法
 Android 中自定义控件和属性(attr.xml,declarestyleable,TypedArray)的方法和使用
 android屏幕尺寸 sp,px,dp,density,in介绍
 用C#实现的条形码和二维码编码解码器之转载
 在Eclipse下如何导入jar安装包
 C# 获取往控件中拖进的文件或文件夹的信息（转）
c#中Dictionary、ArrayList、Hashtable和数组的区别是什么？[转]
C#中的枚举
 C#结构体特性
原文地址：https://www.cnblogs.com/a-du/p/7615438.html

ElasticSearch学习笔记（三）logstash安装和logstash-input-jdbc插件

安装logstash

安装logstash-input-jdbc插件