es学习(四)：logstash的安装以及mysql到es的数据同步

其实现实工作中使用es,基本都是从数据库同步到es中，这里简单介绍下从mysql数据库到es的过程

安装logstash

• 1.下载安装包，目前是在linux下，需要注意下,最好下载和es版本相同的logstash
• 2.解压下载的tar包，然后进入logstash目录下
• 3.创建一个文件夹，sync文件，此时需要在里面创建一个 .conf文件和mysql-conector-java的 jar包,需要对应你的数据库，我的数据库是mysql-8.0 需要8.0的jia包

[root@localhost sync]# ls
logstash-db-sync.conf  mysql-connector-java-5.1.41.jar  mysql-connector-java-8.0.16.jar

• 4.编辑conf文件的内容

这里我创建了logstash-db-sync.conf 文件，内容如下,需要根据自己的情况进行修改

input{
    jdbc{
        jdbc_driver_library => "/usr/local/logstash/sync/mysql-connector-java-8.0.16.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://xxx.xxx.xxx.xxx:3306/blog"
        jdbc_user => "root"
        jdbc_password => "12345678"
        schedule => "* * * * *"
        clean_run => true
        statement => "select * FROM t_blog WHERE update_time > :sql_last_value AND update_time < NOW() ORDER BY update_time desc"
    }
}

output {
    elasticsearch{
        hosts => ["192.168.247.8:9200"]
        index => "blog"
        document_id => "%{id}"
    }
}

这里大家可以 随意编写同步一个mysql表的数据

启动同步

• 1.进入logstash/bin目录然后执行

./logstash -f /usr/local/logstash/sync/logstash-db-sync.conf

执行成功后就可以了