http://blog.csdn.net/lgnlgn/article/details/8053626 elasticsearch学习入门
input {stdin{}}
filter {
grok {
match => {
"message" => ".*(?<json_body>{.*}).*"
}
}
json {
source => "json_body"
}
}
************jdbc-in********************
input {
jdbc {
jdbc_driver_library => "/home/app/logstash/vendor/jar/jdbc/mysql-connector-java-5.1.36-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://12.0.1.28:3306/ucampus_dev?characterEncoding=utf8"
jdbc_user => "user"
jdbc_password => "Kn!0748j"
statement => "SELECT * FROM sys_online_history limit 0,1"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
schedule => "* * * * *"
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
}
output {
stdout {
codec => rubydebug
}
}
************jdbc-in********************
检查ES集群状态：
curl 54.223.139.77:9200/_cat/health?v
检查ES节点状态：
curl 54.223.139.77:9200/_cat/nodes?v
查询所有的索引：
curl 54.223.139.77:9200/_cat/indices?v
curl -XPUT 'http://localhost:9200/twitter/'
$ curl -XPUT 'http://localhost:9200/twitter/'
-d '
index :
number_of_shards : 3
number_of_replicas : 2
'
上面第二个curl例子展示了如何创建一个名字叫 twitter 的索引，并且使用 YAML
格式为其指定设置项。在这个例子中，我们为该索引配置了三个切片和两个副本。索引设置项也可以通过 JSON 格式指定：
$ curl -XPUT 'http://localhost:9200/twitter/'
-d '{
"settings" : {
"index" : {
"number_of_shards" : 3,
"number_of_replicas" : 2
}
}
}'
或者简化为
$ curl -XPUT 'http://localhost:9200/twitter/'
-d '{
"settings" : {
"number_of_shards" : 3,
"number_of_replicas" : 2
}
}'
curl -XPOST localhost:9200/test -d '{
"settings" : {
"number_of_shards" : 1
},
"mappings" : {
"type1" : {
"_source" : { "enabled" : false },
"properties" : {
"field1" : { "type" : "string", "index" :
"not_analyzed" }
}
}
}
}'
删除索引：
curl -XDELETE localhost:9200/索引名字
查询索引：
curl -XGET localhost:9200/索引名字/类型名字/id
ES 使用bulk 添加数据
动态映射无法添加数据，不要担心！可以使用bulk命令，添加json文件内的数据。
1 定义json数据文件：
{"index":{"_index":"aaa123","_id":1}}
{"name":"xingoo","age":25}
{"index":{"_index":"aaa123","_id":2}}
{"name":"test111","age":31}
{"index":{"_index":"aaa123","_id":3}}
{"name":"test222","age":42}
{"index":{"_index":"aaa123","_id":4}}
{"name":"test333","age":13}
注意的是，json文件名称随意指定，第一行定义了索引和一些常用字段：
_index定义了索引的名称，如果没有指定需要在curl命令中添加索引名称字段
_type定义了索引的类型，如果没有指定需要在curl命令中添加索引类型字段
_id定义了该行数据的id，如果没有指定，会随机生成一串数字。
2 执行命令
进入到json文件所在的目录，执行命令
curl localhost:9200/索引名称/索引类型/_bulk?pretty --data-binary @data.json
注意的是：
如果json文件中定义了_index和_type，那么这里可以不写变成（即便写了也会按照json文件中的生成）
curl localhost:9200/_bulk?pretty --data-binary @data.json
field 换 type 首先创建一个新的索引
curl -XPUT localhost:8305/store_v2 -d '{ "settings" : { "number_of_shards" : 20 }, "mappings" : { "client" : { "properties" : { "ip" : { "type" : "string" }, "cost" : { "type" : "long" },} ====create index mapping curl -XPUT 54.223.139.77:9200/store_v2 --data-binary @data1.json python用起来比较熟，所以我就直接选 pyes了，装了一大堆破依赖库之后，终于可以run起来了 import pyes conn = pyes.es.ES("http://10.xx.xx.xx:8305/") search = pyes.query.MatchAllQuery().search(bulk_read=1000) hits = conn.search(search, 'store_v1', 'client', scan=True, scroll="30m", model=lambda _,hit: hit) for hit in hits: #print hit conn.index(hit['_source'], 'store_v2', 'client', hit['_id'], bulk=True) conn.flush() 花了大概一个多小时，新的索引基本和老索引数据一致了，对于线上完成瞬间的增量，这里没心思关注了，数据准确性要求没那么高，得过且过。 接下来修改alias别名的指向（如果你之前没有用alias来改mapping,纳尼就等着哭吧） curl -XPOST localhost:8305/_aliases -d ' { "actions": [ { "remove": { "alias": "store", "index": "store_v1" }}, { "add": { "alias": "store", "index": "store_v2" }} ] }
等新索引的数据已经追上时
将老的索引删掉
|
1
|
curl -XDELETE localhost:8303/store_v1 |