• Logstash2.3.4趟坑之集成Redis哨兵模式


    最新在使用Lostash2.3.4收集数据的时候,在读取redis数据的时候,报了如下的一个异常:

    异常如下

    Pipeline aborted due to error {:exception=>#<URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>, :backtrace=>["/home/search/logstash-2.3.4/vendor/jruby/lib/ruby/1.9/uri/generic.rb:214:in `initialize'"

    Logstash自带的ruby是1.9的版本,自带集成的redis插件也是最新的redis-rb3.3.1

    Logstash里面默认自带了redis插件,也就是redis-rb3.3.1

    如果没带可以进入logstash目录:

    logstash-2.3.4vendorjrubyin进行安装

    cd logstash-2.3.4vendorjrubyin
    gem install redis

    如果redis采用的是哨兵模式的集群,那么redis-rb插件也是支持的,具体的看官网github文档:

    https://github.com/redis/redis-rb

    logstash的代码如下:

    input{
     stdin{}
    }
    
    
    filter{
    
    ruby{
    init => "
    require 'redis'
    
    class Rconn  
       @@SENTINELS = [{:host => '192.168.10.214', :port => 26381},
                 {:host => '192.168.10.214', :port => 26382},
                 {:host => '192.168.10.214', :port => 26383}]
       def self.con   
       @@con  
       end 
      
       def self.SENTINELS
       @@SENTINELS
       end 
       @@con = Redis.new(:url => 'redis://redismaster10214', :sentinels => Rconn.SENTINELS, :role => :master)
    end
    "
    code => "
    event['redis_data']=Rconn.con.get(event['message']) 
    "
    }
    }
    
    output{
      stdout { codec => rubydebug }
    }

    注意下面这句话

    :url => 'redis://redismaster10214'

    redis的哨兵masterName在ruby1.9中必须不能带下划线,否则会报下面的异常:

    错误的用法

    :url => 'redis://redis_master_10214'
    <URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>,

    ruby里面的标准的url校验,发现url里面如果有带下划线的,会认为是不合法的url,具体可参考下面两个问题连接:

    https://github.com/docker/compose/issues/472

    http://stackoverflow.com/questions/2180465/can-domain-name-subdomains-have-an-underscore-in-it

    目前在ruby1.9的版本中发现此bug,使用最新的版本ruby2.3.0则没有此问题,说明在高版本的ruby中 已经修复了此问题,但是logstash最新的版本绑定的jruby版本是1.9的ruby,所以还存在此问题,只能在使用时避免,真是血泪教训,花费了大半天时间趟的坑。

    有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。 技术债不能欠,健康债更不能欠, 求道之路,与君同行。 image
  • 相关阅读:
    Redis5.x五种数据类型常见命令
    Redis5.x安装以及常见数据类型
    《Redis5.x入门教程》正式推出
    PPT制作套路指南
    如何更优雅地对接第三方API
    软件开发要质量还是要效率?
    前后端分离对于开发人员的挑战
    Spring中老生常谈的FactoryBean
    消费端如何保证消息队列MQ的有序消费
    《ElasticSearch6.x实战教程》之实战ELK日志分析系统、多数据源同步
  • 原文地址:https://www.cnblogs.com/qindongliang/p/5811275.html
Copyright © 2020-2023  润新知