• 使用log4j发送日志到远程ELK平台


    最近公司安排我把前期熟悉的ELK日志监控平台应用到线上生产环境上去。期间发现了几个问题:
       1、目前线上的项目用的是log4j,开始的时候为了避免前期代码里面已经大面积使用了日志打印语句(这些日志信息不是本次我们监控的重点)发送到ELK平台上,所以决定采用logback去打印、发送我们此次需要监控的接口与方法调用的地方。但是后来试了好久才发现:在同一个项目里面同时使用log4j和logback会出现问题:日志会随机发送到ELK上,很多时候都不会发送,最后才找到原因:web系统在调用打印日志的实例对象时,调用的是slf4j(使用了外观模式Facade),而log4j和logback都实现了slf4j,也就是当系统中同时有log4j和logback两个对象时,系统会随机调用一个对象进行日志打印(我只在logback里面配置了发送到远程ELK上),所以当系统调用的是log4j时,就不会发送,但是调用logback时,就又会发送,这种是随机、不可控的。具体参照:http://blog.csdn.net/lgcjava/article/details/52245255
    最后没办法只能把logback给砍掉,还是使用原来的log4j。
       2、在使用log4j配置时,有两种方式可以实现向远程发送日志信息:一种是log4j主动去连接ELK中的logstash,然后把日志发送到logstash上,这时log4j使用SocketAppender ,配置如下:
    
    
     log4j.appender.logstash=org.apache.log4j.net.SocketAppender
    log4j.appender.logstash.RemoteHost=10.30.11.19
    log4j.appender.logstash.port=4570
    log4j.appender.logstash.ReconnectionDelay=60000
    log4j.appender.logstash.LocationInfo=true
    log4j.appender.logstash.encoding=UTF-8 
    另一种方式是,采用SocketHubAppender 
     log4j.appender.socket=org.apache.log4j.net.SocketHubAppender
    log4j.appender.socket.port=9999
    log4j.appender.socket.Threshold=INFO
    log4j.appender.socket.LocationInfo=true 
    这里在blog里面使用properties配置方式了,毕竟如果用xml的话,一会儿出来的效果又是各种输入框了,大家都懂的。如果项目是用的xml方式配置,相应的修改一下就行,两种方式的原理参看: 
    http://www.tuicool.com/articles/3U7fumv 
    http://blog.csdn.net/beer2008cn/article/details/7381760 
      3、在使用项目中使用xml配置时,用到了占位符:param name="port" value="${monitor.port}"
    ,但因为log4j在项目启动时,先于spring的org.springframework.beans.factory.config.PropertyPlaceholderConfigurer这个加载properties文件的bean加载,所以在xml中配置的这个占位符始终都取不到monitor.port的值。找到了两种解决办法:
      第一种是直接在tomcat启动参数那加一处 monitor.port=9999(端口值自定义),第二种是写一个监听器,在web项目启动后,把monitor.properties文件中的monitor.port=9999值读出来,然后注入到System对象中去,最后使用log4j 的API重新加载log4j的配置参数:
    具体代码如下:
    
    
    public class LoggerInitializer implements ApplicationListener {
     
          public final String log_locations = "xxxx/monitor.xml";
      public final String log_properties = "xxxx/monitor.properties";
      public final String MONITORPORT = "monitor.port";
            public final String basePath = this.getClass().getClassLoader().getResource("/").getPath();;
         private String loadProperties(){
             Properties prop = new Properties();
                  String port = null;
                  InputStream in = null;
               try{
                          
                     String path = basePath+log_properties;
                       in = new BufferedInputStream (new FileInputStream(path));
                            prop.load(in);
                       port = prop.getProperty(MONITORPORT);
                }catch(Exception e){
                         e.printStackTrace();
                 }finally{
                            if(in != null){
                              try {
                                        in.close();
                                  } catch (IOException e) {
                                            e.printStackTrace();
                                 }
                            }
                    }
                    return port;
         }
             
     private void reloadConfig(){
                 String port = loadProperties();
              if(!StringUtil.isBlank(port)){
                       System.setProperty(MONITORPORT, port);//把properties文件中的值注入到System中去
                  }
                    String path = basePath+log_locations;
                path = path.substring(path.indexOf(":")+1, path.length());
                   //重新加载log4j的配置,重置时会抛出异常,但不影响启动和新配置的应用,重置后的配置也能正常使用,这时因为monitor.properties中的值已经注入到System中,所以monitor.port可以取到值
                 DOMConfigurator.configure(path);
     }
     
     @Override
            public void onApplicationEvent(ApplicationEvent event) {
             if(event instanceof ContextRefreshedEvent){
                          if(((ContextRefreshedEvent)event).getApplicationContext().getParent() == null)//容器启动完成之后load
                                 reloadConfig();      
             }
            }
    }
    这里的原理就在于:log4j在通过占位符读取配置时,从log4j源码可以看出是在System中获取的占位符的值,所以这两种方式都可以实现。ps:如果系统使用的log4j配置是xml方式的,那就是在重新加载log4j.xml的配置时,使用DOMConfigurator.configure(path);这个API,如果是使用的properties文件配置方式,则改用:PropertyConfigurator.configure(path);
    参考:http://k1280000.iteye.com/blog/2176541
    其中:当重新加载log4j的配置文件时抛出的异常信息为:
    
    
    java.net.SocketException: Socket operation on nonsocket: configureBlocking
       at
        at
         at
         at
         at
           at
       at org.apache.log4j.net.SocketHubAppender$ServerMonitor.run(SocketHubAppender.
      at
    Exception in thread "SocketHubAppender-Monitor-4560" java.lang.NullPointerException
       at org.apache.log4j.net.SocketHubAppender$ServerMonitor.run(SocketHubAppender.
      at
    虽然会抛出异常,但经本人测试,log4j中的占位符还是被替换成了配置的值,而且日志也能正常发送到ELK平台上。但至于解决方案,暂时没有找到,有知道的朋友,可以指导一下,不胜感激。
    此外,对于log4j还可以自定义日志级别,我当前项目就没有用到了,主要是项目催得比较紧,要实现自定义的日志级别可以参照:http://blog.csdn.net/seven_cm/article/details/26849821
  • 相关阅读:
    Determine what is blocking UI thread
    Nginx学习总结
    redisshake
    Kafka——在zookeeper中存储结构和查看方式 规格严格
    linux df h 命令卡住 解决方法 规格严格
    使用Docker部署MySQL 规格严格
    解决Authentication plugin ‘caching_sha2_password‘ cannot be loaded问题 规格严格
    PostgreSQL视图和物化视图 规格严格
    nginx: [emerg] "server" directive is not allowed here in /usr/local/nginx/conf/nginx.conf:45 规格严格
    mysql java.security.cert.CertificateNotYetValidException: NotBefore: 规格严格
  • 原文地址:https://www.cnblogs.com/hzcya1995/p/13317607.html
Copyright © 2020-2023  润新知