Java依赖环境:
<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.3.0</version> </dependency> <dependency> <groupId>com.maxmind.db</groupId> <artifactId>maxmind-db</artifactId> <version>1.2.2</version> </dependency> <dependency> <groupId>com.maxmind.geoip2</groupId> <artifactId>geoip2</artifactId> <version>2.11.0</version> </dependency>
根据官方提供的API,开发测试时,出现以下兼容性问题:
GeoIP2 java API : http://maxmind.github.io/GeoIP2-java/
java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.node.ArrayNode.<init>(Lcom/fasterxml/jackson/databind/node/JsonNodeFactory;Ljava/util/List;)V at com.maxmind.db.Decoder.decodeArray(Decoder.java:272) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.db.Decoder.decodeByType(Decoder.java:156) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.db.Decoder.decode(Decoder.java:147) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.db.Decoder.decodeMap(Decoder.java:281) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.db.Decoder.decodeByType(Decoder.java:154) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.db.Decoder.decode(Decoder.java:147) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.db.Decoder.decode(Decoder.java:87) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.db.Reader.<init>(Reader.java:132) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.db.Reader.<init>(Reader.java:116) ~[maxmind-db-1.2.2.jar:?] at com.maxmind.geoip2.DatabaseReader.<init>(DatabaseReader.java:66) ~[geoip2-2.11.0.jar:2.11.0] at com.maxmind.geoip2.DatabaseReader.<init>(DatabaseReader.java:54) ~[geoip2-2.11.0.jar:2.11.0] at com.maxmind.geoip2.DatabaseReader$Builder.build(DatabaseReader.java:160) ~[geoip2-2.11.0.jar:2.11.0]
根据错误信息,定位到fasterxml的兼容出现故障,最后追综到hive2.3.0版本中avatica-1.8.0.jar居然包含了com.fasterxml.jackson包。
对应的jackson-datamind的版本为2.6.3,而我们要用要的geoip2依赖jackson-datamind的版本为2.9.3,这两个版本存在上面报错信息地方的方法的不同。
找到了这个梗,下面考虑解决方案:
方案一: 修改geoip2的源程序,从开始引用的类com.maxmind.geoip2.DatabaseReader.class
一直到报错的这个方法的类全部重命名调用,并手工添加这个未找到的方法。然后打包编译,这样就绕过了依赖包的版本问题。
方案二: 经过测试没通过。
本想直接替换hive中avatica-1.8.0.jar包,升级为新版本,但是存在其他依赖,无法替换,所以只有第一种方法。
替换hive的lib库中avatica-1.8.0.jar,使用最新的avatica-1.11.0.jar
在新版本的avaitca-1.11.0.jar版本中,我们找不到com.fasterxml.jackson这个文件夹了,并且依赖的POM中显示依赖的是2.9.4版本。
这样就不会引起多个相同的类的冲突了。
但是也许会有一些潜在的风险,就是hive本身的环境是否对新版的avatica-1.11.0.jar的支持。