一、概述
使用IDEA调试spark程序时,spark通过thriftserver访问hive的元数据信息,如果不设置spark的warehouse目录会报nameservice1异常;这是因为本地目录访问不到nameservice信息,需要将nameservices配置到spark中。
二、问题解决
1、将CDH平台的hdfs-site.xml文件拷贝到spark的conf目录中
2、使用config方式配置warehouse路径
config(“spark.sql.warehouse.dir”,“hdfs://192.168.86.120:9000/usr/hive/warehouse”)
或者使用:
3、使用config方式配置nameservices路径
config(“dfs.ha.namenodes.nameservices”,“192.168.86.120,192.168.86.121”)