先去集群中hive hadoop的配置目录中把以下4个site.xml文件下载下来
- core-site.xml
- hdfs-site.xml
- hive-site.xml
- yarn-site.xml
然后把这四个文件复制到idea项目的resource目录下即可，注意使用一下maven的clean命令，确保编译后文件仍然存在
文件的具体位置CDH 与Apach不一样。
cdh:cd /etc/alternatives/hadoop-conf
apache:cd $HADOOP_HOME/etc/hadoop/
也可以顺便把spark目录下的conf/log4j.properties复制到resource中，在log4j.properties中修改设置spark本地模式下的日志输出级别