目录
二、解决spark-shell中不能输入退格/删除,设置CRT
四、Windows系统下运行hadoop、spark程序出错
1)Windows系统下运行hadoop、spark程序出错Could not locate executablenullinwinutils.exe in the Hadoop binaries
一、IDEA运行Spark项目UI界面图片展示异常
后台报错:
java.lang.NoSuchMethodError: javax.servlet.http.HttpServletRequest.isAsyncSupported()Z
并且UI界面打开之后,不能加载图片。
在HttpServletRequest类中确实没有找到isAsyncSupported方法。在提示的两个版本的jar包中都没有找到这个方法。
从依赖的maven中的javax.servlet的api包有2.5版本和3.1版本的,所以把低版本的删除掉:
项目右键,选择open module settings,选择低版本的移除掉就可以了。
如果上面的做法不能解决问题,那么就在最头上添加依赖:
<dependency>
<groupId>javax.servlet</groupId>
<artifactId>javax.servlet-api</artifactId>
<version>3.0.1</version>
</dependency>
二、解决spark-shell中不能输入退格/删除,设置CRT
参考:https://blog.csdn.net/u012102306/article/details/51013217
配好了Spark集群后,先用pyspark写了两个小例子,但是发现Tab键没有提示,于是打算转到scala上试试,在spark-shell下有提示了,但是发现不能退格,而且提示也不是复写,而是追加,这样根本就没法写程序.
解决办法:
1.打开会话选项
2.终端-仿真 在终端中选择Linux
3.映射键 勾选两个选项
4.至此已经成功了,但是如果远程长时间未操作 就会中断连接,下次再操作时需要等待,其实也很影响使用,在这里也附上解决办法(可选)
修改这个CRT的背景颜色,上面的操作之后的背景颜色是黑色,现在改成白色,不要进行勾选:
三、解决Spark的webUI不能查看DAG图
不能查看DAG图,是因为360浏览器默认是使用的兼容模式,要改为急速模式:
四、Windows系统下运行hadoop、spark程序出错
1)Windows系统下运行hadoop、spark程序出错Could not locate executablenullinwinutils.exe in the Hadoop binaries
winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类,另外在使用eclipse调试hadoop程序是,也需要winutils.exe,需要配置上面的环境变量。
1)下载winutils,注意需要与hadoop的版本相对应。
因为我的IDEA中使用的Hadoop是2.6,所以下载对应的版本:hadoop-common-2.6.0-bin-master.zip
2)解压,并在windows上配置系统环境变量:
新建:HADOOP_HOME=D:HuQiaoMei uoze_softwarehadoop-common-2.6.0-bin-master
path前面加:%HADOOP_HOME%in
3)在编写的代码中添加:
System.setProperty("hadoop.home.dir", "D:\HuQiaoMei\ruoze_software\hadoop-common-2.6.0-bin-master")
需要在sparkConf下加上一句:```System.setProperty("hadoop.home.dir", "D:\HuQiaoMei\ruoze_software\hadoop-common-2.6.0-bin-master");```。
参考:https://blog.csdn.net/love666666shen/article/details/78812622
2)在windows上运行Hadoop、Spark出现异常:UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
解决办法:
将D:HuQiaoMei
uoze_softwarehadoop-common-2.6.0-bin-master复制到C:WindowsSystem32下