参考大数据厦门大学林子雨编著的《大数据技术原理与应用(第3版)》中第三课《HDFS编程实践(Hadoop3.1.3)》遇到的bug
一、林子雨老师配套教材的网站:HDFS编程实践(Hadoop3.1.3)_厦大数据库实验室博客 (xmu.edu.cn)
二、参考大数据林子雨老师的网站过程中遇到的bug:
1, –mkdir: Unknown command
我们仅需手动的敲进去即可。代码本身没有错,可能是因为字符编码不一致
原因:“-mkdir”的“-”字符编码错误。
2,创建用户目录时,没报错,但是(./bin/hdfs dfs –ls .)到根目录下没有发现 user/hadoop 文件
Hadoop根目录:是否是安装目录(非也,它是HDFS 系统的一个目录~ 至于在哪,
方式一:通过黑黑的终端查看,
方式二:通过web查看(因为:Hadoop提供了关于HDFS在Linux操作系统上进行文件操作的常用Shell命令以及Java API。同时还可以利用Web界面查看和管理Hadoop文件系统。))
HDFS文件系统的根目录是/,用户主目录是/user/[hadoop用户名]
所有的文件都放在根目录及其子目录下。
/tmp用于hadoop操作的临时存储,
/user下的是用户空间,
/data/input应该是存放从本地上传至HDFS文件系统的文件,
/data/output应该是存放hadoop运行的结果。
3, Log4j:WARN No appenders could be found for logger(org.apache.hadoop.util.Shell)
解决:将以下方法插入到main函数中,可以自行打印日志信息了
BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。
参考文章:
《HDFS文件系统的根目录和用户主目录解析》https://blog.csdn.net/qq_41808750/article/details/104667959