HDFS相关命令使用与了解

第五章：HDFS
一、操作HDFS
1、Web Console：端口50070
2、命令行：有两种类型
（1）普通操作命令： hdfs dfs ******
命令
-mkdir：在HDFS上创建目录
hdfs dfs -mkdir /aaa
hdfs dfs -mkdir /bbb/ccc
如果父目录不存在，使用-p参数先创建父目录

		-ls      查看HDFS的某个目录
		-ls -R   查看HDFS的某个目录，包含子目录
		         简写： -lsr
					
		-put            上传数据
		-copyFromLocal  上传数据
		-moveFromLocal  上传数据，相当于ctrl+x
		
		-copyToLocal   下载数据
		-get            下载数据
		     举例: hdfs dfs -get /input/data.txt .
		
		-rm： 删除目录
		-rmr: 删除目录，包括子目录
		       hdfs dfs -rmr /bbb
			   日志：
			   17/12/08 20:32:10 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
                    Deleted /bbb
					
		-getmerge：把某个目录下的文件，合并后再下载
		
		-cp：拷贝   hdfs dfs -cp /input/data.txt /input/data2.txt
		-mv：移动   hdfs dfs -cp /input/data.txt /aaa/a.txt
				
		-count: 举例：hdfs dfs -count /students
		
		-du: 类似-count，信息更详细
		     hdfs dfs -du /students
		
		例子：
			[root@bigdata11 ~]# hdfs dfs -count /students
					   1            2                 29 /students
			[root@bigdata11 ~]# hdfs dfs -ls /students
			Found 2 items
			-rw-r--r--   1 root supergroup         19 2017-12-08 20:35 /students/student01.txt
			-rw-r--r--   1 root supergroup         10 2017-12-08 20:35 /students/student02.txt
			[root@bigdata11 ~]# hdfs dfs -du /students
			19  /students/student01.txt
			10  /students/student02.txt			
		
		  -text、-cat： 查看文本的内容
		  hdfs dfs -cat /input/data.txt
		  balancer：平衡操作
                      hdfs 	balancer		

  （2）管理命令：hdfs dfsadmin ******
        -report: 打印HDFS的报告
		         举例：hdfs dfsadmin -report
				 
		-safemode：安全模式
			hdfs dfsadmin -safemode
			Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]	
			
			[root@bigdata11 ~]# hdfs dfsadmin -safemode get
			Safe mode is OFF
			[root@bigdata11 ~]# hdfs dfsadmin -safemode enter
			Safe mode is ON
			[root@bigdata11 ~]# hdfs dfs -mkdir /dddd
			mkdir: Cannot create directory /dddd. Name node is in safe mode.
			[root@bigdata11 ~]# hdfs dfsadmin -safemode leave
			Safe mode is OFF	

3、Java API
	（1）创建一个目录：mkdir ----> 告诉：权限的问题
	（2）上传数据、下载数据
	（3）查询数据的元信息
	
	依赖的jar包：
	  /root/training/hadoop-2.7.3/share/hadoop/common
	  /root/training/hadoop-2.7.3/share/hadoop/common/lib
	  
	  /root/training/hadoop-2.7.3/share/hadoop/hdfs
	  /root/training/hadoop-2.7.3/share/hadoop/hdfs/lib

二、HDFS输出数据的原理（画图）：比较重要
1、数据上传的原理（过程）
2、数据下载的原理（过程）

三、HDFS的高级特性
1、回收站
2、快照snapshot：备份
3、配额quota：（1）名称配额
（2）空间配额
4、HDFS安全模式: safemode
5、HDFS的权限
6、HDFS的集群：（1）联盟Federation
（2）HA