hadoop-hdfs-伪分布式环境搭建-使用

配置

hadoop-env.sh (hadoop环境)

etc/hadoop/core-site.xml:

<property>

<name>fs.defauletFS</name>规划namenode在哪启动

<value>hdfs://node01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>放持久化文件数据

<value>/var/hadoop/local</value>

</property>

etc/hadoop/hdfs-site.xml

<property>

<name>dfs.replication</name>副本数，因为是伪分布式，所有要把副本数设置为1

<value>1</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>SSN配置项

<value>node01:50090</value>

</property>

vi slaves 设置datanode在哪启动

node01

第一次启动要格式化(初始化/opt/hadoop_data)

hadoop namenode -format

自己设置的文件夹/hadoop/local/dfs/name/current 元数据存放点，fsimage，

hdfs dfs所有hdfs命令

hdfs dfs -ls 文件数目录

start-dfs.sh 启动角色

hdfs dfs -mkdir -p /user/root 创建家目录

1048576字节=1M

hdfs dfs -D dfs.blocksize=1048576 -put test.txt 设置块大小，放入家目录中

hdfs dfs -ls"显示目录信息

"hdfs dfs -cat"查看文件内容

"hdfs dfs -mkdir"创建文件夹

"hdfs dfs -put"将Linux文件系统(本地)下的文件拷贝到hdfs中

"hdfs dfs -get"将文件从hdfs复制到本地

“hdfs dfs -chmod”设置文件权限

“hdfs dfs -chown”修改文件所属

HDFS HA：解决单点故障，通过主备NameNode解决

分为两类元数据：静态目录树和动态块的位置信息

NNActive NNStandby最终一致性

安装zookeeper 解压 设置环境变量 ./zkServer.sh start启动