0、配置主机名
hostnamectl set-hostname spark1
1、上传hadoop-2.7.1.tar.gz文件并解压
tar -xvf hadoop-2.7.1.tar.gz
2、 编辑环境配置文件
vi etc/hadoop/hadoop-env.sh
进行配置
export JAVA_HOME=/usr/software/jdk1.8.0_51/
export HADOOP_CONF_DIR=/usr/software/hadoop-2.7.1/etc/hadoop
3、编辑core-site.xml,增加访问链接
vi etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.163.101:9000</value>
</property>
</configuration>
4、编辑hdfs-site.xml
vi etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
5、将mapred-site.xml.template复制一份并将名称修改为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6、编辑slaves文件
vi slaves
spark1 #将localhost改为hostname名
7、修改yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>spark1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
8、在/etc/profile中进行配置
#hadoop
export HADOOP_HOME=/usr/software/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
9、格式化文件系统
hdfs namenode -format
10、启动
start-all.sh
**********************************
测试:
创建一个目录:hadoop fs -mkdir /test
查看目录:hadoop fs -ls /
如果没有报错就说明成功了
**********************************