MacOS部署单机版Hadoop
hadoop是一种分布式框架，一般部署在计算机集群（cluster）上。在没有集群的情况下，为了学习和调试hadoop程序，可以在本机上部署一个单机版的hadoop框架。
hadoop下载链接：https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
版本为3.2.0
是一个.tar.gz的压缩文件，首先，将该文件解压缩到指定的文件夹，如这里指定将其放在opt文件夹下：
tar -zxvf hadoop-3.2.0.tar.gz -C /opt/
这时就可以看到
baidudeMacBook-Pro:~ jiazhuang01$ ls /opt
DuGuanJiaSvc MacAptSvc hadoop-3.2.0
已经解压到了该文件夹里
第一步仍然是要将hadoop添加到路径中，即将其创建变量，并且写入PATH中：
vim /etc/profile
将如下语句添加到现有的内容后面：
export HADOOP_HOME=/opt/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin
保存好，并且source一下让其生效：
source /etc/profile
这时看一下HADOOP_HOME，如下：
baidudeMacBook-Pro:hadoop-3.2.0 jiazhuang01$ echo $HADOOP_HOME
/opt/hadoop-3.2.0
可以看到，环境变量已经配好。下面需要改一下hadoop配置文件xml中的一些内容。
然后，进入hadoop-3.2.0文件夹，可以看到在 etc/hadoop路径下有很多xml文件。需要对其中的几个进行修改：分别是：
Core-site.xml
Yarn-site.xml
Mapred-site.xml
Hdfs-site.xml
修改后的内容如下(这里参考了 http://www.hihubs.com/article/341 中的方法)：
vim $HADOOP_CONF_DIR/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
vim $HADOOP_CONF_DIR/hdfs-site.xml
<configuration>
<property>
<name> dfs.replication </name>
<value> 1 </value>
</property>
<configuration>
vim $HADOOP_CONF_DIR/mapred-site.xml
<configuration>
<property>
<name> mapreduce.framework.name </name>
<value> yarn </value>
</property>
<property>
<name> mapreduce.application.classpath </name>
<value> $HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/* </value>
</property>
<configuration>
vim $HADOOP_CONF_DIR/yarn-site.xml
<configuration>
<property>
<name> yarn.nodemanager.aux-services </name>
<value> mapreduce_shuffle </value>
</property>
<property>
<name> yarn.nodemanager.env-whitelist </name>
<value> HADOOP_HOME,JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME </value>
</property>
<configuration>
修改好后，配置ssh免密登录，具体方法可以参考：
https://dongkelun.com/2018/04/05/sshConf/
操作如下：
ssh-keygen -t rsa
用RSA算法加密，得到结果如下：
Generating public/private rsa key pair.
Enter file in which to save the key (/Users/jiazhuang01/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /Users/jiazhuang01/.ssh/id_rsa.
Your public key has been saved in /Users/jiazhuang01/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:YxUsVinjo54B86DZ9+bwuz0TFzT9zV8v0rZMaGqFfn4 jiazhuang01@baidudeMacBook-Pro.local
The key's randomart image is:
+---[RSA 2048]----+
| oo. . |
| = o.o . |
| o +.. . o.|
| + o. . =|
| + = .S. . + +|
| o . =. .o * = o|
| o.+ . * = o |
| ooo.* . E |
| o=+.=.. |
+----[SHA256]-----+
然后将public key导入到authorized_keys中：
baidudeMacBook-Pro:hadoop-3.2.0 jiazhuang01$ cd /Users/jiazhuang01/.ssh/
baidudeMacBook-Pro:.ssh jiazhuang01$ cat id_rsa.pub>>authorized_keys
完成后可以ssh一下localhost，看看是否可以：
baidudeMacBook-Pro:hadoop-3.2.0 jiazhuang01$ ssh localhost
Last login: Fri Jul 19 18:04:02 2019
可以了~
第一次要格式化一下：
hadoop namenode -format
下面，进入Hadoop的home目录下，找到sbin子目录的start-dfs.sh文件，运行：
sbin/start-dfs.sh
得到结果：
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [baidudeMacBook-Pro.local]
2019-07-19 16:54:20,914 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
可以用jps（java processing status，查看JAVA进程）命令看一下结果
55952 ResourceManager
61137 Jps
60642 NameNode
11013
60742 DataNode
60879 SecondaryNameNode
可以看到建立了NameNode、DataNode以及SecondaryNameNode。
到此本机架设Hadoop就完成啦！
2019-07-19 19:06:48