安装 Hadoop 2.7.3
配置ssh免密码登陆
cd ~/.ssh # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys # 加入授权
chmod 600 ./authorized_keys # 修改文件权限
1.此处我们选择二进制安装包
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz解压：
tar -zxf hadoop-2.7.3.tar.gz
我们解压到了/data/yunva/hadoop-2.7.3目录
输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息
cd /data/yunva/hadoop-2.7.3
# bin/hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /data/yunva/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar
2.Hadoop单机配置(非分布式)
修改 hosts 文件，为你的主机名增加IP映射vim /etc/hosts
10.10.33.84 ha01
Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。
现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jarr 可以看到所有例子），包括 wordcount、terasort、join、grep 等。
在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。
cd /data/yunva/hadoop-2.7.3/
mkdir input
cp etc/hadoop/*.xml input # 将配置文件作为输入文件
# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ./input ./output 'dfs[a-z.]+'
# cat ./output/*
1 dfsadmin
通过命令 cat ./output/* 查看结果，符合正则的单词 dfsadmin 出现了1次：
注意:Hadoop 默认不会覆盖结果文件，如需要再次运行上面实例需要先将 output 删除。
3.Hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 /etc/profile 中设置：
export HADOOP_HOME=/data/yunva/hadoop-2.7.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
保存后，执行如下命令使配置生效
source /etc/profile
这些变量在启动 Hadoop 进程时需要用到，不设置的话可能会报错（这些变量也可以通过修改 ./etc/hadoop/hadoop-env.sh 实现）。
Hadoop 的配置文件位于 /data/yunva/hadoop-2.7.3 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。
①修改配置文件 core-site.xml (/etc/hadoop/core-site.xml)
修改为下面配置：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/data/yunva/hadoop-2.7.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.namenode.rpc-bind-host</name>
<value>0.0.0.0</value>
</property>
</configuration>
②同样的，修改配置文件 hdfs-site.xml：
<configuration><property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/data/yunva/hadoop-2.7.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/yunva/hadoop-2.7.3/tmp/dfs/data</value>
</property>
</configuration>
③配置完成后，执行 NameNode 的格式化:
./bin/hdfs namenode -format成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。
④接着开启 NaneNode 和 DataNode 守护进程：
./sbin/start-dfs.sh
若出现如下 SSH 的提示 “Are you sure you want to continue connecting”，输入 yes 即可
报错：
# ./sbin/start-dfs.sh
17/03/21 15:36:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: Error: JAVA_HOME is not set and could not be found.
解决办法：
hadoop-env.sh 和 yarn-env.sh 添加如下变量
# egrep -v "#|^$" hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_SSH_OPTS="-p 2222" # ssh端口非默认22端口
export HADOOP_HOME=/data/yunva/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
# egrep -v "#|^$" yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_HOME=/data/yunva/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
成功启动后，可以访问 Web 界面 http://ip:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
4.运行Hadoop伪分布式实例
上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/admin
接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/admin/input 中。我们使用的是 admin 用户，并且已创建相应的用户目录 /user/admin ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/admin/input:
./bin/hdfs dfs -mkdir /user/admin/input
./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/admin/input
复制完成后，可以通过如下命令查看 HDFS 中的文件列表：
# bin/hdfs dfs -ls /user/admin/input
Found 8 items
-rw-r--r-- 1 root supergroup 4436 2017-03-21 15:58 /user/admin/input/capacity-scheduler.xml
-rw-r--r-- 1 root supergroup 1082 2017-03-21 15:58 /user/admin/input/core-site.xml
-rw-r--r-- 1 root supergroup 9683 2017-03-21 15:58 /user/admin/input/hadoop-policy.xml
-rw-r--r-- 1 root supergroup 1180 2017-03-21 15:58 /user/admin/input/hdfs-site.xml
-rw-r--r-- 1 root supergroup 620 2017-03-21 15:58 /user/admin/input/httpfs-site.xml
-rw-r--r-- 1 root supergroup 3518 2017-03-21 15:58 /user/admin/input/kms-acls.xml
-rw-r--r-- 1 root supergroup 5511 2017-03-21 15:58 /user/admin/input/kms-site.xml
-rw-r--r-- 1 root supergroup 690 2017-03-21 15:58 /user/admin/input/yarn-site.xml
若要关闭 Hadoop，则运行
./sbin/stop-dfs.sh
注意
下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！
启动YARN
（伪分布式不启动 YARN 也可以，一般不会影响程序执行）
有的读者可能会疑惑，怎么启动 Hadoop 后，见不到书上所说的 JobTracker 和 TaskTracker，这是因为新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。
YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。
上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。
首先修改配置文件 mapred-site.xml，这边需要先进行重命名：
mv mapred-site.xml.template mapred-site.xml
进行编辑
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
接着修改配置文件 yarn-site.xml：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
然后就可以启动 YARN 了（需要先执行过 ./sbin/start-dfs.sh）：
./sbin/start-yarn.sh $ 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器，才能在Web中查看任务运行情况
http://1.1.1.1:8088/cluster
执行jps报错：
最近hadoop系统在升级后发现一个诡异的问题: jps命令返回的都是process information unavailable, jstack, jmap等所有使用attach api的命令都有类似问题.
# jps
8848 -- process information unavailable
8395 -- process information unavailable
8748 -- process information unavailable
8270 -- process information unavailable
解决方法：
# chmod 755 -R /tmp
网上资料
以为是Jps有问题, 查看Jps源代码, 得知使用 jps -J-Djps.debug=true -J-Djps.printStackTrace=true 可以获得Jps错误详细信息, 如下:
16373 -- process information unavailable
Could not attach to 16373
sun.jvmstat.monitor.MonitorException: Could not attach to 16373
at sun.jvmstat.perfdata.monitor.protocol.local.PerfDataBuffer.<init>(PerfDataBuffer.Java:91)
at sun.jvmstat.perfdata.monitor.protocol.local.LocalMonitoredVm.<init>(LocalMonitoredVm.java:68)
at sun.jvmstat.perfdata.monitor.protocol.local.MonitoredHostProvider.getMonitoredVm(MonitoredHostProvider.java:77)
at sun.tools.jps.Jps.main(Jps.java:92)
Caused by: java.io.IOException: Operation not permitted
at sun.misc.Perf.attach(Native Method)
at sun.misc.Perf.attachImpl(Perf.java:270)
at sun.misc.Perf.attach(Perf.java:200)
at sun.jvmstat.perfdata.monitor.protocol.local.PerfDataBuffer.<init>(PerfDataBuffer.java:64)
... 3 more
static bool is_directory_secure(const char* path) {
struct stat statbuf;
int result = 0;
RESTARTABLE(::lstat(path, &statbuf), result);
if (result == OS_ERR) {
return false;
}
// the path exists, now check it's mode
if (S_ISLNK(statbuf.st_mode) || !S_ISDIR(statbuf.st_mode)) {
// the path represents a link or some non-directory file type,
// which is not what we expected. declare it insecure.
//
return false;
}
else {
// we have an existing directory, check if the permissions are safe.
//
if ((statbuf.st_mode & (S_IWGRP|S_IWOTH)) != 0) {
// the directory is open for writing and could be subjected
// to a symlnk attack. declare it insecure.
//
return false;
}
}
return true;
}
确定问题是权限问题, 可抛出异常的却是native code.无奈只有下载openjdk源代码(native code部分在src.zip的jdk类库中没有源代码), 在@RednaxelaFX 的帮助下,找到了罪魁祸首:
hotspot/src/os/Linux/vm/perfMemory_linux.cpp
[root@ha01 ~]# chmod 755 -R /tmp
原来目录权限是S_IWGRP | S_IWOTH都会有问题.查看/tmp/hsperfdata_mapred发现权限被人修改成了777. 修改回755后, 问题解决.
最后,交代一下关于jps的基础知识, jps, jstack等都是通过/tmp/hsperfdata_${user_name} 来确定正在运行的java进程pid等信息. 如果启动java进程时使用-Djava.io.tmpdir 后, jps等可能会由于找不到对应的数据而有问题. 这次遇到的是该目录的权限问题.