1.准备虚拟机，安装linux系统
我安装的是centos7 , 在阿里镜像下载的，
地址 http: //mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso
历史版本目录地址 http: //mirrors.aliyun.com/centos/
【//前去掉空格】
vm 使用 16pro版本 ，
安装3个虚拟机
2.使用xshell远程连接虚拟机
3.官网下载hadoop
地址 https: //archive.apache.org/dist/hadoop/common
2.7.5版本直接下载地址
https: //archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
【//前去掉空格】
4.在自己喜欢的目录将压缩包上传过去
我的:
生成目录 mkdirs /home/myhadoop 进入该目录 cd /home/myhadoop 本地文件上传该目录 rz 然后选择压缩包即可上传 解压压缩包到当前目录
tar -zvxf hadoop-2.7.5.tar.gz -C
进入解压的目录
cd hadoop-2.7.5
ls
可看到目录
bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share
说明：
bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
include目录：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。
lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
sbin目录：存放启动或停止Hadoop相关服务的脚本
share目录：存放Hadoop的依赖jar包、文档、和官方案例
配置环境变量
cd /etc/profile.d
vim my_env.sh
内容如下
#HADOOP_HOME
export HADOOP_HOME=/home/myhadoop/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存
然后执行
source my_env.sh
来生效
执行
hadoop version
如果出现
Error: JAVA_HOME is not set and could not be found.
则表示没有添加jdk的环境变量
如果是使用本地资源来安装jdk,取出jdk的安装路径，
如果是使用yum指令安装，则其默认的安装位置在
/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
【jdk yum安装，看我这篇随笔 https: //www.cnblogs.com/c2g5201314/p/15780401.html】
我这里的使用yum的，配置模板为
#JAVA_HOME export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar export PATH=$PATH:$JAVA_HOME/bin
进入配置目录 cd /etc/profile.d
创建配置文件
vim JAVA_HOME.sh
然后加入模板里的内容，如果是本地资源来安装则改掉 JAVA_HOME= 后的地址为自己的即可
保存
执行 source JAVA_HOME.sh 生效
现在再执行 hadoop version
出现 如下表示 成功
其他的一些linux指令，只做备忘参考
hadoop fs -ls x 查看 HDFS 的该级的文件目录 hadoop fs -ls x -R 迭代查看 HDFS 的文件目录 hadoop fs -mkdir x 在HDFS 创建文件夹 hadoop fs -put x y 从本地上传到HDFS hadoop fs -get x y 从HDFS下载到本地 hadoop fs -mv x y 移动文件，即剪切 hadoop fs -rm x 删除文件，其实即使移动到回收站 hadoop fs -rm -r x 删除文件夹 hadoop fs -cp x y 拷贝文件 Hadoop fs cat x 将文件内容输出到控制台 sz x 将linux文件下载到本地 cd ./xxx/nb-fyzt 拷贝上一次的文件 cp ./xxx.jar ./xxx.jar-back //删除 rm xxx.jar 删除后再上传 rz 运行 ./run.sh restart 查看 tail -f nohup.out 查看当前路径 pwd ctl + s 暂停输出会卡死，点击 ctl + q 即可恢复