hadoop环境搭建

Host Name

修改hostname文件

vi /etc/hostname

添加

HOSTNAME=blahblah

CentOS命令行操作

等价修改hostname文件的操作

hostnamectl set-hostname blahblah

Network

查看IP地址

ifconfig

配置IP地址

vi /etc/sysconfig/network-scripts/ifconfig-*

# 修改内容
BOOTPROTO=dhcp

# 修改内容
ONBOOT=yes

# 添加内容
IPADDR=192.168.1.110
GATEWAY=192.168.1.1
NETMASK=255.255.255.0

IP地址生效

方法一：重启操作系统

reboot

方法二：重启网络服务

以network运行网络服务

systemctl restart network

以networkmanager运行网络服务（比如CentOS8）

nmcli c reload 网卡名
nmcli c up 网卡名

Q&A

双向PING的坑有哪些？

防火墙。PING使用的LCMP，WIN10防止同网段的其他主机PING本地主机，需要关闭WIN10防火墙，或者修改WIN10防火墙的入站规则，添加LCMP协议。

JAVA

包管理下载安装JAVA

yum install java

配置JAVA_HOME环境变量

hadoop依赖JAVA_HOME环境变量

可配置环境变量的文件：

• /etc/profile
• ~/.profile
• ~/.bashrc（根据用户所使用的shell决定）

第一个为全局配置
第一个和第二个为用户配置

这里以~/.bashrc演示

vi ~/.bashrc

添加

# 要确保JAVA_HOME文件夹中包含bin文件夹
export JAVA_HOME=/usr/lib/java*(/jre)

使.bashrc生效

source ~/.bashrc

Hadoop

Hadoop的JAVA版本要求

Apache Hadoop 3.3 and upper supports Java 8 and Java 11 (runtime only).

Please compile Hadoop with Java 8. Compiling Hadoop with Java 11 is not supported:HADOOP-16795 - Java 11 compile support OPEN

Apache Hadoop from 3.0 to 3.2 now supports only Java 8

Apache Hadoop from 2.7.x to 2.x support Java 7 and 8

下载

hadoop下载链接

方法一：本地下载

本地下载，通过scp命令上传到服务器

方法二：服务器下载

复制下载链接，通过wget命令下载

解压

第一步：解压包

# 解压并指定解压位置
tar -xzvf hadoop*.tar.gz -C /usr/local

测试

/usr/local/hadoop*/bin/hadoop version

如果能正确输出则表示hadoop运行成功，间接表示JAVA_HOME配置正确