Hadoop安装笔记

1  修改主机名

修改/etc/hosts文件，按下面的格式添加：

Id 主机名

2   创建/home/hadoop目录

在所有节点上创建/home/hadoop目录:

mkdir -p /home/hadoop1  修改主机名<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

3  创建用户和密码

在所有节点上创建用户并设置密码：

useradd -d /home/hadoop/XXX -s /bin/bash XXX –m

passwd XXX

4  XXX用户ssh免密码登陆

XXX用户生成.ssh文件，在一个节点上设置好XXX用户ssh免密码访问。

cd /home/hadoop/XXX

su XXX

#生成id_rsa.pub文件

ssh-keygen -t rsa 

#这里要注意，执行完命令后要选择生成文件所放的位置，按回车即选择默认即可。

[qunzhihe@localhost ~]$ ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hadoop/XXX/.ssh/id_rsa):

Created directory '/home/hadoop/XXX/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /home/hadoop/XXX/.ssh/id_rsa.

Your public key has been saved in /home/hadoop/XXX/.ssh/id_rsa.pub.

The key fingerprint is:

23:a8:36:c7:c3:89:1a:f9:97:00:88:36:73:d6:5a:0bXXX@localhost

The key's randomart image is:

+--[ RSA 2048]----+

|                |

|                |

|o  .           |

|++ E +          |

|..= = o S       |

| ..* o . .      |

|o =.*.          |

| = oo.          |

|. ..            |

+-----------------+

#把公钥追加到此文件

cat id_rsa.pub > authorized_keys

chmod 600 /home/hadoop/XXX/.ssh/authorized_keys

chmod 700 /home/hadoop/XXX/.ssh     

#修改sshd_config文件

vim /etc/ssh/sshd_config

RSAAuthentication yes

（进去后发现已经是yes，就没有改。）

 

拷贝到其他所有节点：

scp -rp /home/hadoop/XXX/.ssh  hostname:/home/hadoop/XXX/

scp -p /etc/ssh/sshd_config    hostname:/etc/ssh/sshd_config

在其他所有节点上执行，设定XXX的用户名，组：

chown -R XXX.XXX /home/hadoop/XXX/.ssh

 

在其他所有节点上执行：

service sshd restart

5   目录授权

在所有节点上创建子目录/data1/

将/data1目录的owner改为XXX，对其有读写权限

所有节点启动nfs服务，命令为

service nfs start

注意从这里开始，再也不要使用root账户了，下面都使用XXX账户

6   Hadoop部署(XXX用户执行)

1. Hadoopmaster上的部署

将hadoop打包解压到/data1/hadoop-<?xml:namespace prefix = st1 ns = "urn:schemas-microsoft-com:office:smarttags" /><?xml:namespace prefix = st1 />0.21.0上

创建/data1/tmp/local、/data1/tmp/namesecondary目录

修改masters、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、hadoop-env.sh文件

scp mastersXXX@192.168.X.X：/data1/hadoop-0.21.0/conf/

.

.

.

*.修改的时候最好是在linux环境下修改。因为windows和linux下的编码不同。

修改.bashrc文件

HADOOP_HOME=/data1/hadoop-0.21.0

PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_HOME

export PATH

 

然后记得source一下。

格式化命名空间：hadoop  namenode  -format

start-all.sh

查看一下：hadoop fs  -ls

也可以：http://192.168.X.X:50070 

   http://192.168.X.X:50030