一、简要描述如何安装配置一个开源hadoop,只描述即可,列出完整步骤。
答:①创建一个用户和用户组,用来管理hadoop项目;
②修改确定IP地址:vim /etc/sysconfig/network-scripts/ifcfg-eth0;
③修改主机名:vim /etc/sysconfig/network
④修改host主机名和IP地址映射:vim /etc/hosts
⑤查看和关闭防火墙:service iptables status 关闭防火墙: service iptables stop
⑥安装ssh并配置免密码登录:ssh-keygen -t rsa 执行完这个命令后,会自动生成两个文件id_rsa(私钥)、id_rsa.pub(公钥),将公钥拷贝到要免登陆的机器上:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
⑦上传并安装jdk,修改~/.bashrc文件,配置Java环境变量
⑧安装hadoop:tar -zxvf hadoop....tar.gz
⑨配置conf文件:
对于hadoop1.* 版本(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml)
对于hadoop2.* 版本(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,salves文件)
⑩安装配置zookeeper集群
⑪格式namenode,对于hadoop1.*版本:hadoop namenode -format;对于hadoop2.* 版本:hdfs namenode -format
二、正常工作的hadoop集群中hadoop都分别需要启动哪些进程,它们的作用分别是什么?
hadoop2.*版本:会启动NameNode、DFSZKFailoverController,ResourceManager,DataNode、NodeManager、JournalNode