写在前面:这一篇文章是应该是科协最后一次上课的备课内容,写完这一篇博客,我想,我已经把我懂得的成熟的技术都毫无保留的尽力教授给我的学生。总结这一学期来的科协上课。虽然自己的技术十分有限,但还是坚持做到了每次上课都备课,确保上课演示的每一个例子都正确无误(然而,毕竟知识水平有限,应该还是会有一些教的不大准确的地方),让学弟能少走一些弯路。我想我已经尽力了,至少我问心无愧············
一、几个重要的目录
1、/sbin/service 。在这个目录里可以进行相关的关于网关的操作。
2、/etc/sysconfig/network。在这个目录可以进行多hostname的修改
3、/etc/hosts 在这里可以配置DNS
4、.ssh 在这里可以配置无密钥访问(很重要)
5、/etc/profile.d/java.sh 在这里可以配置一下系统的环境变量
6、/opt/modules/hadoop/ 在这里可以进行hadoop的相关操作
7、几个核心的配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml
二、hadoop配置的基本命令
1、 授时服务的设置
命令:crontab -e
然后输入0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org
2、IP配置
命令:setup
将master的IP配为192.168.1.1001
3、本地DNS配置
命令 vi /etc/hosts
然后加上以下内容:
192.168.1.100 master
192.168.1.101
4、SSH无密钥配置
ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa
cat id_rsa.pub > authorized_keys
chmod go-wx authorized_keys
5、java环境的配置(与windows下的类似)
./jdk-6u21-linux-i586-rpm.bin
vi /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.6.0_21/
export HADOOP_HOME=/opt/modules/hadoop/hadoop-1.0.3/
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
6、hadoop环境的配置
cp hadoop-1.0.3.tar.gz /opt/modules/hadoop/
cd /opt/modules/hadoop/
tar -xzvf hadoop-1.0.3.tar.gz
以上便是配置环境时用到的基本命令