• hadoop的环境配置


               写在前面:这一篇文章是应该是科协最后一次上课的备课内容,写完这一篇博客,我想,我已经把我懂得的成熟的技术都毫无保留的尽力教授给我的学生。总结这一学期来的科协上课。虽然自己的技术十分有限,但还是坚持做到了每次上课都备课,确保上课演示的每一个例子都正确无误(然而,毕竟知识水平有限,应该还是会有一些教的不大准确的地方),让学弟能少走一些弯路。我想我已经尽力了,至少我问心无愧············

                一、几个重要的目录

                1、/sbin/service 。在这个目录里可以进行相关的关于网关的操作。

                 2、/etc/sysconfig/network。在这个目录可以进行多hostname的修改

                 3、/etc/hosts 在这里可以配置DNS

                 4、.ssh   在这里可以配置无密钥访问(很重要)

                 5、/etc/profile.d/java.sh    在这里可以配置一下系统的环境变量

                  6、/opt/modules/hadoop/    在这里可以进行hadoop的相关操作

                  7、几个核心的配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml

              二、hadoop配置的基本命令

                  1、 授时服务的设置

                    命令:crontab -e  

                    然后输入0 1 * * *  /usr/sbin/ntpdate cn.pool.ntp.org

                  2、IP配置

                  命令:setup

                  将master的IP配为192.168.1.1001

                  3、本地DNS配置

                   命令   vi    /etc/hosts

                   然后加上以下内容:

                   192.168.1.100 master 

                   192.168.1.101

                 4、SSH无密钥配置

                   ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa

                   cat    id_rsa.pub      >    authorized_keys

                   chmod go-wx  authorized_keys

                  5、java环境的配置(与windows下的类似)

                  ./jdk-6u21-linux-i586-rpm.bin

                   vi /etc/profile.d/java.sh

                   export JAVA_HOME=/usr/java/jdk1.6.0_21/

                   export HADOOP_HOME=/opt/modules/hadoop/hadoop-1.0.3/

                   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

                   6、hadoop环境的配置

                 cp hadoop-1.0.3.tar.gz  /opt/modules/hadoop/

                  cd /opt/modules/hadoop/

                  tar -xzvf hadoop-1.0.3.tar.gz


                  以上便是配置环境时用到的基本命令

                   


               

                       

       


  • 相关阅读:
    关于使用quartz动态增删改定时任务
    关于chrome被篡改主页修复方法
    关于git被误删除的分支还原问题
    mysql数据库备份bat脚本
    同步数据库bat脚本
    读取spring boot项目中resource目录下的文件
    使用Java进行udp-demo编程时碰到的consumer和producter无法连接并报出“java.net.SocketException: Can't assign requested address”问题
    关于在项目中遇到MySQL数据库死锁的问题
    Gitlab仓库搭建及在Linux/windows中的免密使用
    GIT
  • 原文地址:https://www.cnblogs.com/javawebsoa/p/3061684.html
Copyright © 2020-2023  润新知