• 在虚拟机下安装hadoop集成环境(centos7+hadoop-2.6.4+jdk-7u79)


    【1】64为win7系统,用virtualbox建立linux虚拟机时,为什么没有64位的选项? 百度

    【2】在virtualbox上安装centos7 

    【3】VirtualBox虚拟机网络环境解析和搭建-NAT、桥接、Host-Only、Internal、端口映射  (设置网络连接模式为桥接模式)

    如果出现主机无法ping通虚拟机的情况,请首先确认虚拟机防火墙已关闭。(win7防火墙怎么关防火墙关闭命令执行步骤

    【4】virtualbox以及相应VBoxGuestAdditions下载地址: http://download.virtualbox.org/virtualbox

    【5】vbox虚拟机怎么样克隆多个虚拟机

    【6】hadoop学习之hadoop完全分布式集群安装

    【7】深刻认识linux系统  细说linux挂载——mount,及其他……

    【8】centos命令大全 

    注意:

    主机基本环境搭建

    (1)sudo yum -y install wget 安装wget工具 百科yum 以及RPM Fusion

    (2)下载jdk的包 wget -c -P /root/Downloads --no-check-certificate http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm 参考帖子

    (3)4种安装jdk文件的方法

           jdk1.7官方下载  hadoop下载 下载Hadoop版本:http://mirror.bit.edu.cn/apache/hadoop/common/

      采用其中一种yum安装

       yum search java|grep jdk
       yum install java-1.7.0-openjdk
        vi /etc/profile

    卸载yum安装的openjdk 卸载注意事项1 卸载注意事项2

    (4)http://blog.csdn.net/bruceyang2009lzu/article/details/28595571

    (5)修改主机名:

    hostname XXXX
    这样临时生效
    /etc/hostname 修改这个是永久的,但是要重启生效

    (6)linux命令重启主机后修改名称生效

       shutdown -r now : 表示现在重启计算机!

    (7)配置hosts文件,配置时注意事项

    实践脚本:

    ##最初采用yum安装的jdk,但安装openjdk后,发现安装的目录下缺少dt.jar和tools.jar文件,
    ##于是卸载openjdk,用xftp上传jdk-7u79-linux-x64.rpm至指定的目录
    ##jdk默认安装在了/usr/java目录下
    rpm -qa | grep openjdk
    rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
    rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
    rpm -e jdk-1.7.0_79-fcs
    ##############安装JDK
    rpm -ivh jdk-7u79-linux-x64.rpm

    vi /etc/profile

    export JAVA_HOME=/usr/java/jdk1.7.0_79
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin

    source /etc/profile

    touch HelloWorld.java
    vi HelloWorld.java

    将以下代码复制到 HelloWorld.java 中 :
    public class HelloWorld {
    public static void main(String[] args) {
    System.out.println("Hello, World! This is a test code by nixCraft!");
    }
    }

    复制进去后,保存关闭文件。编译和运行这个小程序,输入以下命令:
    javac HelloWorld.java
    java HelloWorld

    会得到以下显示:
    Hello, World! This is a test code by nixCraft!

    #################安装SSH
    rpm -qa |grep openssh

    rpm -qa |grep rsync

    yum install ssh 安装SSH协议
    yum install rsync (rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)
    service sshd restart 启动服务

    ssh免密码验证配置
    首先在S1PA11机器配置(该机器是master)
    进去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
    生成秘钥 ssh-keygen : ssh-keygen -t rsa ,一路狂按回车键就可以了
    最终生成(id_rsa,id_rsa.pub两个文件)
    生成authorized_keys文件:[spark@S1PA11 .ssh]$ cat id_rsa.pub >> authorized_keys
    在另一台机器S1PA222(slave机器)也生成公钥和秘钥
    步骤跟S1PA11是类似的
    进去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
    生成秘钥 ssh-keygen :ssh-keygen -t rsa ,一路狂按回车键就可以了
    最终生成(id_rsa,id_rsa.pub两个文件)

    将S1PA222机器的id_rsa.pub文件copy到S1PA11机器:[spark@S1PA222 .ssh]$ scp id_rsa.pub spark@10.58.44.47:~/.ssh/id_rsa.pub_sl
    此切换到机器S1PA11 合并authorized_keys; [spark@S1PA11 .ssh]$ cat id_rsa.pub_sl >> authorized_keys


    将authorized_keyscopy到S1PA222机器(/home/spark/.ssh):[spark@S1PA11 .ssh]$ scp authorized_keys spark@10.126.45.56:~/.ssh/
    现在讲两台机器 .ssh/ 文件夹权限改为700,authorized_keys文件权限改为600(or 644)
    chmod 700 ~/.ssh
    chmod 600 ~/.ssh/authorized_keys

    OK 完成以上操作后 可以开始ssh验证了
    S1PA11j机器sshS1PA222
    [spark@S1PA11 .ssh]$ ssh S1PA222
    Last login: Mon Jan 5 15:18:58 2015 from s1pa11
    [spark@S1PA222 ~]$ exit
    logout
    Connection to S1PA222 closed.

    ###############hadoop环境变量安装和卸载
    cp /usr/lusq/hadoop-2.7.3-src.tar.gz /home/hadoop
    tar -zxvf hadoop-2.7.3-src.tar.gz

    vi /etc/profile 编辑环境变量
    # set hadoop path

    export HADOOP_HOME=/usr/lusq/hadoop
    export PATH=$PATH :$HADOOP_HOME/bin

    source /etc/profile 使环境变量生效
    (小插曲:
    在设置环境变量时,编辑profile文件没有写正确,导致在命令行下 ls等命令不能够识别。
    export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin
    这样可以保证命令行命令暂时可以使用。命令执行完之后先不要关闭终端
    )
    用vi命令对hadoop的配置文件进行编辑。
    ~/hadoop/etc/hadoop/hadoop-env.sh
    ~/hadoop/etc/hadoop/yarn-env.sh
    ~/hadoop/etc/hadoop/slaves
    ~/hadoop/etc/hadoop/core-site.xml
    ~/hadoop/etc/hadoop/hdfs-site.xml
    ~/hadoop/etc/hadoop/mapred-site.xml
    ~/hadoop/etc/hadoop/yarn-site.xml

    ###############给剩余的机器安装
    scp -r /usr/lusq/hadoop root@10.10.100.115:/usr/lusq/

    ###########启动和验证
    1、格式化namenode: [spark@S1PA11 hadoop-2.6.0]./bin/hdfs namenode -format
    2、启动hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/start-dfs.sh
    3、停止hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/stop-dfs.sh
    [spark@S1PA11 hadoop-2.6.0]jps

    ###########网页查看集群
    http://10.10.100.105:50070/dfshealth.html#tab-overview

    参考 hadoop2.6.0版本集群环境搭建

           虾皮网

           一步步教你Hadoop多节点集群安装配置

  • 相关阅读:
    【六校联合训练 省选 #20】快递
    IOError: cannot open resource
    [已解决]运行gunicorn失败:[ERROR] Connection in use 127.0.0.1 8080
    windows下通过navicat for mysql连接centos6.3-64bit下的MySQL数据库
    在centos7中使用yum安装mysql数据库并使用navicat连接
    centos出现“FirewallD is not running”怎么办
    [linux]centos7下解决yum install mysql-server没有可用包
    CentOS 7安装Python3
    flask——CSRFToken保护
    python 获取当前文件夹下所有文件名
  • 原文地址:https://www.cnblogs.com/abc8023/p/5850732.html
Copyright © 2020-2023  润新知