• Hadoop环境搭建1_JDK+SSH


    1 前言:

    Hadoop 最早是为了在Linux 平台上使用而开发的,但是Hadoop 在UNIX、Windows 和
    Mac OS X 系统上也运行良好。不过,在Windows 上运行Hadoop 稍显复杂,首先必须安装
    Cygwin 以模拟Linux 环境,然后才能安装Hadoop。

    windows下:可以有1:虚拟机Vmware+linux系统,或者另外:hadoop4win的一个集成化的自动安装程序(貌似我还是没有安装成功)

    由于我用的是环境是:Ubuntu。

    2 jdk安装:

      当然,在linux下程序的安装貌似很简单,把下载好的对应程序解压的自己想要的目录中即可:

      1 ubuntu由于有个软件中心,可以在终端自动帮你下载:sudo apt-get install openjdk-6-jdk

         如果你不知道怎么版本,你可以在终端命令下输入:java,或javac,一般提示会有提示,按照提示自动安装即可

       这样安装的目录一般是自动指定的,如:/usr/lib/jvm/、、、、java-6-openjdk-amd64

        找到自己的安装目录: dpkg -l openjdk-6-jdk

         2  自己先下载:

        链接:下载传送---------------------。然后自己解压到自己的目录。

        3 跟我们在windows下安装一样,也需要配置环境变量: 

        我的java目录:/usr/lib/jvm/java-6-openjdk-amd64

        在终端:
          sudo gedit /etc/profile    (这个为用户环境变量配置文件)
          export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
          export PATH=$JAVA_HOME/bin:$PATH
          export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      (3)验证Java是否安装成功
          输入 java -version ,javac,java 有相关信息输出即可表示成功

          如果对环境变量,linux下的简单操作不熟悉,请先吃个饭,环境变量   ,文件操作  。

    1 这里先解释一下sudo 与apt 这两个命令,sudo 这个命令允许普通用户执行某些或全部需要root 权限命令,它提供了详尽的日志,可以记录下每个用户使用这个命令做了些什么操作;同时sudo 也提供了灵活的管理方式,可以限制用户使用命令。sudo 的配置文件为/etc/
    sudoers。
    
    2 apt 的全称为the Advanced Packaging Tool,是Debian 计划的一部分,是Ubuntu 的软件包管理软件,通过apt 安装软件无须考虑软件的依赖关系,可以直接安装所需要的软件,apt会自动下载有依赖关系的包,并按顺序安装,在Ubuntu 中安装有apt 的一个图形化界面程序
    synaptic(中文译名为“新立得”),大家如果有兴趣也可以使用这个程序来安装所需要的软件。

    3 安装配置SSH

      (1)下载安装SSH:同样在命令行输入下面命令安装SSH
       sudo apt-get install ssh
      (2)配置无密码登录本机:在命令行输入下面两条命令
       $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
      直接回车,完成后会在~/.ssh/生成两个文件:id_rsa和id_rsa.pub;这两个成对出现,类似钥匙和锁。

      再把id_rsa.pub追加到授权key里面(当前并没有authorized_keys文件)
      $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

      启动后,可以通过如下命令查看服务是否正确启动:

      ps -e | grep ssh

      (3)验证SSH是否安装成功
       输入 ssh localhost 。如果显示本机登录成功就表明安装成功。

    ssh localhost
    会有如下显示:
    The authenticity of host 'localhost (::1)' can't be established.
    RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77.
    Are you sure you want to continue connecting (yes/no)? yes
    Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
    Linux master 2.6.31-14-generic #48-Ubuntu SMP Fri Oct 16 14:04:26 UTC 2009 i686
    To access official Ubuntu documentation, please visit:
    http://help.ubuntu.com/
    Last login: Mon Oct 18 17:12:40 2010 from master
    admin@Hadoop:~$
    这说明已经安装成功,第一次登录时会询问你是否继续链接,输入yes 即可进入。
    实际上,在Hadoop 的安装过程中,是否无密码登录是无关紧要的,但是如果不配置无
    密码登录,每次启动Hadoop,都需要输入密码以登录到每台机器的DataNode 上,考虑到一
    般的Hadoop 集群动辄数百台或上千台机器,因此一般来说都会配置SSH 的无密码登录。

    4、关闭防火墙
    $sudo ufw disable
    注意:这步非常重要,如果不关闭,会出现找不到datanode的问题

  • 相关阅读:
    Importing csv data file in SQLite3
    【北京】【高级爬虫开发工程师、高级网页分析工程师】知名上市互联网公司招聘【猎头】
    介绍一个C++的ORM工具ODB(一)
    基础c练习
    virtualenv中文文档放出,请雅正
    navicat sqlite使用了一种wine的方式来支持linux平台,
    之前 传闻已经的djblets竟是reviewboard团队整的
    在HTML5 Web SQL中使用ORM工具 前端开发 e800
    本来想注册个51cto的blog
    Portable way to get file size (in bytes) in shell?
  • 原文地址:https://www.cnblogs.com/foreverzd/p/4347582.html
Copyright © 2020-2023  润新知