• Hadoop-1.2.1 安装步骤小结(ubuntu)


    1、安装ubuntu系统

      如果不使用云服务器,可以使用虚拟机WmWare安装,具体安装步骤这里就不讲了,ubuntu系统下载地址:http://www.ubuntu.com/download/desktop

    2、修改源列表(非必要步骤)

      ubuntu的源列表默认是欧洲服务器,下载JDK之类的开源工具比较慢,建议大家修改下:

      备份源列表,并修改文件:

    sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup
    gedit /etc/apt/sources.list

      在打开的图形界面中,删除原来的所有内容,粘贴以下内容:

    deb http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
    deb http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
    deb http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
    deb http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
    deb http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse

      最后update以下生效:

    apt-get update

      这里主要使用阿里云的源,其他源可以参考:http://wiki.ubuntu.org.cn/%E6%BA%90%E5%88%97%E8%A1%A8

    3、安装JDK

      建议在安装前使用root用户权限,切换root权限使用命令:sudo -i

      安装JDK通过以下命令:

    apt-get install openjdk-7-jdk

      安装完成后还需要修改环境变量,编辑/etc/profile文件,使用gedit /etc/profile,在文件中新增如下环境变量(JAVA_HOME需自己根据实际情况修改):

    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
    export JRE_HOME=$JAVA_HOME/jre
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
    export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

      改完别忘了使用source命令使修改生效:

    source /etc/profile

    4、安装Hadoop-1.2.1

      进入到opt目录下,下载hadoop使用wget命令:

    wget http://mirrors.aliyun.com/apache/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz

      下载完成以后,解压:

    tar zxvf hadoop-1.2.1.tar.gz

    5、修改Hadoop配置

      进入到opt/hadoop/conf目录下,修改四个配置文件:

      hadoop-env.sh(修改JAVA_HOME为实际安装目录):

    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386

      core-site.xml(ubantu为本机主机名,可以使用hostname命令获知):

    <configuration>
         <property>
             <name>fs.default.name</name>
             <value>hdfs://ubuntu:9000</value>
         </property>
         <property>  
             <name>hadoop.tmp.dir</name>  
             <value>/hadoop</value>  
         </property>  
         <property>  
             <name>dfs.name.dir</name>  
             <value>/hadoop/name</value>  
         </property> 
    </configuration>

      hdfs-site.xml:

    <configuration>
         <property>  
             <name>dfs.data.dir</name>  
             <value>/hadoop/data</value>  
         </property> 
    </configuration>

      mapred-site.xml(ubantu为本机主机名,可以使用hostname命令获知):

    <configuration>
         <property>  
             <name>mapred.job.tracker</name>  
             <value>ubuntu:9001</value>  
         </property> 
    </configuration>

    6、安装SSH服务(非必要步骤)

      只针对没有安装ssh服务的情况,可以使用ps -e|grep ssh查看是否已经安装ssh服务:

      安装ssh-server使用如下命令:

    apt-get install openssh-server

      启动SSH服务:

    service ssh start

      修改ssh为密码登陆:

      输入"sudo gedit /etc/ssh/sshd_config"-->回车-->把配置文件中的"PermitRootLogin without-password"加一个"#"号,把它注释掉-->再增加一句"PermitRootLogin yes"-->保存,修改成功。

    7、启动并验证

      格式化namenode,进入hadoop-1.2.1/bin目录下,键入以下命令:

    hadoop namenode -format

      启动hadoop:

    start-all.sh

      可能要求输入root密码,如果提示验证失败,请使用passwd命令重置root密码

      最后通过JPS命令查看java进程,出现以下进程则表示成功:

    3869 DataNode
    4302 TaskTracker
    4048 SecondaryNameNode
    4132 JobTracker
    5075 Jps
    3601 NameNode
  • 相关阅读:
    ASP.NET MVC下的四种验证编程方式
    tp框架下,数据库和编辑器都是utf-8, 输出中文却还是乱码
    按拼音首字母排序
    PHP 文件导出(Excel, CSV,txt)
    RedisDesktopManager 可视化工具提示:无法加载键:Scan..
    window下redis如何查看版本号
    jQuery 防止相同的事件快速重复触发
    input中加入搜索图标
    JS搜索商品(跟外卖app店内搜索商品一样) ,keyup函数和click函数调用
    JS正则对象 RegExp(有变量的时候使用),用来匹配搜索关键字(标红)
  • 原文地址:https://www.cnblogs.com/kevin19900306/p/5368731.html
Copyright © 2020-2023  润新知