• Ubuntu 安装hadoop 伪分布式


    一、安装JDK  : http://www.cnblogs.com/E-star/p/4437788.html

    二、配置SSH免密码登录
    1、安装所需软件
            sudo apt-get install install ssh
    2、配置ssh免密码登录
            ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
            cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
    3、验证是否成功
            ssh localhost
    三、安装Hadoop
    1、下载Hadoop至服务器
    2、解压
            tar -xvf hadoop-1.0.4.tar
    3、配置Hadoop
            以下四个配置文件均在Hadoop解压文件夹的conf/目录下
            (1)、配置hadoop-env.sh
            修改JAVA_HOME:
            export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_35
            (2)、配置core-site.xml
            修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
            <configuration>
                <property>
                    <name>fs.default.name</name>
                    <value>hdfs://localhost:9000</value>
                </property>
            </configuration>
            (3)、配置hdfs-site.xml
            修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>
            (4)、配置mapred-site.xml
            修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
            <configuration>
                <property>
                    <name>mapred.job.tracker</name>
                    <value>localhost:9001</value>
                </property>
              </configuration>
    4、初始化HDFS
            bin/hadoop namenode -format
    5、启动所有Hadoop服务
            bin/start-all.sh
    6、验证是否安装成功
            打开浏览器,分别输入以下网址:
            http://localhost:50030 (MapReduce的Web页面)
            http://localhost:50070 (HDfS的web页面)
            如果能成功访问,则说明Hadoop安装成功

  • 相关阅读:
    [原创]浅谈测试团队转型,思维模式的转变是关键
    [原创]浅谈IT人如何做理财规划
    [原创]浅谈对华为34岁以上员工“退休”
    [原创]2017年1月读书推荐
    [原创] 上海利得基金招聘测试经理/测试工程师/测试开发工程师(长期有效)
    [原创]浅谈从“述职”向“述能”转变
    IBM的IT战略规划方法论
    腾讯企业大学培训经验
    [原创]Android App上线检查checklist
    移动开发规范
  • 原文地址:https://www.cnblogs.com/E-star/p/4437793.html
Copyright © 2020-2023  润新知