• Ubuntu 安装hadoop 伪分布式


    一、安装JDK  : http://www.cnblogs.com/E-star/p/4437788.html

    二、配置SSH免密码登录
    1、安装所需软件
            sudo apt-get install install ssh
    2、配置ssh免密码登录
            ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
            cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
    3、验证是否成功
            ssh localhost
    三、安装Hadoop
    1、下载Hadoop至服务器
    2、解压
            tar -xvf hadoop-1.0.4.tar
    3、配置Hadoop
            以下四个配置文件均在Hadoop解压文件夹的conf/目录下
            (1)、配置hadoop-env.sh
            修改JAVA_HOME:
            export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_35
            (2)、配置core-site.xml
            修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
            <configuration>
                <property>
                    <name>fs.default.name</name>
                    <value>hdfs://localhost:9000</value>
                </property>
            </configuration>
            (3)、配置hdfs-site.xml
            修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>
            (4)、配置mapred-site.xml
            修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
            <configuration>
                <property>
                    <name>mapred.job.tracker</name>
                    <value>localhost:9001</value>
                </property>
              </configuration>
    4、初始化HDFS
            bin/hadoop namenode -format
    5、启动所有Hadoop服务
            bin/start-all.sh
    6、验证是否安装成功
            打开浏览器,分别输入以下网址:
            http://localhost:50030 (MapReduce的Web页面)
            http://localhost:50070 (HDfS的web页面)
            如果能成功访问,则说明Hadoop安装成功

  • 相关阅读:
    SpatiePermissionPermissionServiceProvider' not found
    ThinkPad L14G 连接外接显示屏无响应问题解决
    HBase 初学习之数据模型
    python 实现 kakfa 的 生产消费模式 和 发布订阅模式
    数据结构中树的基本概念
    MySQL行级锁、表级锁、页级锁详细介绍
    设置div只显示2行
    linux 关闭防护墙,永久关闭
    yum install nginx 时报错:No package nginx available.
    win10 查询端口,杀掉端口进程
  • 原文地址:https://www.cnblogs.com/E-star/p/4437793.html
Copyright © 2020-2023  润新知