• hadoop1.2.1 安装及伪分布式部署


    配置java环境变量

    下载并解压java文件,终端命令: sudo gedit /etc/profile ,使用超级权限在gedit编辑器中打开profile文件(直接打开无法保存改动),在最后加入export JAVA_HOME=*java文件夹的路径*,我的是

    export JAVA_HOME=/home/yu/jdk1.8.0
    export CLASSPATH=/home/yu/jdk1.8.0
    export PATH=$PATH:$JAVA_HOME/bin

    安装 ssh server

    sudo apt-get install openssh-server

    配置ssh无密码登录

    1.生成ssh密钥:ssh-keygen -t rsa,中间会有三次输入——密钥保存路径(直接回车,使用默认路径),密码(直接回车,无密码),确认密码(回车)

    2.配置无密码登录ssh:cp id_rsa.pub authorized_keys,

    3.使用命令 ssh localhost登录,测试是否需要密码

    修改hadoop/conf下的配置文件

    1.hadoop-env.sh:添加

    export JAVA_HOME=/home/yu/jdk1.8.0

    export HADOOP_HOME_WARN_SUPPRESS=1

    2.core-site.xml:

    <configuration>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    </property>
    </configuration>

    3.hdfs-site.xml

    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    </configuration>

    4.mapred-site.xml

    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>

    </property>
    </configuration>

    配置hadoop环境变量

    sudo gedit /etc/profile 在最后加上

    export HADOOP_HOME=/home/yu/Hadoop/hadoop-2.3.0
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

    修改完毕后,执行source /etc/profile 来使其生效

    运行发现hadoop2.3.0版本,无法启动,需要更换版本

    下载hadoop1.2.1,将文件名改为之前2.3.0的文件名即可,无需再次配置各种环境变量

    查看hadoop version,会发现有Warning:$HADOOP_HOME is deprecated 的提示,原因是从1.x版本起,HADOOP_HOME环境变量由HADOOP_PREFIX这个环境变量替代,在conf/hadoop-env.sh中 加入export HADOOP_HOME_WARN_SUPPRESS=1即可

    输入start-all.sh启动所有服务,用jps查看,发现没有任何服务,原因是在/tmp目录下有以前使用版本留下的文件没有删除,或者是因为端口被占用了。

    解决方法:

    删除/temp下所有hadoop文件 类似hadoop-*username*-****以及hadoop-*username*文件夹

    释放端口

    yu@yu:~$ lsof -i:9000
    yu@yu:~$ lsof -i:50070
    yu@yu:~$ lsof -i:50030
    yu@yu:~$ lsof -i:50075
    yu@yu:~$ lsof -i:50060
    yu@yu:~$ lsof -i:50020
    yu@yu:~$ lsof -i:50010

    最后start-all.sh启动所有服务,jps查看,成功

  • 相关阅读:
    可视化数据库管理工具DataGrip使用详解
    MySQL常用函数
    你必须掌握的 21 个 JAVA 核心技术!
    idea中那些好用到飞起的插件
    Object使用
    单页面应用和多页面应用的区别及优缺点
    正则常用匹配
    npm --save-dev 和 --save 的区别
    js常用小技巧
    js复制文字到剪切板
  • 原文地址:https://www.cnblogs.com/evempire/p/3629077.html
Copyright © 2020-2023  润新知