• Ubuntu下安装Hadoop


    一、首先安装Java

    1.1下载Java的Linux版本

    1.2解压到一个目录下,创建/soft目录

    1.3配置java的配置文件

    vim /etc/profile

    在打开的文件末尾加入下面

    1 export JAVA_HOME=/soft/你的java版本
    2 
    3 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    4 
    5 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

    编辑完了以后,关闭文件,并且生效

    1 source /etc/profile

    二、下载安装Hadoop

    这里注意一点,不能再windows环境下下载完再拖到虚拟机的ubuntu环境下,而是直接在ubuntu环境下下载hadoop

    解压以后,需要配置一下

    2.1 首先配置一下/etc/profile 文件

    1 export JAVA_HOME=/soft/你的java版本
    2 export HADOOP_HOME=/soft/你的hadoop解压的目录
    3 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    4 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

    2.2 配置core-site.xml文件

    1 <configuration>
    2 <property>
    3 <name>fs.defaultFS</name>
    4 <value>hdfs://localhost:9000</value>
    5 </property>
    6 </configuration>

    2.3 接着配置hdfs-site.xml文件

    1 <configuration>
    2 <property>
    3 <name>dfs.replication</name>
    4 <value>1</value>
    5 </property>

    2.4 最后配置hadoop-env.sh

    配置完了运行,会出现错误权限问题

    1 start-all.sh

    解决方法:

    1 sudo apt-get install openssh-server
    1 设置下ssh免密码登陆,试试
    2 1.ssh-keygen -t rsa
    3 2.cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    View Code

    最后看一下ssh localhost是不是已经免密了

    安装运行后,可以在游览器输入localhost:8088 查看成功运行的效果

  • 相关阅读:
    proxmox新版本使用了lxc容器,导致以前的vzlist命令无法使用,于是自己写了一个脚本来获取所有半虚拟化主机的信息状态
    Linux 系统优化参数总结
    linux shell 远程执行命令
    wios设置证书登陆
    Eclipse安装tomcat插件
    Centos6.5-dnsmasq安装
    SSL工作原理
    ssh免密码登陆及其原理
    Linux查看后台任务,关闭后台任务
    Mybatis 中常用的java类型与jdbc类型
  • 原文地址:https://www.cnblogs.com/wylwyl/p/10240607.html
Copyright © 2020-2023  润新知