• hadoop的伪分布式在centos下安装


    虽然自己搞hadoop也有一段时间了,但是在和网友交流过程中,发现很有朋友对hadoop安装的还是有很大的问题,网上的博客也是乱的一塌糊涂,对新手造成很大的误解,所以自己写篇博客分享给网友,同时也加强自己记忆吧。。。

    hadoop版本:   http://archive.cloudera.com/cdh5/cdh/5/    

    crtl+F   搜索我们需要的版本

    准备  : hadoop(hadoop-2.6.0-cdh5.7.0.tar.gz)的版本 , xshell(工具任意), 简单的linux命令操作, jdk(1.7以上)  个人使用的是centos系统(新手可以加我qq问我要镜像):干净简洁


    一个简单干净的contos的环境就准备好了

    1 : 新建contos用户 


    (新增了hadoop用户 ;设置hadoop用户的密码)

    2:root用户修改新建用户权限



    i按键是进入编辑状态 ;编辑好按esc  ,wq是保存退出  ,wq!保存并强制退出

    3: 切换到hadoop用户

    新建链接 ,登录刚新建的hadoop用户和密码


    新建一个文件夹 : mkdir app

    上传hadoop版本,打开xshell的窗口 ,传输新建文件


    上传到app下 ,解压 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz


    解压ok ,

    配置hadoop和jdk的环境,

       sudo vim /etc/profile


    验证java环境(jdk我是放在usr/local下的,此处没有演示,不会的可以百度下,很简单)

    java ,java-version  

    此处还需要配置hadoop的java环境,因为hadoop的程序也是跑在jvm之上的:

    进入 hadoop-2.6.0-cdh5.7.0/etc/hadoop 这个文件夹下

    vim hadoop-env.sh 


    就是你jdk的安装环境 ;(ps:   pwd可查看当前路径)

    验证hadoop环境


    环境验证ok,配置下ip

    sudo vim /etc/hosts


    配置好之后: source  /etc/hosts

    然后再修改 :sudo vim /etc/sysconfig/network


    在source  /etc/sysconfig/network 

    这个是contos重启才能生效


    我们开始配置hadoop的配置文件了

    先配置core-site.xml  (hadoop-2.6.0-cdh5.7.0/etc/hadoop)


    这个tmp需要自己创建,如果自己不创建系统启动会给你创建.

    在配置hdfs-site.xml  (一个副本) vim hdfs-site.xml


    hadoop就配置结束了。。。。

    然后安装ssh免密登录


         ssh-keygen -t rsa   密码就按ENTER结束,就是没有密码





     cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  复制秘钥验证

    验证一下


    这就登录上了,下次再登录就不要密码了

    然后就是格式化namenode

    启动命令在 hadoop文件的bin下

    ./hadoop namenode -format


    namenode格式化成功,(ps: 第一次启动需要格式化,下次就不需要呀)

    然后进入 hadoop/sbin目录下

    ./start-dfs.sh 



    启动好用jps验证下就ok了, 三个进程缺一不可 

    如果出现错误可以去hadoop文件下的logs中查看日志

    然后也可以看web界面


    如果查看不到也可以是你本地hosts文件问题(个人qq:664283422 有问题可以咨询我)

  • 相关阅读:
    SpringBoot分布式篇Ⅷ --- 整合SpringCloud
    SpringBoot分布式篇Ⅶ --- 整合Dubbo
    java.lang.IllegalArgumentException: There is no PasswordEncoder mapped for the id "null"
    小学数学题
    GoLang GRPC使用
    GoLang Socket 聊天实例
    golang Redis运用
    go mod 运用
    Golang Socket编程小实例
    GoLang协程和管道
  • 原文地址:https://www.cnblogs.com/axon/p/13707752.html
Copyright © 2020-2023  润新知