• 搭建hadpoot平台(集群式分布)


    1.先下载VMware1.2,然后安装。

    2.下载ubuntu-1.4.05-desktop-amd64.iso。下载地址:http://mirrors.aliyun.com/ubuntu-releases/14.04.5/

    3.下载hadoop2.7。下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/

    4.下载jdk-8u171-linux-x64.tar.gz。到官网下载。参考教程:https://blog.csdn.net/zl007700/article/details/50533675

    5.在VMware上安装ubuntu系统。

         我安装了好几次。第一次是因为到开机时运行到某个命令行停止运行了,我百度了许多,但是都不管用。然后进行了第二次重装ubuntu系统。安装好之后,登陆密码却忘记了。最后只能再安装一遍,终于成功。

    6.新建文件夹software,将hadoop2.7和jdk-8u171-linux-x64.tar.gz拷贝到ubuntu系统的文件夹内,并解压。

    7.安装jdk

    (1)按“ctrl"+"Alt"+"F6"从图形化界面切换到命令行。

        因为“ctrl"+"Alt"和我虚拟机上鼠标移入/移除命令相同。然后选择虚拟机上”编辑“->“首选项”->”热键“修改鼠标移入、移出命令得快捷键。

    但是修改之后进入命令行依然有时不灵。

    (2)输入命令:sudo mkdir  /usr/lib.jvm  

      (3)输入命令:sudo cp -r software/jdk1.8.0_171  /usr/lib/jvm/

      我输入命令后提示权限不够。然后我想进入root用户,但是密码没有设置,于是先设置root密码,然后进入root用户,

    输入命令“cp -r software/jdk1.8.0_171 /usr/lib/jvm/"。

    (4)输入“sudo vi /etc/profile"命令打开/etc/profile"文件

           我刚开始按照教程上输入的命令时“sudo gredit /etc/profile",但是报错。后来又用上面的命令打开文件。

    (5)在末尾加上四行:

    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171

    export JAVA_HOME=${JAVA_HOME}/jre

    export  CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

    export PATH=${JAVA_HOME}/bin:$PATH

      在编辑文件前先输入“i",编辑文件完成后按”esc",输入“:wq"保存文件并退出。

    (6)输入“source /etc/profile”执行文件

             输入“java –version”查看环境是否配置成功

     8.安装配置SSH

    (1)输入“sudo apt-get update”,更新apt

          但是发现提示“连接失败”,于是到百度找到阿里云的sources.list文件更换。在sources.list更换成功后,发现还是报“404”错。发现虚拟机上不能连接网络。

         然后在VMware上设置虚拟机联网为桥接网络。

    重启虚拟机,发现虚拟机已联网。

    然后重新输入“sudo apt-get update“执行

    (2)输入“sudo apt-get install openssh-server

     输入“ssh localhost”查看SSH是否安装成功

    (安装成功)

    (3)生成密匙

    输入“ssh-keygen –t rsa”然后一直按回车选择默认。

    (4)实现了mater对slave1, slave2的无密码登陆。但是这一步有点错。正确操作参考:https://blog.csdn.net/zl007700/article/details/50533675

     9.选择克隆出另外一台虚拟机Slave1 Ubuntu 14.10 64bit 。

    虚拟机右键-》管理-》克隆。选择完整克隆。

    9.配置hadoop

    (1)在software/hadoop-2.7.6文件夹下新建文件new.txt。输入:

    mkdir  software/hadoop-2.7.6/tmp
    mkdir software/hadoop-2.7.6/hdfs

    mkdir software/hadoop-2.7.6/hdfs/nam

    mkdir software/hadoop-2.7.6/hdfs/data

    保存。

    (2)到命令行查看ip。

    输入“ifconfig -a

    虚拟机1:192.168.43.96

    虚拟机2:192.168.43.229

    (2)修改hosts。输入“sudo gedit /etc/hosts

    修改成:

    但是因为图形界面没有管理员权限。所以只能在命令行的模式下进行修改

    (3)修改环境变量

           先切换当前目录到hadoop-2.7.6。输入“cd ~/software/hadoop-2.7.6/"

           再在“hadoop-env.sh”文件中修改路径。输入“vi etc/hadoop/hadoop-env.sh”,然后修改JAVA_HOME的路径。

           ☆因为在命令行修改文件内容实在太困难了,所以我想在图形化界面登录root用户来修改文件。

          设置图形化界面登录root:输入“vi /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf“

     

    但是最后不知道为什么登陆界面还是没出现root登陆。

    但是发现在图形化界面可以修改“etc/hadoop/hadoop-env.sh”内容。

    (4)在相同文件夹下的core-site.xml进行修改

     (5)

    (5)

     (6)

    (7)分发配置好的hadoop文件夹到slave1, slave2

    (8)格式化hdfs 

    (9)启动集群

    启动后分别在两台虚拟机上查看jps

     



    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.
  • 相关阅读:
    每天一个Linux命令(3): cd
    每天一个Linux命令(2): ls
    scala学习笔记(2)
    jmeter性能测试 套路二
    selenium实战2 登陆博客园
    jmeter响应断言
    Python验证码通过pytesser识别
    selenium实战学习第一课
    appium的webdriver执行swipe
    APPIUM 输入中文 之套路
  • 原文地址:https://www.cnblogs.com/wl2017/p/9313270.html
Copyright © 2020-2023  润新知