• 安装Hadoop


    本次作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223

    1.安装Linux

    (1)新建虚拟电脑

    (2)配置虚拟电脑

    (3)完成虚拟电脑的配置

    (4)添加ubuntu ISO镜像文件进行ubuntu操作系统安装

    (5)对ubuntu进行分区

     

    (5)添加用户,至此完成安装,重启登录

    2.安装MySql

    (1)保证在联网状态下安装

    (2)启动与关闭mysql数据库

    (3)查看是否启动成功

    (4)进入mysql

    (5)显示数据库

    (6)查看数据库中的表

    (7)修改并查看数据库的编码

    3.windows 与 虚拟机互传文件

    详细教程请查看:https://www.cnblogs.com/dong-blog/p/7207831.html

    (1)安装VirtualBox增强功能包

    (2)在本机系统设置一个共享文件夹,用于与Ubuntu交互的区域空间。

    (3)设置共享配置

    (4)共享成功

    4.安装Hadoop

    还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件:

    提取文件:hadoop-2.7.1.tar.gz

    链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg

    提取码: 2thj

    (1)创建hadoop用户,设置用户名和密码,最后添加管理员权限

    (2)安装ssh,ssh无密码登录

    (3)复制hadoop-2.7.1.tar.gz到/usr/local中,我的hadoop-2.7.1.tar.gz文件源在/mnt/share/hadoop-2.7.1.tar.gz,解压后把名字改成hadoop,并修改文件权限为hadoop

    (4)查看hadoop是否可用

     (5)安装OpenJDK的java环境,修改~/.bashrc文件:在文件最前面或最后添加如下单独一行(注意,等号“=”前后不能有空格)

    (6)使环境变量生效,并查看设置是否正确

     

    (7)运行单机版实例,出现一个dfsadmin信息即单机版成功安装

    (8)伪分布式配置:修改配置文件 core-site.xml 和 hdfs-site.xml,并执行 NameNode 的格式化

    <configuration>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
            </property>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
            </property>
        </configuration>
    core-site.xml
    <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
            </property>
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
            </property>
        </configuration>
    hdfs-site.xml

    (9)启动NameNode”、”DataNode” 和 “SecondaryNameNode”进程,并查看是否成功启动

    (10)伪分布式读取的是 HDFS 上的数据,要使用 HDFS。

    首先需要在 HDFS 中创建用户目录;创建目录 input,其对应的绝对路径就是 /user/hadoop/input:;将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。

    查看文件列表:

    (11)运行伪分布式实例,并将结果复制到本地

    附:问题解决

    问题:运行实例时,出现虚拟机内存不够分配的情况

    解决方法一:在root用户下用echo 65530  /proc/sys/vm/max_map_count分配足够大的内存

    解决方法去二:创建swapfile,将swapfile设置为swap空间,启用交换空间

  • 相关阅读:
    【leetcode】1215.Stepping Numbers
    【leetcode】1214.Two Sum BSTs
    【leetcode】1213.Intersection of Three Sorted Arrays
    【leetcode】1210. Minimum Moves to Reach Target with Rotations
    【leetcode】1209. Remove All Adjacent Duplicates in String II
    【leetcode】1208. Get Equal Substrings Within Budget
    【leetcode】1207. Unique Number of Occurrences
    【leetcode】689. Maximum Sum of 3 Non-Overlapping Subarrays
    【leetcode】LCP 3. Programmable Robot
    【leetcode】LCP 1. Guess Numbers
  • 原文地址:https://www.cnblogs.com/zyx1998/p/10852050.html
Copyright © 2020-2023  润新知