• 安装Hadoop


    本次作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223

    1.安装Linux

    (1)新建虚拟电脑

    (2)配置虚拟电脑

    (3)完成虚拟电脑的配置

    (4)添加ubuntu ISO镜像文件进行ubuntu操作系统安装

    (5)对ubuntu进行分区

     

    (5)添加用户,至此完成安装,重启登录

    2.安装MySql

    (1)保证在联网状态下安装

    (2)启动与关闭mysql数据库

    (3)查看是否启动成功

    (4)进入mysql

    (5)显示数据库

    (6)查看数据库中的表

    (7)修改并查看数据库的编码

    3.windows 与 虚拟机互传文件

    详细教程请查看:https://www.cnblogs.com/dong-blog/p/7207831.html

    (1)安装VirtualBox增强功能包

    (2)在本机系统设置一个共享文件夹,用于与Ubuntu交互的区域空间。

    (3)设置共享配置

    (4)共享成功

    4.安装Hadoop

    还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件:

    提取文件:hadoop-2.7.1.tar.gz

    链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg

    提取码: 2thj

    (1)创建hadoop用户,设置用户名和密码,最后添加管理员权限

    (2)安装ssh,ssh无密码登录

    (3)复制hadoop-2.7.1.tar.gz到/usr/local中,我的hadoop-2.7.1.tar.gz文件源在/mnt/share/hadoop-2.7.1.tar.gz,解压后把名字改成hadoop,并修改文件权限为hadoop

    (4)查看hadoop是否可用

     (5)安装OpenJDK的java环境,修改~/.bashrc文件:在文件最前面或最后添加如下单独一行(注意,等号“=”前后不能有空格)

    (6)使环境变量生效,并查看设置是否正确

     

    (7)运行单机版实例,出现一个dfsadmin信息即单机版成功安装

    (8)伪分布式配置:修改配置文件 core-site.xml 和 hdfs-site.xml,并执行 NameNode 的格式化

    <configuration>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
            </property>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
            </property>
        </configuration>
    core-site.xml
    <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
            </property>
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
            </property>
        </configuration>
    hdfs-site.xml

    (9)启动NameNode”、”DataNode” 和 “SecondaryNameNode”进程,并查看是否成功启动

    (10)伪分布式读取的是 HDFS 上的数据,要使用 HDFS。

    首先需要在 HDFS 中创建用户目录;创建目录 input,其对应的绝对路径就是 /user/hadoop/input:;将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。

    查看文件列表:

    (11)运行伪分布式实例,并将结果复制到本地

    附:问题解决

    问题:运行实例时,出现虚拟机内存不够分配的情况

    解决方法一:在root用户下用echo 65530  /proc/sys/vm/max_map_count分配足够大的内存

    解决方法去二:创建swapfile,将swapfile设置为swap空间,启用交换空间

  • 相关阅读:
    cs ip 通过jmp转移命令间接赋值。无法直接对其赋值。
    8086 cpu为什么要把段地址*16+偏移量形成物理地址呢?
    保护模式和实模式的区别
    计算机的内存是以字节为单位的, 这个认知很重要。
    计算机的内存是以字节为单位的。
    一个字 word 是16位, 一个字由两个字节组成 , 字节=byte ,一个字节8位, 位=bit 如果没有特殊说明kb 就是指 k*bit
    物理地址为20位 如10000H 用段地址*16+偏移地址表示
    深入学习Java线程池
    在线考试系统镜像构建、推送、部署
    容器 变成镜像提交到阿里云镜像仓库
  • 原文地址:https://www.cnblogs.com/zyx1998/p/10852050.html
Copyright © 2020-2023  润新知