• 大数据学习——CentOS6.5在虚拟机下搭建HDFS


    接下来就是最关键的步骤,安装hadoop搭建HDFS分布式文件系统,主要是配置伪分布式的操作

    下边是我操作过程

    Hadoop安装及HDFS伪分布式配置

    1、解压hadoop(此处省略了上传hadoop jar包的过程,其操作在jdk配置上传jdk jar包方法相同)此处是

    2、配置hadoop.sh文件

    此处配置的目录仍为 hadoop/profile.d,与jdk,目录一致,如果目录不一致当配置完成后开启服务时会报错提示JAVA_HOME CON'T FOUND

     3、验证配置

     

    至此,hadoop安装配置完成,接下来搭建HDFS

    4、接下来在etc/hadoopcore-site.xml文件及hdfs-site.xml文件,这里我们打开npp进行配置

    配置Core-site.xml

    1)从core-default.xml中找到以下内容配置到core-site.xml

    2Fs.defaultFS value值为hdfs:+对应主机ip

    注:Hadoop.tmp.dir代表临时文件 在配置时需要注意,hadoop先自带的tmp临时文件会定期清理所以需要自己建立一个tmp文件,value值即对应的tmp文件所在目录

    3)自己建立目录

    core-site.xml配置完成,接下来配置Hdfs-site.xml

    配置hdfs-site.xml

    (1)对于HDFS来说最主要就是两部分namenode和datanode接下来配置这两部分

     

    这里的value值均是刚刚我们建立的文件路径

    (2)hdfs-site.xml中配置副本数,value 代表副本数 伪分布式下一般为1

    2)权限配置

    权限检查,将里边的部分改成false

     

    最终配置内容如下

    5、检查虚拟机主机名是否更改(这里需要注意这一步是必须的,如果更改一定要配置映射)下边是我的主机名,这里代表着没有更改

    6、格式化hadoop

    7、格式化完成后进入hadoop目录下sbin 运行start-dfs.sh,成功运行及完成配置

     

    尝试在Hdfs下存文件

     

     

  • 相关阅读:
    hadoop-处理小文件
    hadoop 文件合并
    hadoop multipleoutputs
    超酷的 Vim 搜索技巧
    linux中DHCP服务配置文件/etc/dhcpd.conf详细说明
    cobbler启动问题
    MYSQL 5.5.32的单机多实例部署
    自动化运维之Cobbler自动化部署安装操作系统
    运维自动化之Cobbler系统安装使用详解[good]
    Cobbler自动部署主机系统
  • 原文地址:https://www.cnblogs.com/yuezhihao/p/9305553.html
Copyright © 2020-2023  润新知