• hadoop学习笔记(三):hadoop文件结构


    hadoop完整安装目录结构:

    比较重要的包有以下4个:

    src

    hadoop源码包。最核心的代码所在目录为core、hdfs和mapred,他们分别实现了hadoop最重要的3个模块:基础公共库、HDFS实现和MapReduce实现

    conf

    配置文件所在目录。hadoop的配置文件较多,其设计原则可概括为以下两点:

      1 尽可能模块化,即每个重要模块拥有自己的配置文件,这样使得维护及管理变得简单。

      2 动静分离,即将可动态加载的配置选项剥离出来,组成独立配置文件。比如 hadoop1.0.0版本之前,作业队列权限管理相关的配置选项被放在配置文件mapred-site.xml中,而该文件是不可以动态加载的,每次修改后必须重启MapReduce。但从1.0.0版本开始,这些配置选项被剥离放到独立配置文件mapred-queue-acls.xml中,该文件可以通过hadoop命令进行动态加载。

    lib

    hadoop运行时依赖的第三方包,包括编译好的jar以及其他语言生成的动态库。hadoop启动或者用户提交作业时,会自动加载这些库。

    bin

     shell启动脚本文件夹。

  • 相关阅读:
    文件的类型
    读取文件,并按原格式输出文件内容的三种方式
    react hook代码框架
    器具的行为模式
    设计模式
    cpu 内存 机器语言 汇编 高级语言 平台之间的关系
    操作系统之内存
    操作系统之文件
    操作系统之IO
    七层模型之应用层
  • 原文地址:https://www.cnblogs.com/laowangc/p/8942055.html
Copyright © 2020-2023  润新知