• 【大数据系列】HDFS文件权限和安全模式、安装


    HDFS文件权限

    1、与linux文件权限类型

    r:read w:write x:execute权限x对于文件忽略,对于文件夹表示是否允许访问其内容

    2、如果linux系统用户sanglp使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是sanglp

    3、HDFS的权限目的:阻止好人做错事,而不是阻止坏人做坏事。

    安全模式

    1、 namenode启动的时候,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。

    2、 一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。

    3、 此刻namenode运行在安全模式。即namenode的文件系统对于客户端来说是只读的(显示目录、显示文件内容等。写、删除、重命名都会失败)

    4、 在此阶段Namenode手机各个datanode的报告,当数据块达到最小副本数以上时,会被认为是“安全”的,在一定比例(可设置)的数据块被确定为“安全”后,再过若干时间,安全模式结束

    5、 当检测到副本数不足的数据块时,该块会被复制直到最小副本数,系统中数据块的位置并不是由namenode维护的,而是以块列表示形式存储在datanode中。

    HDFS安装

    1、 伪分布式安装

    2、 完全分布式安装

    • 下载
    • 解压
    • 检查java和ssh的免密码登陆
    • 修改core-site.xml
    • 修改hdfs-site.xml
    • 修改master文件和slaves文件
    • 格式化namenode
    • start-hdfs.sh启动

    3、 按照文档安装

           编辑core-site.xml  (默认core-default.xml里有使用到的变量 fs.default.name配置的是NameNode的主机和入口)

    编辑hdfs-site.xml(副本数是小于或等于DataNode的节点数的 hdfs-default.xml)

    编辑slaves(配置datanode的ip信息)

    修改masters(配置secondary NameNode 配置主机名或ip )

    配置免密登陆是为了在任何一台机器上可以操作所有的节点

    只启动hdfs的时候使用start-dfs.sh

    需要在hadoop/conf/Hadoop-env.sh中配置JAVA_HOME

    如果namenode启动的时候显示别的dataNode已经启动,但是别的主机上jps没有启动则关闭防火墙重新启动。

    之后访问http://node1:50070查看详情NameNode DataNode等信息

  • 相关阅读:
    pydev 下Django 1.7 undefined variables from import问题的解决
    前端CDN公共库整理
    BugFix:URL or HTTP headers are too long (IP=127.0.0.1)
    目前最好用的软件下载网站
    mysql数据库优化之表的设计和慢查询定位
    Hadoop-08-Hive本地独立式安装
    AspNetPager真假分页对照实例
    Android从无知到有知——NO.6
    Xpath—解决这个问题的良药
    C# Json反序列化 数据协定类型 无法反序列化 由于未找到必需的数据成员
  • 原文地址:https://www.cnblogs.com/dream-to-pku/p/7183799.html
Copyright © 2020-2023  润新知