• Hadoop学习笔记三


    一、设置HDFS不进行权限检查

         默认的HDFS上的文件类似于Linux中的文件,是有权限的。例如test用户创建的文件,root用户如果没有写权限,则不能进行删除。

         有2种办法进行修改,修改文件的权限。或者设置不进行HDFS的权限检查,在hdfs-site.xml中添加:

         <property>

             <name>dfs.permissions</name>

             <value>false</value>

        </property>

    二、启动HDFS和YARN的几种方式

         方式一:逐一启动/sbin/hadoop-deamon.sh   /sbin/yarn-deamon.sh 

         方式二:分开启动/sbin/start-dfs.sh      /sbin/start-yarn.sh

         方式三:一起启动/sbin/start-all.sh

         第三种方式不建议使用,因为要分别启动dfs和yarn,要求namenode和resourcemanager在同一个节点上,且在该节点上运行start-all.sh命令。

    三、SSH登录过程

         

    四、SSH免密码登录过程

                

       客户端会先将自己的公钥保存在服务器端中,以供解密使用。

       建立SSH免密码登录的过程如下:

       1.ssh -keygen -t -rsa连续回车生成公钥和私钥,分别存储在/home/user/.ssh/id_rsa.pub和/home/user/.ssh/id_rsa下。

           2.将公钥放到远程主机上,scp ~/.ssh/id_rsa.pub node2:/.ssh/authorized_keys。

           这里是将客户端公钥放到服务器端,如果希望服务器也能免密码登录客户端,需要将服务器的公钥也在客户端放一份。

    四、默认的配置文件

          Hadoop自定义的配置文件在etc目录下。默认的配置文件在/share/hadoop各文件夹的jar包中。

          默认的配置文件包括core-default.xml,hdfs-default.xml,yarn-default.xml,mapred-default.xml。

          自定义配置文件中的配置将会覆盖默认配置文件中的配置。

          从默认配置文件中拷贝配置项,修改后加入到自定义配置文件。不要修改默认配置文件中的内容。

    五、默认使用本地文件系统还是HDFS文件系统

          core-site.xml中的fs.defaultFS属性,默认的值是file:///,就是本地文件系统。配置为hdfs://hadoop-cloudy.com:8020时用的就是HDFS文件系统。

    六、删除HDFS文件时,保留到回收站中的时间

          core-site.xml中的fs.trash.interval属性,单位为分钟。默认为0,将直接删除。

          HDFS默认的文件副本数为3.

    七、MapReduce运行在本地还是yarn上

          mapred-site.xml的属性mapreduce.framework.name默认为local,运行在本地。配置为yarn,运行在yarn上。

    八、决定各进程所在主机的配置文件 

          namenode所在主机: core-site.xml中的fs.defaultFS属性

          datanode所在主机:slaves文件指定

          secondarynamenode所在主机:hdfs-site.xml中没有指定,就在默认的配置文件hdfs-default.xml

          resourcemanager所在主机:yarn-site.xml中没有指定,就在默认的配置文件yarn-default.xml

          nodemanager所在主机:slaves文件指定

          jobhistoryserver所在主机:mapred-site.xml中没有指定,就在默认的配置文件mapred-default.xml

  • 相关阅读:
    linux输出信息调试信息重定向
    JDBC复习
    在Java中用for循环打印菱形
    深入.NET框架
    C#中等号左右的文本值交换
    使用集合组织相关数据
    深入类的方法
    值传递和引用传递专题案例
    深入C#数据类型
    Computer Vision Rescources
  • 原文地址:https://www.cnblogs.com/lnlvinso/p/6486618.html
Copyright © 2020-2023  润新知