• Hadoop createSnapshot和deleteSnapshot命令


    概述

    HDFS快照是文件系统的只读时间点副本。 可以对文件系统的子树或整个文件系统进行快照。 快照的一些常见用例是数据备份,防止用户错误和灾难恢复。
    HDFS快照的实现是高效的:

    快照创建是即时的:成本是O(1),不包括inode查找时间。
    仅当对快照进行修改时才使用附加内存:内存使用为O(M),其中M是修改的文件/目录的数量。
    不复制datanode中的块:快照文件记录块列表和文件大小。 没有数据复制。
    快照不会对常规HDFS操作产生负面影响:修改会按相反的时间顺序记录,以便可以直接访问当前数据。 通过从当前数据中减去修改来计算快照数据。

    Snapshottable目录

    一旦目录设置为可快照,就可以对任何目录进行快照。 snaphottable目录能够容纳65,536个同步快照。可快照目录的数量没有限制。 管理员可以将任何目录设置为可快照。如果快照目录中有快照,则在删除所有快照之前,不能删除或重命名目录。
    当前不允许嵌套snaphottable目录。 换句话说,如果一个目录的祖先/后代是一个snaphottable目录,则不能将其设置为snaphottable。
    快照路径

    对于快照目录,路径组件“.snapshot”用于访问其快照。 假设/ foo是snaphottable目录,/ foo / bar是/ foo中的文件/目录,而/ foo有一个快照s0。 然后,路径

    /foo/.snapshot/s0/bar

    指的是/ foo / bar的快照副本。 通常的API和CLI可以使用“.snapshot”路径。 以下是一些示例。
    列出snaphottable目录下的所有快照:

    hdfs dfs -ls /foo/.snapshot

    列出快照s0中的文件:

    hdfs dfs -ls /foo/.snapshot/s0

    从快照s0复制文件:

    hdfs dfs -cp -ptopax /foo/.snapshot/s0/bar /tmp

    请注意,此示例使用保留选项来保留时间戳,所有权,权限,ACL和XAttrs。
    使用快照升级到HDFS版本

    HDFS快照功能引入了用于与快照交互的新保留路径名:.snapshot。 从旧版本的HDFS升级时,名为.snapshot的现有路径需要首先重命名或删除,以避免与保留路径冲突。 有关详细信息,请参阅HDFS用户指南中的升级部分。
    快照操作

    管理员操作

    注意:本节中描述的操作需要超级用户权限。
    允许快照

    允许创建目录的快照。 如果操作成功完成,则目录变为可快照。
    命令

    hdfs dfsadmin -allowSnapshot <path>

    参数

    path:snaphottable目录的路径。

    另请参阅HdfsAdmin中的相应Java API void allowSnapshot(路径路径)。
    不可快照

    不允许创建目录的快照。 在禁用快照之前,必须删除目录的所有快照。
    命令

    hdfs dfsadmin -disallowSnapshot <path>

    参数

    path:snaphottable目录的路径。

    另请参阅HdfsAdmin中的相应Java API void disallowSnapshot(路径路径)。

    用户操作
    注意: HDFS超级用户可以执行所有操作而不满足各个操作中的权限要求。
    创建快照

    创建快照目录的快照。 此操作需要snaphottable目录的所有者特权。
    命令

    hdfs dfs -createSnapshot <path> [<snapshotName>]

    参数

    path:snaphottable目录的路径。
    snapshotName:快照名称,它是一个可选参数。 当省略时,使用格式为“’s’yyyyMMdd-HHmmss.SSS”的时间戳生成默认名称,例如。 “s20130412-151029.033”。

    另请参见文件系统中相应的Java API路径createSnapshot(路径路径)和路径createSnapshot(路径路径,字符串snapshotName)。 在这些方法中返回快照路径。
    删除快照

    从快照目录中删除快照。 此操作需要snaphottable目录的所有者特权。
    命令

    hdfs dfs -deleteSnapshot <path> <snapshotName>

    参数

    path:snaphottable目录的路径。
    snapshotName:快照名。

    另请参见文件系统中相应的Java API void deleteSnapshot(Path path,String snapshotName)。
    重命名快照

    重命名快照。 此操作需要snaphottable目录的所有者特权。
    命令

    hdfs dfs -renameSnapshot <path> <oldName> <newName>

    参数

    path:snaphottable目录的路径。
    oldName:原快照名称。
    newName:新快照名称。

    另请参见FileSystem中对应的Java API void renameSnapshot(Path path,String oldName,String newName)。
    获取Snapshottable目录列表

    获取当前用户有权拍摄快照的所有快照表目录。
    命令

    hdfs lsSnapshottableDir

    另请参见DistributedFileSystem中的相应Java API SnapshottableDirectoryStatus [] getSnapshottableDirectoryListing()。
    获取快照差异报告
    获取两个快照之间的差异。 此操作需要两个快照中的所有文件/目录的读访问权限。
    命令

    hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

    参数

    path:snaphottable目录的路径。
    fromSnapshot:原快照。
    toSnapshot:要对比的快照。

    结果

    + 文件或者目录被创建。
    – 文件或者目录被删除。
    M 文件或者目录已修改。
    R 文件/目录已重命名。

    RENAME条目表示文件/目录已重命名,但仍位于相同的snaphottable目录下。 如果将文件/目录重命名为snapshottble目录之外,则将其报告为已删除。 从snapshottble目录之外重命名的文件/目录将报告为新创建。
    快照差异报告不保证相同的操作顺序。 例如,如果我们将目录“/ foo”重命名为“/ foo2”,然后将新数据附加到文件“/ foo2 / bar”,差异报告将是:

    R. /foo -> /foo2
    M. /foo/bar

    即,使用重命名之前的原始路径(上例中的“/ foo / bar”)报告重命名的目录下的文件/目录的更改。
    另请参见DistributedFileSystem中的相应Java API SnapshotDiffReport getSnapshotDiffReport(Path path,String fromSnapshot,String toSnapshot)。

    转载:https://www.vastyun.com/note_hadoop/300.html

  • 相关阅读:
    HashMap的小总结 + 源码分析
    Java的Cloneable接口还有深浅复制
    由Reference展开的学习
    类型信息小笔记
    String的小笔记
    Thinking In Java持有对象阅读记录
    Longest Palindromic Substring笔记
    Eclipse部署项目的原理简介eclipse,wtpwebapps,tomcat
    如何给不支持新特性的浏览器打补丁(让老版本IE兼容新特性)
    Listener监听器与Filter过滤器
  • 原文地址:https://www.cnblogs.com/royfans/p/7263784.html
Copyright © 2020-2023  润新知