HDFS跨集群数据迁移(一个是安全的 一个是不安全的)

hdfs 跨集群数据迁移

参考官网地址： https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_distcp_secure_insecure.html

一.将数据在不安全的集群和安全的集群之间迁移

• 1.采用shell 命令的方式

如果集群配置了 ipc.client.fallback-to-simple-auth-allowed 为true则可以使用下面的命令(此配置在hdfs中进行配置)

#将数据从不安全的集群迁移到安全的集群
hadoop distcp webhdfs://<insecure_namenode>:50070/path /path
#将数据从安全的集群迁移到不安全的集群
hadoop distcp webhdfs://<secure_namenode>:500470/path /path

如果没有配置则使用下面的命令进行迁移

#将数据从不安全的集群迁移到安全的集群
hadoop distcp  -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://<insecure_namenode>:50070/path /path
#将数据从安全的集群迁移到不安全的集群
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://<secure_namenode>:50470/path /path