• HDFS常用的命令


    一、HDFS基本的命令

    dfs -ls 列出hdfs下的文件

    dfs -ls in 列出hdfs下的名为in的文件夹中的文件

    dfs -put  test1 test 将test1文件上传到HDFS上并重命名为test

    dfs -get in getin 将hdfs中的文件in复制到本地系统并命名为getin

    dfs -rmr out 删除hdfs下名为out的文档

    dfs -cat in/* 查看hdfs下in文件的内容

    dfs -mkdir /user/hadoop/examples 建立目录

    dfs -copyFromLocal 源路径 路径 复制文件

    dfs -getmerge 位于hdfs下的源文件(里面有多个文件) 合并后的文件名(合并后的文件在本地)

    二、管理和更新

    (1)执行基本信息

    查看hdfs的基本统计信息

    dfsadmin -report

    (2)退出安全模式

    NameNode在启动的时候会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何的改变。

    系统显示Name node in safe mode,说明系统正处于安全模式,这时候只需要等待十几秒即可,也可以通过下面的命令退出安全模式:

    dfsadmin -safemode leave

    (3)进入安全模式

    在必要的情况下,可以通过以下的命令把hdfs置于安全模式

    dfsadmin -safemode enter

    (4)节点添加

    添加一个新的DataNode节点,先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改$HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新节点后,再建立新加节点无密码的SSH连接,最后运行启动命令:

    start-all.sh

    (5)负载均衡

    hdfs的数据在各个DataNode中的分布很可能不均匀,尤其在DataNode节点上出现故障或新增DataNode节点时。新增数据块NameNode对DataNode节点的选择策略也有可能导致数据块的分布不均匀。用户可以使用命令重新平衡DataNode上的数据分布:

    start-balancer.sh

  • 相关阅读:
    SharePoint 2010 Crawl Component Stuck in “Recovering” status
    什么是Named Pipes
    请不要修改FIM的配置, 否则SharePoint的User Profile无法获得微软支持
    经典的SharePoint 2010升级中的多核CPU冲突问题
    怎样才能比较方便地查看PowerShell里返回回来的对象的每个成员及它们的值呢?
    如何打开证书控制台
    浏览器: F5 和 Ctrl+F5的区别
    关于用户角色权限管理的探讨
    支付宝接口源代码
    海量数据处理
  • 原文地址:https://www.cnblogs.com/wylwyl/p/10910128.html
Copyright © 2020-2023  润新知