• hdfs命令


    1. 文件操作
    (1) 列出HDFS下的文件
    (2) 列出HDFS文件下名为in的文档中的文件
    (3) 上传文件
    将hadoop目录下的test1文件上传到HDFS上并重命名为test:
    (4) 文件被复制到本地系统中
    将HDFS中的in文件复制到本地系统并命名为getin:
    (5) 删除文档
    删除HDFS下名为out的文档:
    (6) 查看文件
    查看HDFS下in文件中的内容:
    /*
    (7) 建立目录
    只能一级一级的建目录。
    (8) 复制文件
    (9)通过Hadoop命令把两个文件的内容合并起来
    //Master:9000/data/SogouResult.txt CombinedResult
     注:合并后的文件位于当前目录,不在hdfs中,是本地文件
    2. 管理与更新
    (1) 执行基本信息
    查看HDFS的基本统计信息:
    (2) 退出安全模式
    NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。
    系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:
    (3) 进入安全模式
    在必要情况下,可以通过以下命令把HDFS置于安全模式:
    (4)节点添加
    添加一个新的DataNode节点,先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改$HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新节点名,再建立新加节点无密码的SSH连接,运行启动命令为:
    (5)负载均衡
    HDFS的数据在各个DataNode中的分布可能很不均匀,尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布:
    /usr/local/hadoop$bin/start-balancer.sh
  • 相关阅读:
    OptaPlanner实用技术 批量规划和实时规划(2)
    【Golang】创建有配置参数的结构体时,可选参数应该怎么传?
    k8s:Pod生命周期
    k8s:容器生命周期回调
    在工厂<> 中 <> 已经是个追加物料
    The headers or library files could not be found for jpeg
    从进入内核态看内存管理
    迅雷加速原来分析
    idea编译build一直卡在那不动解决方法
    python入门爬虫豆瓣电影Top250
  • 原文地址:https://www.cnblogs.com/guoliangxie/p/6567489.html
Copyright © 2020-2023  润新知