• Linux下 磁盘扩容的两种方式


    Hadoop扩容

    概述

    Hadoop存储容量或计算能力不能满足日益增长的需求时,就需要扩容。

    扩容有两个方案:

    1) 增加磁盘

    2) 增加节点

    方案一:扩大虚拟磁盘

    扩大容量

    将虚拟的Linux关闭,扩大磁盘容量

     

     


    将空间增大20G 

     

    建立分区

    增加空间后Linux并不会识别出新增加的磁盘空间

    需要为这块新增的空间建立分区

    新建分区

    打开Linux

    fdisk /dev/sda#调整磁盘分区



    m #进入帮助引导模式

    n #新增分区

    p #指定新分区为基本分区

    一路回车 #但要记住分区号

    w #保存并执行刚才的分区操作

    reboot #重启

    查看新增分区

    fdisk -l

    格式化

    找到新增加的分区,还记得刚才的分区号吗?

    mkfs.xfs /dev/sda9#将数字换成刚才分配的分区号

    挂载

    Linux没有盘符,所以增加分区之后,需将分区映射到某一个文件夹上,以便使用。

    新建文件夹

    如果使用现有文件夹,则文件夹中的文件在挂载后将无法访问

    mkdir /newdisk

    临时挂载

    mount /dev/sda9 /newdisk

    挂载成成功后可以查看挂载情况(没有挂载时用这个命令看不到)

    df -lhT

    #l表示列出

    #h表示使用可读性更好的方式打印磁盘大小

    #T表示列出文件类型

    开机自动挂载

    打开 /etc/fstab

    增加 /dev/sda9/newdiskxfsdefaults00

    扩容datanode

    配置

    hdfs-site.xml中增加配置项

    <property>

    <name>dfs.datanode.data.dir</name>

    <value>${hadoop.tmp.dir}/dfs/data, /newdisk</value>

    </property>

    /newdisk就是指定datanode使用新增的磁盘作为存储空间!可以指定多个存储位置

    注意:将${hadoop.tmp.dir}替换成当前的hadoop临时目录

    重启

    stop-dfs.sh

    start-dfs.sh

    注意:如果在集群模式下,只需要重启该datanode即可!

    验证

    访问Hadoop浏览站点,可以看到该datanode存储空间增加了。

    方案二:新增磁盘

    以上适用于虚拟机所在的物理磁盘还有多余空间的情况。而生产环境中,还有一种情况是增加全新的硬盘(相当于买一块新硬盘插到主板上),用虚拟机也能模式出这种情况。

    增加新磁盘

     

    添加磁盘之后,启动Linux,新磁盘对应的是

    /dev/sdb #第一块磁盘是sda,第二块是sdb,第三块是sdc…

    然后从上面的【格式化】步骤继续进行就可以了

  • 相关阅读:
    【搜索引擎】Solr最新安装以及通过关系型数据库(MySQL,Oracle,PostgreSQL)导入数据
    【搜索引擎】SOLR VS Elasticsearch(2019技术选型参考)
    【Java源码】集合类-优先队列PriorityQueue
    【Java源码】树-概述
    Go语言调度器之创建main goroutine(13)
    Go语言goroutine调度器初始化(12)
    Go语言goroutine调度器概述(11)
    线程本地存储及实现原理
    操作系统线程及线程调度
    系统调用
  • 原文地址:https://www.cnblogs.com/yangxiansen/p/7860270.html
Copyright © 2020-2023  润新知