• MD中bitmap源代码分析--入题概述


      在MD模块中,各级raid都使用的一份bitmap的源码,也就是说共用一种bitmap的流程,下面以raid1的使用为例来分析bitmap的工作原理。

      在使用raid1磁盘阵列的时候,对于数据的可靠性有很高的要求。在写的过程中,有可能存在不稳定的因素,比如磁盘损坏、掉电/宕机、网络故障、系统故障等,这样导致写入失败,在系统恢复后,raid也需要进行恢复,如果磁盘比较大,那同步恢复的过程会很长。以raid1来说,在发生故障时,可能盘阵的数据很多都是已经一致的了,其实只有少部分不一致,所以就没必要进行全盘扫描,但是系统并不知道盘阵中哪些数据是一致的,这就需要在某个地方记录哪些是已同步的。为此,就诞生了bitmap,简单来说,bitmap就是记录raid中哪些数据是一致的,哪些是不一致的,这样在raid进行恢复的时候就不用全量同步,而是增量同步了,从而减少了恢复的时间。

      Bitmap的工作原理说来也是直截了当的,文件的内容就是一个位图。Bitmap的一个bit对应盘阵的一个chunk(数据块,默认为4KB),在盘阵数据写入前,设置该chunk对应的bit,盘阵写入完成,则清除该bit。要进行同步时,参照bitmap,只有置位的bit对应的chunk才需要进行同步,这样缩短了同步的时间,提高了效率。

      bitmap原理很明了,按照这个原理直接进行实施也是可以的,但直接这样实施的话,由于一次数据块的写入多了两次磁盘访问(bitmap的设置和清除),写入效率会受到较大影响,所以还需要考虑一些优化。优化的核心体现在两方面,具体的代码都是为了实现这两点思想:

      1bitmap设置后批量写入;

      2bitmap延时清除。

      这两方面的优化,需要在内存中构建和磁盘bitmap文件对应的数据结构,bitmap操作首先在缓存中进行,必要时才进行真正的磁盘操作。

      Bitmap分两种,一种是internal,一种是external。internal bitmap是存放在raid设备的成员盘的superblock附近(可以在之前也可以在之后),而external是单独指定一个文件用来存放bitmap。也就是说,Bitmap磁盘文件可以存储在MD设备之外,此时MD结构中的bitmap_file表示这个bitmap文件。Bitmap磁盘文件也可以存储于MD设备自身,此时bitmap相对于MD设备的超级块的位置由bitmap_offset指定。Bitmap_offset可以是负数,表示的是bitmap位于superblock之前。Bitmap相对于superblock的位置是与创建MD设备时的参数metadata相关的。例如,以下的创建MD设备命令:

        Mdadm –CR /dev/md0 –l1 –n2 /dev/sdb /dev/sdc –bitmap=internal –metadata=x –assume-clean

      在metadata=1.0时,bitmap_offset为-8,bitmap在superblock之前;在metadata=1.1时,bitmap_offset为8,bitmap在superblock之后;在metadata=1.2时,bitmap_offset为8,bitmap在superblock之后;在metadata=0.9时,从代码的注释中可知,bitmap是紧跟在superblock后面的。Internal的bitmap是存放在MD设备的superblock附近,而external是单独指定一个文件用来存放bitmap。

      Md的superblock的版本由—metadata参数指定。有四个版本的superblock:

        0.9——限制一个raid中的设备数为28个,限制组件设备大小为2TB;

        1.0——superblock存储在设备的结尾;

        1.1——superblock存储在设备的开头;

        1.2——superblock存储在设备的4K处。

      下一篇会详细分析bitmap的数据结构是如何设计,进而实现这两个优化机制的。

     

    转载请注明出处:http://www.cnblogs.com/fangpei/

    参考资料:

    [1] linux内核源码2.6.32

    [2] MD中的bitmap 开篇  http://blog.csdn.net/qincp/article/details/4396517

    [3] linux软raid的bitmap分析  http://blog.csdn.net/qincp/article/details/4396517

     

  • 相关阅读:
    Spring boot unable to determine jdbc url from datasouce
    Unable to create initial connections of pool. spring boot mysql
    spring boot MySQL Public Key Retrieval is not allowed
    spring boot no identifier specified for entity
    Establishing SSL connection without server's identity verification is not recommended
    eclipse unable to start within 45 seconds
    Oracle 数据库,远程访问 ora-12541:TNS:无监听程序
    macOS 下安装tomcat
    在macOS 上添加 JAVA_HOME 环境变量
    Maven2: Missing artifact but jars are in place
  • 原文地址:https://www.cnblogs.com/fangpei/p/4652826.html
Copyright © 2020-2023  润新知