存储技术

云存储技术总结

    存储概述
        存储组网形态
            DAS
            NAS
            SAN
        RAID
        磁盘热备
        快照
    云存储的概念与技术原理
        分布式块存储
        分布式文件存储
        分布式对象存储
    对象存储技术
        对象存储系统的组成
            对象
            OSD 智能存储设备
            文件系统
            MDS 元数据服务器

存储概述
存储组网形态

    存储历史
    存储技术是计算机的核心技术之一，计算机的存储技术的总体趋势是存储容量和I/O速度不断增加。
    第一台磁盘存储器
    世界上第一台硬盘存储器IBM 350 RAMAC诞生，当时它的总容量置邮5MB，但总共使用了50个直径位24英寸的磁盘。
    RAID技术出现
    1987年，加州柏克大学的人员发表了《磁盘阵列控制器研究》论文，正式提到了RAID，即磁盘阵列控制器，提出廉价的5.25英寸及3.5英寸的硬盘也能如大机器上的8英寸盘般提供大容量 、高性能和数据的一致性，并详述了RAID1~5的技术。
    SAN技术出现
    1994年，ANSI标准组织通过了第一个版本的光纤通道SAN，并迅速在数据苛刻型企业中获得广泛应用，而由此我们也正式迈入了网络存储的时代。
    存储的分类
    存储分类
    组网形式

DAS

DAS是指将存储设备通过SCSI（Small Computer System Interface，小型计算机系统专用接口）接口或光纤通道直接连接到一台计算机上。顾名思义，这是为了小型计算机设计的扩充接口。DAS将存储设备直接连接到服务器，是最传统的、最常见的连接方式，容易理解、规划和实施。但是DAS没有独立操作系统，也不能提供跨平台的文件共享，各平台下的数据需分别存储，且各DAS系统之间没有连接，数据只能分散管理。
NAS

NAS是将存储设备连接到现有网络上，提供数据和文件服务，应用服务器直接把File I/O请求通过LAN传给远端NAS中的文件系统，NAS中的文件系统发起Block I/O到与NAS直连的磁盘。NAS主要面向搞笑的文件共享任务，适用于那些需要网络进行大容量文件数据传输的场合。NAS本身装有独立的操作系统，通过网络协议可以实现完全跨平台共享，但NAS系统的前期投入相对较高。
SAN

SAN通过光纤通道连接到一群计算机上。在该网络中提供了多主机连接，但并非标准的网络拓扑。它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系，为实现大量原始数据的传输而进行了专门的优化。SAN是一种高可用性、高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的快速传输、存储、保护、共享和恢复数据的方法。
RAID

磁盘阵列是有很多价格较为便宜的磁盘组合而成的一个容量巨大的磁盘组，可利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，可将数据切割成许多区段，分别存放在各个磁盘上。

    RAID 0
    RAID 0是没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。RAID0没有磁盘冗余，一个磁盘失败导致数据丢失。
    总容量 = 磁盘数量 * 磁盘容量
    RAID 1
    RAID 1以镜像作为冗余手段，模拟磁盘中的数据有多个副本，放在成员磁盘上，具有100%的数据冗余，但磁盘空间利用率置邮50%。
    总容量 = （磁盘数量 / 2） * 磁盘容量
    RAID 3
    RAID 3以XOR校验为冗余方式，只有一个磁盘损坏的情况下，RAID 3能通过校验数据恢复损坏磁盘，但在两个以上磁盘同时损坏的情况下，RAID 3不能发挥数据校验功能。
    总容量 = （磁盘数量 - 1）* 磁盘容量
    RAID 5
    RAID 5以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。相对于RAID 3，RAID 5改善了校验盘的瓶颈。
    总容量 = （磁盘数量 - 1） * 磁盘容量
    RAID 6
    RAID 6能够允许两个磁盘同时失效的RAID级别系统。、
    总容量 = （磁盘数量 - 2） * 磁盘容量
    RAID 10
    RAID 10（镜像阵列条带化）是将镜像和条带组合起来的组合RAID级别，最低一级是RAID镜像对，第二级别为RAID 0。
    总容量 = （磁盘数量 / 2） * 磁盘容量
    RAID 50
    RAID 50是将镜像和条带组合起来的组合RAID级别，最低一级是RAID镜像对，第二级别为RAID 0。
    总容量 = （磁盘数量 - 1） * 磁盘容量

磁盘热备

热备份是指在建立RAID磁盘阵列系统的时候，将其中一个磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。
快照

快照是某一个时间点上的逻辑卷的映像，逻辑上相当于整个快照源卷（base volume）的副本。可将快照卷分配给任何一台主机。快照卷可读取、写入或复制，需要相当于快照源卷的20%的额外空间，主要用途是利用少量存储空间保存原始数据的备份，文件、逻辑卷恢复及备份、测试、数据分析等。

·
云存储的概念与技术原理

关于云存储的定义，目前没有标准。百度百科给出的定义是：云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过虚拟化、集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协调工作，共同对外提供数据存储和业务访问功能的一个系统。
分布式块存储

块存储将存储区域划分成固定大小的小块，是传统裸存储设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过 SCSI/SAS 或 FC SAN 与存储服务器连接，服务器直接通过 SCSI/SAS 或 FC 协议控制和访问数据。块存储方式不存在数据打包/解包过程，可提供更高的性能。
分布式文件存储

文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹，将整个分布式文件资源以统一的视图呈现给用户。
分布式对象存储

对象存储为海量非结构化数据提供通过键值对查找数据文件的存储模式，提供了基于对象的访问接口，有效地合并了NAS和SAN的存储结构优势，通过高层次的抽象，具有NAS的跨平台共享数据和基于策略的安全访问优点，支持直接访问，具有SAN的高性能和交换网络结构的可伸缩性。

·
对象存储技术

对象存储体系结构提供了一个带有NAS系统的传统的文件共享和管理特征的单系统映像（single system image）文件系统，并改进了SAN的资源整合和可扩展的性能。
对象存储系统的组成
对象

包含了文件数据以及相关的属性信息，可以进行自我管理。

    根对象
    最高层次的对象，每个设备上只有一个，指的就是OSD本身。
    分区对象
    根对象之下的对象，每个设备上可以有多个，包含具有相同的安全性和空间管理特性的所有对象。
    集合对象
    分区对象之下的对象，每个设备上可以有多个，包含一组具有相同属性的用户对象。
    用户对象
    集合对象之下的对象，每个设备上可以有多个，由客户端或者应用通过SCSI命令创建的对象。

OSD 智能存储设备

每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的对象，是对象存储系统的核心。
OSD提供3个主要功能：

    数据存储
    OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，客户端请求数据时用对象ID、偏移进行数据读写。
    智能分布
    OSD用其自身的CPU和内存优化数据分布，并支持数据的预存。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。
    每个对象元数据的管理
    OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。

文件系统

文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。
MDS 元数据服务器

MDS控制客户端与OSD对象的交互，主要提供3个功能：

    对象存储访问
    MDS构造、管理描述每个文件分布的视图，允许客户端直接访问对象。MDS为客户端提供访问该文件所含对象的能力。
    文件和目录访问管理
    MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。
    客户端Cache一致性
    为了提高Client性能，在对象存储系统设计时通常支持客户端的Cache。由于引入客户端方的Cache，带来了Cache一致性的问题，MDS支持基于客户端的文件Cache，当Cache的文件发生改变时，将通知客户端刷新Cache，从而防止Cache不一致引发的问题
————————————————
版权声明：本文为CSDN博主「Leozonemxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Leozonemxy/article/details/103338567

 

存储层：

       是存储的基础。云存储依靠存储层将不同的存储设备互联起来，形成一个面向服务的分布式存储系统。在物理存储设备之上是一个统一的存储设备管理层，实现对物理存储设备的逻辑虚拟化管理、状态监控和维护等功能。

管理调度层：

       是存储的核心。主要功能是在存储层提供的存储资源上部署分布式文件系统或者建立和组织存储资源对象，并将用户数据进行分片处理，按照设定的保护策略将分片后的数据以多副本或者冗余纠删码的方式分散存储到具体的存储资源上去。同时，在本层还会在节点间进行读写负载均衡调度以及节点或存储资源失效后的业务调度与数据重建恢复等任务，以便始终提供高性能、高可用的访问服务。不过，在具体实现时，该层的功能也可能上移，位于访问接口层和应用服务层之间，甚至直接嵌入到应用服务层中，和业务应用紧密结合，形成业务专用云存储。

访问接口层：

       这是一个可以自由扩展的、面向用户需求的结构层。一般情况下，可以根据具体情况和需求，开放各种接口，为其提供多种服务。

用户访问层：

       在连接互联网的任何一台机器上，只要用户经过授权，都可以通过这一层，进入的云存储平台系统，进行云存储上的允许的授权操作，享受云存储带来的各种服务。
————————————————
版权声明：本文为CSDN博主「周金波」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_42396008/article/details/103312526