• 关于网络存储技术和存储的协议


    关于网络存储技术和存储的协议

    网络存储技术

    网络存储技术(Network Storage Technologies)是基于数据存储的一种通用网络术语。网络存储结构大致分为三种:直连式存储(DAS:Direct Attached Storage)、网络存储设备(NAS:Network Attached Storage)和存储网络(SAN:Storage Area Network)。

    直连式存储(DAS)

    这是一种直接与主机系统相连接的存储设备,如作为服务器的计算机内部硬件驱动。到目前为止,DAS 仍是计算机系统中最常用的数据存储方法。
    DAS即直连方式存储,英文全称是Direct Attached Storage。中文翻译成“直接附加存储”。顾名思义,在这种方式中,存储设备是通过电缆(通常是SCSI接口电缆)直接到服务器的。I/O(输入/输出)请求直接发送到存储设备。DAS,也可称为SAS(Server-Attached Storage,服务器附加存储)。它依赖于服务器,其本身是硬件的堆叠,不带有任何存储操作系统。

    网络存储设备(NAS)

    NAS 是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。由于这些设备都分配有 IP 地址,所以客户机通过充当数据网关的服务器可以对其进行存取访问,甚至在某些情况下,不需要任何中间介质客户机也可以直接访问这些设备。

    • 最大存储容量

    最大存储容量是指NAS存储设备所能存储数据容量的极限,通俗的讲,就是NAS设备能够支持的最大硬盘数量乘以单个硬盘容量就是最大存储容量。这个数值取决于NAS设备的硬件规格。不同的硬件级别,适用的范围不同,存储容量也就有所差别。通常,一般小型的NAS存储设备会支持几百GB的存储容量,适合中小型公司作为存储设备共享数据使用,而中高档的NAS设备应该支持T级别的容量(1TB=1024GB)。

    • NAS

    NAS是英文“Network Attached Storage”的缩写, 中文意思是“网络附加存储”。按字面简单说就是连接在网络上, 具备资料存储功能的装置,因此也称为“网络存储器”或者“网络磁盘阵列”。

    • 从结构上讲,NAS是功能单一的精简型电脑,因此在架构上不像个人电脑那么复杂,在外观上就像家电产品,只需电源与简单的控制钮。
    • NAS是一种专业的网络文件存储及文件备份设备,它是基于LAN(局域网)的,按照TCP/IP协议进行通信,以文件的I/O(输入/输出)方式进行数据传输。在LAN环境下,NAS已经完全可以实现异构平台之间的数据级共享,比如NT、UNIX等平台的共享。
    • 一个NAS系统包括处理器,文件服务管理模块和多个硬盘驱动器(用于数据的存储)。 NAS 可以应用在任何的网络环境当中。主服务器和客户端可以非常方便地在NAS上存取任意格式的文件,包括SMB格式(Windows)NFS格式(Unix, Linux)和CIFS(Common Internet File System)格式等等。

    存储网络(SAN)

    SAN 是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作 SAN 的接入点。在有些配置中,SAN 也与网络相连。SAN 中将特殊交换机当作连接设备。它们看起来很像常规的以太网络交换机,是 SAN 中的连通点。SAN 使得在各自网络上实现相互通信成为可能,同时并带来了很多有利条件。

    SAN英文全称:Storage Area Network,即存储区域网络。它是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。

    SAN由三个基本的组件构成:接口(如SCSI、光纤通道、ESCON等)、连接设备(交换设备、网关、路由器、集线器等)和通信控制协议(如IP和SCSI等)。这三个组件再加上附加的存储设备和独立的SAN服务器,就构成一个SAN系统。SAN提供一个专用的、高可靠性的基于光通道的存储网络,SAN允许独立地增加它们的存储容量,也使得管理及集中控制(特别是对于全部存储设备都集群在一起的时候)更加简化。而且,光纤接口提供了10 km的连接长度,这使得物理上分离的远距离存储变得更容易。

    存储结构/性能对比

     存储结构/性能对比

    DAS 

    NAS

    FC-SAN

      IP-SAN

    成本

     较低

     高

    较高

    数据传输速度

    极快

     较快

    扩展性

    无扩展性

    较低

    易于扩展

    最易扩展

    服务器访问存储方式

    直接访问存储数据块

    以文件方式访问 

    直接访问存储数据块

    直接访问存储数据块

    服务器系统性能开销 

     较低

    较高

     安全性

    是否集中管理存储

    备份效率

    较低

    较高

    网络传输协议

     无

     TCP/IP 

     Fibre Channel 

    TCP/IP

    存储接口协议

    不同的硬盘接口决定着硬盘与控制器之间的连接速度,在整个系统中,硬盘接口的性能高低对磁盘阵列整体性能有直接的影响,因此了解一款磁盘阵列的硬盘接口往往是衡量这款产品的关键指标之一。

    硬盘接口是硬盘与主机系统间的连接部件,作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与控制器之间的连接速度,在整个系统中,硬盘接口的性能高低对磁盘阵列整体性能有直接的影响,因此了解一款磁盘阵列的硬盘接口往往是衡量这款产品的关键指标之一。存储系统中目前普遍应用的硬盘接口主要包括SATA、 SCSI、SAS和FC等,此外ATA硬盘在SATA硬盘出现前也在一些低端存储系统里被广泛使用。

    每种接口协议拥有不同的技术规范,具备不同的传输速度,其存取效能的差异较大,所面对的实际应用和目标市场也各不相同。同时,各接口协议所处于的技术生命阶段也各不相同,有些已经没落并面临淘汰,有些则前景光明,但发展尚未成熟。那么经常困扰客户的则是如何选择合适类型阵列,既可以满足应用的性能要求,又可以降低整体投资成本。

    ATA,在并行中没落

    ATA (AT Attachment)接口标准是IDE(Integrated DriveElectronics)硬盘的特定接口标准。自问世以来,一直以其价廉、稳定性好、标准化程度高等特点,深得广大中低端用户的青睐,甚至在某些高端应用领域,如服务器应用中也有一定的市场。ATA规格包括了 ATA/ATAPI-6 其中Ultra ATA 100兼容以前的ATA版本,在40-pin的连接器中使用标准的16位并行数据总线和16个控制信号。

    最早的接口协议都是并行ATA(Paralle ATA)接口协议。PATA接口一般使用16-bit数据总线,每次总线处理时传送2个字节。PATA接口一般是100Mbytes/sec带宽,数据总线必须锁定在50MHz,为了减小滤波设计的复杂性,PATA使用Ultra总线,通过“双倍数据比率”或者2个边缘(上升沿和下降沿)时钟机制用来进行DMA传输。这样在数据滤波的上升沿和下降沿都采集数据,就降低一半所需要的滤波频率。这样带宽就是:25MHz 时钟频率x 2 双倍时钟频率x16 位/每一个边缘/ 8 位/每个字节= 100 Mbytes/sec。

    在过去的20年中,PATA成为ATA硬盘接口的主流技术。但随着CPU时钟频率和内存带宽的不断提升,PATA逐渐显现出不足来。一方面,硬盘制造技术的成熟使ATA硬盘的单位价格逐渐降低,另一方面,由于采用并行总线接口,传输数据和信号的总线是复用的,因此传输速率会受到一定的限制。如果要提高传输的速率,那么传输的数据和信号往往会产生干扰,从而导致错误。

    PATA的技术潜力似乎已经走到尽头,在当今的许多大型企业中,PATA现有的传输速率已经逐渐不能满足用户的需求。人们迫切期待一种更可靠、更高效的接口协议来替代PATA,在这种需求的驱使下,串行(Serial)ATA总线接口技术应运而生,直接导致了传统PATA技术的没落。

    SATA,在低端徘徊

    PATA曾经在低端的存储应用中有过光辉的岁月,但由于自身的技术局限性,逐步被串行总线接口协议(Serial ATA,SATA)所替代。SATA以它串行的数据发送方式得名。在数据传输的过程中,数据线和信号线独立使用,并且传输的时钟频率保持独立,因此同以往的PATA相比,SATA的传输速率可以达到并行的30倍。可以说:SATA技术并不是简单意义上的PATA技术的改进,而是一种全新的总线架构。

    从总线结构上,SATA 使用单个路径来传输数据序列或者按照bit来传输,第二条路径返回响应。控制信息用预先定义的位来传输,并且分散在数据中间,以打包的格式用开/关信号脉冲发送,这样就不需要另外的传输线。SATA带宽为16-bit。并行Ultra ATA总线每个时钟频率传输16bit数据,而SATA仅传输1bit,但是串行总线可以更高传输速度来弥补串行传输的损失。SATA将会引入 1500Mbits/sec带宽或者1.5Gbits/sec带宽。由于数据用8b/10b编码,有效的***传输峰值是150Mbytes/sec。

    目前能够见到的有SATA-1和SATA-2两种标准,对应的传输速度分别是150MB/s和300MB/s。从速度这一点上,SATA已经远远把 PATA硬盘甩到了后面。其次,从数据传输角度上,SATA比PATA抗干扰能力更强。从SATA委员会公布的资料来看,到2007年,在第三代SATA技术中,个人电脑存储系统将具有达600MB/s的数据带宽。此外,串口的数据线由于只采用了四针结构,因此相比较起并口安装起来更加便捷,更有利于缩减机箱内的线缆,有利散热。

    虽然厂商普遍宣称SATA支持热插拔,但实际上,SATA在硬盘损坏的时候,不能像SCSI/SAS和FC硬盘一样,显示具体损坏的硬盘,这样热插拔功能实际上形同虚设。同时,尽管SATA在诸多性能上远远优越于PATA,甚至在某些单线程任务的测试中,表现出了不输于SCSI的性能,然而它的机械底盘仍然为低端应用设计的,在面对大数据吞吐量或者多线程的传输任务时,相比SCSI硬盘,仍然显得力不从心。除了速度之外,在多线程数据读取时,硬盘磁头频繁地来回摆动,使硬盘过热是SATA需要克服的缺陷。正是因为这些技术上致命的缺陷,导致目前为止,SATA还只能在低端的存储应用中徘徊。

    SCSI,中端存储的主流之选

    SCSI(Small Computer System Interface)是一种专门为小型计算机系统设计的存储单元接口模式,通常用于服务器承担关键业务的较大的存储负载,价格也较贵。SCSI计算机可以发送命令到一个SCSI设备,磁盘可以移动驱动臂定位磁头,在磁盘介质和缓存中传递数据,整个过程在后台执行。这样可以同时发送多个命令同时操作,适合大负载的I/O应用。在磁盘阵列上的整体性能也大大高于基于ATA硬盘的阵列。

    SCSI规范发展到今天,已经是第六代技术了,从刚创建时候的SCSI(8bit)到今天的Ultra 320 SCSI,速度从1.2MB/s到现在的320MB/s有了质的飞跃。目前的主流SCSI硬盘都采用了Ultra 320 SCSI接口,能提供320MB/s的接口传输速度。SCSI硬盘也有专门支持热拔插技术的SCA2接口(80-pin),与SCSI背板配合使用,就可以轻松实现硬盘的热拔插。目前在工作组和部门级服务器中,热插拔功能几乎是必备的。

    相比ATA硬盘,SCSI体现出了更适合中、高端存储应用的技术优势:

    首先SCSI相对于ATA硬盘的接口支持数量更多。一般而言,ATA硬盘采用IDE插槽与系统连接,而每IDE插槽即占用一个IRQ(中断号),而每两个 IDE设备就要占用一个IDE能道,虽然附加IDE控制卡等方式可以增加所支持的IDE设备数量,但总共可连接的IDE设备数最多不能超过15个。而 SCSI的所有设备只占用一个中断号(IRQ),因此它支持的磁盘扩容量要比ATA更为巨大。这个优点对于普通用户而言并不具备太大的吸引力,但对于企业存储应用则显得意义非凡,某些企业需要近乎无节制地扩充磁盘系统容量,以满足网络存储用户的需求。

    其次:SCSI的带宽很宽,Ultra 320 SCSI能支持的总线速度为320MB/s,虽然这只是理论值而已,但在实际数据传输率方面,最快 ATA/SATA的硬盘相比SCSI硬盘无论在稳定性和传输速率上,都有一定的差距。不过如果单纯从速度的角度来看,用户未必需要选择SCSI硬盘,RAID技术可以更加有效地提高磁盘的传输速度。

    SCSI硬盘CPU占用率低、并行处理能力强。在ATA和SATA硬盘虽然也能实现多用户同时存取,但当并行处理人数超过一定数量后,ATA/SATA硬盘就会暴露出很大的I/O缺陷,传输速率大幅下降。同时,硬盘磁头的来回摆动,也造成硬盘发热不稳定的现象。

    对于SCSI而言,它有独立的芯片负责数据处理,当CPU将指令传输给SCSI后,随即去处理后续指令,其它的相关工作就交给SCSI控制芯片来处理;当 SCSI“处理器”处理完毕后,再次发送控制信息给CPU,CPU再接着进行后续工作,因此不难想像SCSI系统对CPU的占用率很低,而且SCSI硬盘允许一个用户对其进行数据传输的同时,另一位用户同时对其进行数据查找,这就是SCSI硬盘并行处理能力的体现。

    SCSI硬盘较贵,但是品质性能更高,其独特的技术优势保障SCSI一直在中端存储市场占据中流砥柱的地位。普通的ATA硬盘转速是5400或者7200RPM;SCSI 硬盘是10000或者15000 RPM,SCSI硬盘的质保期可以达到5年,平均无故障时间达到1,200,000小时。然而对于企业来说,尽管SCSI在传输速率和容错性上有极好的表现,但是它昂贵的价格使得用户望而却步。而下一代SCSI技术SAS的诞生,则更好的兼容了性能和价格双重优势。

    SAS,接口协议的明日帝国

    SAS 是Serial Attached SCSI的缩写,即串行连接SCSI。和现在流行的Serial ATA(SATA)硬盘相同,都是采用串行技术以获得更高的传输速度,并通过缩短连结线改善内部空间等。

    SAS是新一代的SCSI技术,同SATA之于PATA的革命意义一样,SAS 也是对SCSI技术的一项变革性发展。它既利用了已经在实践中验证的 SCSI 功能与特性,又以此为基础引入了SAS扩展器。SAS可以连接更多的设备,同时由于它的连接器较小,SAS 可以在3.5 英寸或更小的 2.5 英寸硬盘驱动器上实现全双端口,这种功能以前只在较大的 3.5 英寸光纤通道硬盘驱动器上能够实现。该功能对于高密度服务器如刀片服务器等需要冗余驱动器的应用非常重要。

    为保护用户投资,SAS的接口技术可以向下兼容SATA。SAS系统的背板(Backplane)既可以连接具有双端口、高性能的SAS驱动器,也可以连接高容量、低成本的SATA驱动器。过去由于SCSI、ATA分别占领不同的市场段,且设备间共享带宽,在接口、驱动、线缆等方面都互不兼容,造成用户资源的分散和孤立,增加了总体拥有成本。而现在,用户即使使用不同类型的硬盘,也不需要再重新投资,对于企业用户投资保护来说,实在意义非常。但需要注意的是,SATA系统并不兼容SAS,所以SAS驱动器不能连接到SATA背板上。

    SAS 使用的扩展器可以让一个或多个SAS主控制器连接较多的驱动器。每个扩展器可以最多连接 128 个物理连接,其中包括其它主控连接,其它 SAS 扩展器或硬盘驱动器。这种高度可扩展的连接机制实现了企业级的海量存储空间需求,同时可以方便地支持多点集群,用于自动故障恢复功能或负载平衡。前期,SAS接口速率为3Gbps(SAS1.0),其SAS扩展器多为12端口。目前6Gbps(SAS2.0)、12Gbps(SAS3.0)的高速接口均已商用,并且会有28或36端口的SAS扩展器出现以适应不同的应用需求。

    在SAS接口享有种种得天独厚的优势的同时,SAS产品的成本从芯片级开始,都远远低于FC,而正是因为SAS突出的性价比优势,使SAS在磁盘接口领域,给光纤存储带来极大的威胁。目前众多厂商均已推出SAS磁盘接口协议的产品,SAS也成为存储的主流接口标准。

  • 相关阅读:
    Centos7安装gitlab私服
    SpringBoot2.x开发WebSocket
    java中 DecimalFormat格式的定义
    Docker部署Reids实战单机、集群
    CCF地铁修建
    C题:A Water Problem(dp||搜索)
    A题:Common Substrings(KMP应用)
    HDU 1879 继续畅通工程(Prim||Kruscal模板题)
    魔兽世界之一:备战(模拟)
    F题:等差区间(RMQ||线段树)
  • 原文地址:https://www.cnblogs.com/cainiao-chuanqi/p/11885689.html
Copyright © 2020-2023  润新知