RAID卡缓存策略
不同的RAID卡缓存策略对IO的性能影响较大,常见的策略有:
1、写操作策略,可设置为WriteBack或WriteThrough
WriteBack:进行写操作时,将数据写入RAID卡缓存,并直接返回,RAID卡控制器将在系统负载低或者Cache满了的情况下把数据写入硬盘。该设置会大大提升RAID卡写性能,绝大多数的情况下会降低系统IO负载。 数据的可靠性由RAID卡的BBU(Battery Backup Unit)进行保证。 WriteThrough: 数据写操作不使用缓存,数据直接写入磁盘。RAID卡写性能下降,在大多数情况下该设置会造成系统IO负载上升。
2、读操作策略,可选参数:ReadAheadNone, ReadAdaptive, ReadAhead。
ReadAheadNone: 不开启预读。这是默认的设置 ReadAhead: 在读操作时,预先把后面顺序的数据加载入Cache,在顺序读取时,能提高性能,相反会降低随机读的性能。 ReadAdaptive: 自适应预读,当Cache memory和IO空闲时,采取顺序预读,平衡了连续读性能及随机读的性能,需要消耗一定的计算能力。
3、缓存策略,可选参数: Direct, Cached
Direct: Direct IO模式,读操作不缓存到cache memory中,数据将同时传输到controller cache中和应用系统中,如果接下来要读取相同的数据块,则直接从controller cache中获取. Direct IO是默认的设置 Cached: Cached IO模式,所有读操作都会缓存到cache memory中。
4、BBU不可用时策略,可选参数: Write Cache OK if Bad BBU 和No Write Cache if Bad BBU
No Write Cache if Bad BBU: 如果BBU出问题,则关闭Write Cache。由WriteBack自动切换到WriteThrough模式。如果没有特殊要求,强烈建议采用该设置,以确保数据的安全。 Write Cache OK if Bad BBU: 如果BBU出问题,依然启用Write Cache. 这是不推荐的设置,BBU出问题将无法保证断电情况下数据的正常,如果此时依然采用WriteBack模式,遇到断电将发生数据丢失。除非有UPS作额外保证,不然不推荐采用这个设置。
查看MegaSAS RAID卡的Cache策略
##查看MegaSAS RAID卡的Cache策略 /usr/local/sbin/MegaCli -LDInfo -Lall -aALL
输出结果为:
Adapter 0 -- Virtual Drive Information: Virtual Drive: 0 (Target Id: 0) Name : RAID Level : Primary-5, Secondary-0, RAID Level Qualifier-3 Size : 1.633 TB Sector Size : 512 Parity Size : 278.875 GB State : Optimal Strip Size : 64 KB Number Of Drives : 7 Span Depth : 1 Default Cache Policy: WriteBack, ReadAdaptive, Direct, Write Cache OK if Bad BBU Current Cache Policy: WriteBack, ReadAdaptive, Direct, Write Cache OK if Bad BBU Default Access Policy: Read/Write Current Access Policy: Read/Write Disk Cache Policy : Disk's Default Encryption Type : None Default Power Savings Policy: Controller Defined Current Power Savings Policy: None Can spin up in 1 minute: Yes LD has drives that support T10 power conditions: Yes LD's IO profile supports MAX power savings with cached writes: No Bad Blocks Exist: No Is VD Cached: Yes Cache Cade Type : Read Only
BBU Learn Cycle
BBU由锂离子电池和电子控制电路组成。 锂离子电池的寿命取决于其老化程度,从出厂之后,无论它是否被充电及它的充放电次数多与少,锂离子电池的容量将慢慢的减少。这意味着一个老电池无法像新电池那么持久。 也就决定了BBU的相对充电状态(Relative State of Charge)不会等于绝对充电状态(Absolute State of Charge)。
为了记录电池的放电曲线,以便控制器了解电池的状态,例如最大和最小电压等,同时为了延长电池的寿命,默认会启用自动校准模式(AutoLearn Mode). 在learn cycle期间, raid卡控制器不会启用BBU直到它完成校准。整个过程可能需要高达12小时。这个过程中,会禁用WriteBack模式,以保证数据完整性,同时会造成性能的降低. 整个Learn Cycle分为三个步骤:
1、控制器把BBU电池充满电(该步骤可能是放电后充电或直接充电,如果电池刚好满电,则直接进入第二阶段)
2、开始校准, 对BBU电池执行放电
3、放电完成后,完成校准,并重新开始充电, 直接达到最大电量, 整个Learn Cycle才算完成
注意: 如果第二或第三阶段被中断,重新校准的任务会停止,而不会重新执行
IBM的服务器默认设置是30天执行一次Learn Cycle, 而DELL是90天。不推荐关闭Auto Learn模式,通过这个校准,能延长电池寿命,不作电池校准的Raid卡,电池寿命将从正常的2年降为8个月
查看RAID卡BBU属性设置:
##查看BBU设置 /usr/local/sbin/MegaCli -AdpBbuCmd -GetBbuProperties -aALL
禁用Auto-Learn模式的输出结果为:
BBU Properties for Adapter: 0 Auto Learn Period: 90 Days Next Learn time: None Learn Delay Interval:0 Hours Auto-Learn Mode: Disabled
输出结果含义:
Auto Learn Period: 自动校准间隔, 单位秒,IBM的服务器默认设置是30天执行一次Learn Cycle, 而DELL是90天。 该设置无法修改。 Next Learn time: 下一次自动校准的时间,从2000年1月1日算起的秒数,这个设置无法修改,根据上一次自动校准的完成时间加上自动校准间隔计算得来。该时间转化为实际时间时,需要加上RAID卡时间的误差,部分RAID卡时间转成GMT时间后,依然是错误的。 Learn Delay Interval: 自动校准启动后的延迟时间,单位小时,最大设置为7天。该设置只针对下次Learn Cycle,下次Learn Cycle完成后,该值将自动归零。 Auto-Learn Mode: 是否打开自动校准模式
查看RAID卡BBU状态:
## 查看当前BBU状态 /usr/local/sbin/MegaCli -AdpBbuCmd -GetBbuStatus -aALL
正常输出结果为:
BBU status for Adapter: 0 BatteryType: BBU Voltage: 3913 mV Current: 0 mA Temperature: 75 C Battery State: Optimal BBU Firmware Status: Charging Status : None Voltage : OK Temperature : OK Learn Cycle Requested : No Learn Cycle Active : No Learn Cycle Status : OK Learn Cycle Timeout : No I2c Errors Detected : No Battery Pack Missing : No Battery Replacement required : No Remaining Capacity Low : No Periodic Learn Required : No Transparent Learn : No No space to cache offload : No Pack is about to fail & should be replaced : No Cache Offload premium feature required : No Module microcode update required : No BBU GasGauge Status: 0x0828 Relative State of Charge: 91 % Charger Status: Unknown Remaining Capacity: 410 mAh Full Charge Capacity: 451 mAh isSOHGood: Yes Exit Code: 0x00
输出结果含义:
Charging Status: 当前电池处于什么状态,有Charging, Discharging, None等值,分别代表电池充电,放电,及没有充放电操作的状态 Learn Cycle Requested: Learn Cycle请求,当为Yes时,并且下面的Learn Cycle Active为No, 说明已经开始了Learn Cycle的第一阶段, 此时策略开始变为WriteThrough, 电池将经历一个放电后充电或者充电的过程 Learn Cycle Active: 是否处于Learn Cycle的校准阶段,如果为Yes, 则进入了Learn Cycle的第二阶段,控制器开始校准电池. Battery Replacement required: 电池是否需要维修,如果为Yes, 请尽快更换电池 Remaining Capacity Low: 剩余电容量低, 如果为Yes, 需要更换电池
当RAID卡写操作策略自动从WriteBack切换为WriteThrough时,可能情况有:
1、BBU损坏
2、BBU正在进行充放电
3、BBU准备进入充放电状态
BBU设置中只有Learn Delay Interval和Auto-Learn Mode两项可以进行设置,Auto-Learn Mode选项不推荐关闭,而Learn Delay Interval最大仅能设置为7天,因此很难通过修改BBU设置来将BBU充放电操作避开业务高峰期。
为避免BBU充放电操作在业务高峰期运行,可以采用以下方式:
1、在非业务高峰期强制启动Learn Cycle,使下一次Learn Cycle错过高峰期。
##强制启动Learn Cycle操作 /usr/local/sbin/MegaCli -AdpBbuCmd -BbuLearn -aALL
2、将自动充放电模式修改为手动,然后在非业务高峰期手动触发。
## 修改Auto-Learn Mode ## 1为Disable, 0为Enable, 从Disable切换到Enable时,Relearn操作会立刻执行 echo 'autoLearnMode=1' >/tmp/megaraid.conf /usr/local/sbin/MegaCli -AdpBbuCmd -SetBbuProperties -f /tmp/megaraid.conf -aAll ## 确认是否生效 /usr/local/sbin/MegaCli -AdpBbuCmd -GetBbuProperties -aALL
在BBU充电期间,可以将写策略从WriteThrough强制修改为WriteBack,保证IO性能:
## 强制在BBU损坏时使用Cache /usr/local/sbin/MegaCli -LDSetProp CachedBadBBU -Lall -aALL ## 强制使用WriteBack写策略 /usr/local/sbin/MegaCli -LDSetProp WB -Lall -aALL ##查看MegaSAS RAID卡的Cache策略 /usr/local/sbin/MegaCli -LDInfo -Lall -aALL
参考资料:
http://lists.us.dell.com/pipermail/linux-poweredge/2006-May/025738.html
http://www.cnblogs.com/ylqmf/archive/2013/02/28/2936895.html