• 【硬件相关】LSI MegaRAID卡配置管理

    一、前言

    官方手册说明：StorCLI Reference Manual
    华为服务器操作维护说明：华为V2&V3服务器 RAID控制卡 用户指南 49

    目前市面常见的RAID卡主要是LSI MegaRAID和PMC Adaptec，前者使用命令行工具为storcli，后者使用命令行工具为arcconf
    示例使用的RAID卡为LSI MegaRAID，基于storcli工具介绍raid卡配置管理实践过程。
    注：如不清楚RAID卡类型，可通过lspci |grep -i "raid"查询

    二、安装

    由于LSI于2013年被Broadcom收购，相关软件下载可从Broadcom官网产品支持页面搜索下载
    示例使用Latest StorCLI MR7.20软件版本，压缩包包含了Storcli所支持的所有系统软件包

    • 下载storcli软件包
    wget https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/007.2007.0000.0000_Unified_StorCLI.zip
unzip 007.2007.0000.0000_Unified_StorCLI.zip
    • 根据当前使用的操作系统（示例使用CentOS7.6），安装对应软件包
    cd Unified_storcli_all_os/
rpm -ivh Linux/storcli-007.2007.0000.0000-1.noarch.rpm
ln -s /opt/MegaRAID/storcli/storcli64 /usr/bin/storcli
    • 查看storcli版本号
    [root@node127 ~]# storcli -v

      StorCli SAS Customization Utility Ver 007.2007.0000.0000 Feb 11, 2022

    (c)Copyright 2022, Broadcom Inc. All Rights Reserved.

    三、部署使用

    1、基础语法

    storcli基础语法为：storcli <[object identifier]> <verb><[adverb | attributes | properties] > <[key=value]></verb>

    • 参数表1（object identifier）
    object identifierdescription
      当参数为空时，该命令为系统命令
    /cx 控制器（RAID卡）特定指令（/controller x），当服务器存在多张raid卡时，可通过指定不同控制器ID切换不同raid卡配置
    /cx/vx 虚拟磁盘特定指令（/controller x/virtual driver x），可以选择指定控制器下的指定虚拟磁盘
    /cx/ex 机箱面板特定指令（/controller x/enclosure x），可以选择指定控制器下的指定机箱面板
    如36盘位服务通常有两个机箱面板，前面板一根SAS线拖24块盘，后面板一根SAS线拖12块盘
    /cx/ex/sx 插槽/物理磁盘特定指令(/controller x/enclosure x/slot x)，可以选择指定控制器下的指定机箱面板的指定磁盘
    /cx/fx 外部配置特定指令（/controller x/foreign configuration x），可以选择指定控制器下的指定外部配置
    如磁盘残留有之前的RAID配置信息，可以选择对应磁盘进行配置清理或者导入操作

    注:x代表数字编号，当x为all时表示所有，如/c0/vall表示控制器0下所有的虚拟磁盘

    • 参数表2（verb）
    verbdescription
    add 增加配置，如虚拟磁盘（VD）、热备盘（spare）等
    del 删除配置，如虚拟磁盘（VD）、热备盘（spare）等
    set 为属性设置特定值
    show 查看选定对象所有的属性信息
    start 开始一个操作
    pause 暂停正在进行的操作
    resume 恢复已暂停的操作
    suspend 中止正在进行的操作，已中止的操作不能恢复
    compare 比较输入值与系统值差异
    flush 下刷控制器或者磁盘缓存
    import 将外部配置导入到驱动器
    expand 扩展虚拟磁盘容量

    2、系统查看命令

    • storcli show help
      查看命令帮助信息
    • storcli show [all]
      该命令显示系统的控制器以及控制器相关摘要信息，包括控制器个数、主机名、操作系统信息和现有配置概述
    [root@node174 ~]# storcli show
Status Code = 0
Status = Success
Description = None

Number of Controllers = 2
Host Name = node174
Operating System  = Linux3.10.0-1160.62.1.el7.x86_64

System Overview :
===============

-------------------------------------------------------------------------------------
Ctl Model                   Ports PDs DGs DNOpt VDs VNOpt BBU  sPR DS  EHS ASOs Hlth 
-------------------------------------------------------------------------------------
  0 AVAGOMegaRAIDSAS9361-8i     8  36   6     0   6     0 Msng On  1&2 Y      3 Opt  
  1 AVAGOMegaRAIDSAS9361-8i     8  36   6     0   6     0 Msng On  1&2 Y      3 Opt  
-------------------------------------------------------------------------------------

    输出信息对照表

    参数解释
    Ctrl 控制器索引，一个编号对应一个RAID卡，编号从0开始
    Model RAID卡型号
    PDs 物理驱动器，表示当前RAID卡连接硬盘个数
    DGs 驱动器组，表示当前驱动器组个数，一般与VDs个数一致
    VDs 虚拟驱动器，表示当前虚拟驱动器个数
    • storcli /cx show [all]
      查看控制器相关配置信息
      注：x为控制器索引，如需查看第一个控制器配置信息，可执行命令storcli /c0 show；当x为all时表示为所有，如查看所有控制器配置信息，则执行命令storcli /call show
    • storcli /cx/vx show [all]
      查看/指定控制器/指定虚拟驱动器配置信息
    [root@node174 ~]# storcli /c0/vall show
Controller = 0
Status = Success
Description = None


Virtual Drives :
==============

--------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC      Size Name 
--------------------------------------------------------------
0/0   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
1/1   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
2/2   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
3/3   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
4/4   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
5/5   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
--------------------------------------------------------------

    输出信息对照表

    参数解释
    DG/VD 磁盘组编号/虚拟驱动器编号
    TYPE 虚拟驱动器类型，可选参数为JBOD、RAID0、RAID1、RAID5、RAID6等
    State 虚拟驱动器状态，可选参数为Optl(Optimal，表示正常状态)、Dgrd（Degraded，表示降低状态，如虚拟驱动器出现磁盘损坏）
    • storcli /cx/ex/sx show [all]
      查看/指定控制器/指定机箱面板/指定磁盘插槽配置信息
    [root@node174 ~]# storcli /c0/eall/sall show
Controller = 0
Status = Success
Description = Show Drive Information Succeeded.


Drive Information :
=================

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type 
-------------------------------------------------------------------------------
6:1      21 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:2     104 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
10:1    231 Onln   2 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
10:2    158 Onln   2 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -

    输出信息对照表

    参数解释
    EID：Slt 机箱面板编号:磁盘插槽编号
    State 磁盘状态，可选参数为Onln(磁盘上线，即加入RAID组)、Offln(磁盘离线，即脱离RAID组)、JBOD(磁盘直通)、
    UGood(此状态下可用于创建RAID或热备盘) 、UBad（磁盘存在其他RAID配置，需手动设置为UGood状态）、
    Rbld(此状态下磁盘处于重建状态)
    DG 磁盘组编号，表示哪些磁盘属于同一组RAID
    Size 磁盘容量大小
    Intf 磁盘接口类型，可选参数为SATA、SAS
    Med 磁盘存储介质类型，可选参数为HDD、SSD
    SeSz 磁盘扇区大小
    Model 磁盘型号

    3、RAID配置

    3.1、处理异常状态

    RAID配置之前，涉及磁盘需还原为初始状态（State为UGood，DG为-）

    • 磁盘State为RAIDx
      手动删除所有的虚拟驱动器：storcli /cx/vx del
    • 磁盘State为Ubad
      手动更改指定磁盘状态为UGood：storcli /cx/ex/sx set good
    storcli /c0/e10/s14 set good

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type 
-------------------------------------------------------------------------------
10:14   233 UGood  F 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
-------------------------------------------------------------------------------
    • 磁盘State为UGood，DG为F
      手动删除所有磁盘外部配置：storcli /cx/fall del
    storcli /c0/fall del

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type 
-------------------------------------------------------------------------------
10:14   233 UGood  - 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
-------------------------------------------------------------------------------

    3.2、配置RAID模式

    • 手动创建RAID：storcli /cx add vd type=raid[0|1|5|6|10|50|60][Size=,,..|*all][name=,..] drives=e:s|e:s-x|e:s-x,y;e:s-x,y,z
    storcli /c0 add vd type=raid5  drives=6:11-12,10:1-3
    3.2.1、逻辑磁盘管理
    • 显示逻辑磁盘信息：storcli /cx/vx show
    • 显示更详细的逻辑磁盘信息：storcli /cx/vx show all
    • 手动删除逻辑磁盘：storcli /cx/vx del
    • 设置逻辑磁盘写策略：storcli /cx/vx set wrcache=wt/wb/awb
      注：默认为RWTD模式，参考华为文档：开启RAID卡Cache
    3.2.2、热备盘管理
    • 设置磁盘为全局热备盘：storcli /cx/ex/sx add hotsparedrive
    • 删除某块全局热备盘：storcli /cx/ex/sx del hostsparedrive
    • 设置磁盘为某个磁盘组的局部热备盘：storcli /cx/ex/sx add hotsparedrive dgs=x
    • 删除某个磁盘组的某块局部热备盘：storcli /cx/ex/sx del hostsparedrive dgs=x

    3.3、配置JBOD模式

    • 开启RAID卡直通功能：storcli /cx set jbod=on
      查看配置是否设置成功：storcli /c0 show jbod
    • 手动设置控制器所有磁盘为JBOD模式：storcli /cx/eall/sall set jbod
    • 取消JBOD模式设置：storcli /cx/eall/sall set good force

    4、RAID重构

    • 设置RAID重构速率：storcli /cx set rebuildrate=x
      注：以百分比为单位，取值范围为0~100
    • 查看RAID重构速率：storcli /cx show rebuildrate
    • 查看某块磁盘的重构情况：storcli /cx/ex/sx show rebuild
      注：当RAID降级，对应RAID组冗余磁盘会启动数据重构操作，可通过storcli /c0/eall/sall show | grep -i Rbld查找处于重构状态磁盘的插槽ID
    • 暂停某块磁盘的重构任务：storcli /cx/ex/sx pause rebuild

    5、硬盘定位

    点亮硬盘定位指示灯：storcli /cx/ex/sx start locate
    关闭硬盘定位指示灯：storcli /cx/ex/sx stop locate
    注：执行以上操作，需要先找到磁盘对应插槽位置ID，可通过以下方式查找

    5.1、RAID模式

    • 查找磁盘对应scsi_id
      可通过lsscsi --scsi_id -g查找磁盘对应scsi_id，如示例sda磁盘scsi_id为600062b007a78de229f4c51c4adff9b7
    [root@node174 ~]# lsscsi  --scsi_id -g | grep sda
[0:2:0:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sda   3600062b007a78de229f4c51c4adff9b7  /dev/sg2
    • 查找scsi_id对应RAID组及所属磁盘列表
      可通过storcli /call/vall show all查看所有RAID组的SCSI NAA Id，如示例sda磁盘scsi_id为600062b007a78de229f4c51c4adff9b7，所属raid组为/c0/v0，所属磁盘插槽为6:1-6
    [root@node174 ~]# storcli /call/vall show all 
/c0/v0 :
======

--------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC      Size Name 
--------------------------------------------------------------
0/0   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
--------------------------------------------------------------
PDs for VD 0 :
============

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type 
-------------------------------------------------------------------------------
6:1      21 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:2     104 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:3      20 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:4     123 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:5      23 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:6      84 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
-------------------------------------------------------------------------------
VD0 Properties :
==============
Strip Size = 256 KB
Number of Blocks = 46879735808
VD has Emulated PD = Yes
Span Depth = 1
Number of Drives Per Span = 6
Write Cache(initial setting) = WriteBack
Disk Cache Policy = Disk's Default
Encryption = None
Data Protection = Disabled
Active Operations = None
Exposed to OS = Yes
Creation Date = 22-04-2022
Creation Time = 01:45:00 AM
Emulation type = default
Cachebypass size = Cachebypass-64k
Cachebypass Mode = Cachebypass Intelligent
Is LD Ready for OS Requests = Yes
SCSI NAA Id = 600062b007a78de229f4c51c4adff9b7

    5.2、JBOD模式

    • 查看磁盘对应SN号
      可通过smartctl -a /dev/sdx | grep -i "Serial Number"查找磁盘对应SN号，如示例磁盘SN号为ZAD1C133
    [root@node174 ~]# smartctl -a /dev/sda  | grep -i "Serial Number"
Serial Number:    ZAD1C133
    • 查看SN号对应磁盘插槽ID
      可通过storcli /call/eall/sall show all | grep -B 2 '{Serial Number}'查找对应SN号所属磁盘插槽ID，如示例磁盘SN号ZAD1C133所属插槽ID为6:3
    [root@node174 ~]# storcli /call/eall/sall show all | grep -B 2 'ZAD1C133'
Drive /c0/e6/s3 Device attributes :
=================================
SN =             ZAD1C133
    <wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">
  • 相关阅读:
    Java 注解（Annotation）
    定时任务相关介绍
    Linux基础命令yum
    Linux基础命令rpm
    Linux基础命令date（如何设置时间？ 如何同步时间？）
    Linux基础命令tar（如何压缩文件？如何解压文件？如何不解压查看内容？）
    Linux基础命令gzip
    Linux基础命令zip unzip (压缩 解压)
    Linux中压缩的概念（什么是压缩包？）
    Linux基础命令练习答案7.27
  • 原文地址：https://www.cnblogs.com/luxf0/p/16243718.html
Copyright © 2020-2023  润新知