系统由于链路问题导致部分Veritas磁盘变成failed状态,卷中的镜像plex变为"DISABLED NODEVICE"状态。
#> vxdisk list
DEVICE TYPE DISK GROUP STATUS
AMS_WMS0_0 auto:cdsdisk OCS_DATA_DG01 OCS_DATA_DG online
AMS_WMS0_1 auto:simple OCS_DATA_DG03 OCS_DATA_DG online
AMS_WMS1_0 auto:cdsdisk - - online
AMS_WMS1_1 auto - - error
Disk_0 auto:none - - online invalid
Disk_1 auto:none - - online invalid
- - OCS_DATA_DG02 OCS_DATA_DG failed was:AMS_WMS1_0
- - OCS_DATA_DG04 OCS_DATA_DG failed was:AMS_WMS1_1
#> vxprint -hrvt
Disk group: OCS_DATA_DGST NAME STATE DM_CNT SPARE_CNT APPVOL_CNT
DM NAME DEVICE TYPE PRIVLEN PUBLEN STATE
RV NAME RLINK_CNT KSTATE STATE PRIMARY DATAVOLS SRL
RL NAME RVG KSTATE STATE REM_HOST REM_DG REM_RLNK
CO NAME CACHEVOL KSTATE STATE
VT NAME RVG KSTATE STATE NVOLUME
V NAME RVG/VSET/CO KSTATE STATE LENGTH READPOL PREFPLEX UTYPE
PL NAME VOLUME KSTATE STATE LENGTH LAYOUT NCOL/WID MODE
SD NAME PLEX DISK DISKOFFS LENGTH [COL/]OFF DEVICE MODE
SV NAME PLEX VOLNAME NVOLLAYR LENGTH [COL/]OFF AM/NM MODE
SC NAME PLEX CACHE DISKOFFS LENGTH [COL/]OFF DEVICE MODE
DC NAME PARENTVOL LOGVOL
SP NAME SNAPVOL DCO
EX NAME ASSOC VC PERMS MODE STATEdm OCS_DATA_DG01 AMS_WMS0_0 auto 65536 104758320 -
dm OCS_DATA_DG02 - - - - NODEVICE
dm OCS_DATA_DG03 AMS_WMS0_1 auto 65536 419311008 -
dm OCS_DATA_DG04 - - - - NODEVICEv OCS_DATA_1 - ENABLED ACTIVE 94371840 SELECT - fsgen
pl OCS_DATA_1-01 OCS_DATA_1 ENABLED ACTIVE 94371840 CONCAT - RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0 AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1 DISABLED NODEVICE 94371840 CONCAT - RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0 - RLOC
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v OCS_DATA_1_dcl - ENABLED ACTIVE 13248 SELECT - gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT - RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENAv OCS_DATA_2 - ENABLED ACTIVE 417333248 SELECT - fsgen
pl OCS_DATA_2-01 OCS_DATA_2 ENABLED ACTIVE 417333248 CONCAT - RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0 AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2 DISABLED NODEVICE 417333248 CONCAT - RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0 - RLOC
1. 修复failed disk
链路恢复后,重新扫描磁盘并执行reattach即可修复failed disk.
#> vxdctl enable
#> vxdisk list
DEVICE TYPE DISK GROUP STATUS
AMS_WMS0_0 auto:cdsdisk OCS_DATA_DG01 OCS_DATA_DG online
AMS_WMS0_1 auto:simple OCS_DATA_DG03 OCS_DATA_DG online
AMS_WMS1_0 auto:cdsdisk - - online
AMS_WMS1_1 auto:simple - - online
Disk_0 auto:none - - online invalid
Disk_1 auto:none - - online invalid
- - OCS_DATA_DG02 OCS_DATA_DG failed was:AMS_WMS1_0
- - OCS_DATA_DG04 OCS_DATA_DG failed was:AMS_WMS1_1
#> vxreattach
#> vxdisk list
DEVICE TYPE DISK GROUP STATUS
AMS_WMS0_0 auto:cdsdisk OCS_DATA_DG01 OCS_DATA_DG online
AMS_WMS0_1 auto:simple OCS_DATA_DG03 OCS_DATA_DG online
AMS_WMS1_0 auto:cdsdisk OCS_DATA_DG02 OCS_DATA_DG online
AMS_WMS1_1 auto:simple OCS_DATA_DG04 OCS_DATA_DG online
Disk_0 auto:none - - online invalid
Disk_1 auto:none - - online invalid
磁盘修复后,卷中的plex变为"DISABLED RECOVER"状态。
#> vxprint -hrt
Disk group: OCS_DATA_DGDG NAME NCONFIG NLOG MINORS GROUP-ID
ST NAME STATE DM_CNT SPARE_CNT APPVOL_CNT
DM NAME DEVICE TYPE PRIVLEN PUBLEN STATE
RV NAME RLINK_CNT KSTATE STATE PRIMARY DATAVOLS SRL
RL NAME RVG KSTATE STATE REM_HOST REM_DG REM_RLNK
CO NAME CACHEVOL KSTATE STATE
VT NAME RVG KSTATE STATE NVOLUME
V NAME RVG/VSET/CO KSTATE STATE LENGTH READPOL PREFPLEX UTYPE
PL NAME VOLUME KSTATE STATE LENGTH LAYOUT NCOL/WID MODE
SD NAME PLEX DISK DISKOFFS LENGTH [COL/]OFF DEVICE MODE
SV NAME PLEX VOLNAME NVOLLAYR LENGTH [COL/]OFF AM/NM MODE
SC NAME PLEX CACHE DISKOFFS LENGTH [COL/]OFF DEVICE MODE
DC NAME PARENTVOL LOGVOL
SP NAME SNAPVOL DCO
EX NAME ASSOC VC PERMS MODE STATE
SR NAME KSTATEdg OCS_DATA_DG default default 52000 1196252223.18.ocs00biiacc001
st Clone_Pool manual - - -
st Data_Pool manual 4 - 3
dm OCS_DATA_DG01 AMS_WMS0_0 auto 65536 104758320 -
dm OCS_DATA_DG02 AMS_WMS1_0 auto 65536 104758320 -
dm OCS_DATA_DG03 AMS_WMS0_1 auto 65536 419311008 -
dm OCS_DATA_DG04 AMS_WMS1_1 auto 65536 419311008 -v OCS_DATA_1 - ENABLED ACTIVE 94371840 SELECT - fsgen
pl OCS_DATA_1-01 OCS_DATA_1 ENABLED ACTIVE 94371840 CONCAT - RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0 AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1 DISABLED RECOVER 94371840 CONCAT - RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0 AMS_WMS1_0 RLOC
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v OCS_DATA_1_dcl - ENABLED ACTIVE 13248 SELECT - gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT - RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENAv OCS_DATA_2 - ENABLED ACTIVE 417333248 SELECT - fsgen
pl OCS_DATA_2-01 OCS_DATA_2 ENABLED ACTIVE 417333248 CONCAT - RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0 AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2 DISABLED RECOVER 417333248 CONCAT - RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0 AMS_WMS1_1 RLOC
2. 修复"DISABLED RECOVER"状态的plex
- 使用vxmend命令将plex设置为offline状态
#> vxmend -g OCS_DATA_DG -o force off OCS_DATA_1-02
#> vxmend -g OCS_DATA_DG -o force off OCS_DATA_2-02
#> vxprint -hrt
Disk group: OCS_DATA_DGDG NAME NCONFIG NLOG MINORS GROUP-ID
ST NAME STATE DM_CNT SPARE_CNT APPVOL_CNT
DM NAME DEVICE TYPE PRIVLEN PUBLEN STATE
RV NAME RLINK_CNT KSTATE STATE PRIMARY DATAVOLS SRL
RL NAME RVG KSTATE STATE REM_HOST REM_DG REM_RLNK
CO NAME CACHEVOL KSTATE STATE
VT NAME RVG KSTATE STATE NVOLUME
V NAME RVG/VSET/CO KSTATE STATE LENGTH READPOL PREFPLEX UTYPE
PL NAME VOLUME KSTATE STATE LENGTH LAYOUT NCOL/WID MODE
SD NAME PLEX DISK DISKOFFS LENGTH [COL/]OFF DEVICE MODE
SV NAME PLEX VOLNAME NVOLLAYR LENGTH [COL/]OFF AM/NM MODE
SC NAME PLEX CACHE DISKOFFS LENGTH [COL/]OFF DEVICE MODE
DC NAME PARENTVOL LOGVOL
SP NAME SNAPVOL DCO
EX NAME ASSOC VC PERMS MODE STATE
SR NAME KSTATEdg OCS_DATA_DG default default 52000 1196252223.18.ocs00biiacc001
st Clone_Pool manual - - -
st Data_Pool manual 4 - 3
dm OCS_DATA_DG01 AMS_WMS0_0 auto 65536 104758320 -
dm OCS_DATA_DG02 AMS_WMS1_0 auto 65536 104758320 -
dm OCS_DATA_DG03 AMS_WMS0_1 auto 65536 419311008 -
dm OCS_DATA_DG04 AMS_WMS1_1 auto 65536 419311008 -v OCS_DATA_1 - ENABLED ACTIVE 94371840 SELECT - fsgen
pl OCS_DATA_1-01 OCS_DATA_1 ENABLED ACTIVE 94371840 CONCAT - RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0 AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1 DISABLED OFFLINE 94371840 CONCAT - RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0 AMS_WMS1_0 RLOC
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v OCS_DATA_1_dcl - ENABLED ACTIVE 13248 SELECT - gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT - RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENAv OCS_DATA_2 - ENABLED ACTIVE 417333248 SELECT - fsgen
pl OCS_DATA_2-01 OCS_DATA_2 ENABLED ACTIVE 417333248 CONCAT - RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0 AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2 DISABLED OFFLINE 417333248 CONCAT - RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0 AMS_WMS1_1 RLOC
- 使用vxmend命令将plex设置为stale状态
#> vxmend -g OCS_DATA_DG on OCS_DATA_1-02
#> vxmend -g OCS_DATA_DG on OCS_DATA_2-02
#> vxprint -hrt
Disk group: OCS_DATA_DGDG NAME NCONFIG NLOG MINORS GROUP-ID
ST NAME STATE DM_CNT SPARE_CNT APPVOL_CNT
DM NAME DEVICE TYPE PRIVLEN PUBLEN STATE
RV NAME RLINK_CNT KSTATE STATE PRIMARY DATAVOLS SRL
RL NAME RVG KSTATE STATE REM_HOST REM_DG REM_RLNK
CO NAME CACHEVOL KSTATE STATE
VT NAME RVG KSTATE STATE NVOLUME
V NAME RVG/VSET/CO KSTATE STATE LENGTH READPOL PREFPLEX UTYPE
PL NAME VOLUME KSTATE STATE LENGTH LAYOUT NCOL/WID MODE
SD NAME PLEX DISK DISKOFFS LENGTH [COL/]OFF DEVICE MODE
SV NAME PLEX VOLNAME NVOLLAYR LENGTH [COL/]OFF AM/NM MODE
SC NAME PLEX CACHE DISKOFFS LENGTH [COL/]OFF DEVICE MODE
DC NAME PARENTVOL LOGVOL
SP NAME SNAPVOL DCO
EX NAME ASSOC VC PERMS MODE STATE
SR NAME KSTATEdg OCS_DATA_DG default default 52000 1196252223.18.ocs00biiacc001
st Clone_Pool manual - - -
st Data_Pool manual 4 - 3
dm OCS_DATA_DG01 AMS_WMS0_0 auto 65536 104758320 -
dm OCS_DATA_DG02 AMS_WMS1_0 auto 65536 104758320 -
dm OCS_DATA_DG03 AMS_WMS0_1 auto 65536 419311008 -
dm OCS_DATA_DG04 AMS_WMS1_1 auto 65536 419311008 -v OCS_DATA_1 - ENABLED ACTIVE 94371840 SELECT - fsgen
pl OCS_DATA_1-01 OCS_DATA_1 ENABLED ACTIVE 94371840 CONCAT - RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0 AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1 DISABLED STALE 94371840 CONCAT - RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0 AMS_WMS1_0 RLOC
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v OCS_DATA_1_dcl - ENABLED ACTIVE 13248 SELECT - gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT - RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENAv OCS_DATA_2 - ENABLED ACTIVE 417333248 SELECT - fsgen
pl OCS_DATA_2-01 OCS_DATA_2 ENABLED ACTIVE 417333248 CONCAT - RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0 AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2 DISABLED STALE 417333248 CONCAT - RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0 AMS_WMS1_1 RLOC
- reattach stale plex
#> vxplex -g OCS_DATA_DG att OCS_DATA_1 OCS_DATA_1-02 &
[1] 22533
#> vxplex -g OCS_DATA_DG att OCS_DATA_2 OCS_DATA_2-02 &
[2] 22984
#> vxtask list
TASKID PTID TYPE/STATE PCT PROGRESS
22797 ATCOPY/R 01.54% 0/94371840/1456128 PLXATT OCS_DATA_1 OCS_DATA_1-02 OCS_DATA_DG
22798 ATCOPY/R 00.06% 0/417333248/241664 PLXATT OCS_DATA_2 OCS_DATA_2-02 OCS_DATA_DG
同步完成后,系统恢复正常。
#> vxdisk list
DEVICE TYPE DISK GROUP STATUS
AMS_WMS0_0 auto:cdsdisk OCS_DATA_DG01 OCS_DATA_DG online
AMS_WMS0_1 auto:simple OCS_DATA_DG03 OCS_DATA_DG online
AMS_WMS1_0 auto:cdsdisk OCS_DATA_DG02 OCS_DATA_DG online
AMS_WMS1_1 auto:simple OCS_DATA_DG04 OCS_DATA_DG online
Disk_0 auto:none - - online invalid
Disk_1 auto:none - - online invalid
c1t0d0s2 auto - - error
#> vxprint -hrt
Disk group: OCS_DATA_DGDG NAME NCONFIG NLOG MINORS GROUP-ID
ST NAME STATE DM_CNT SPARE_CNT APPVOL_CNT
DM NAME DEVICE TYPE PRIVLEN PUBLEN STATE
RV NAME RLINK_CNT KSTATE STATE PRIMARY DATAVOLS SRL
RL NAME RVG KSTATE STATE REM_HOST REM_DG REM_RLNK
CO NAME CACHEVOL KSTATE STATE
VT NAME RVG KSTATE STATE NVOLUME
V NAME RVG/VSET/CO KSTATE STATE LENGTH READPOL PREFPLEX UTYPE
PL NAME VOLUME KSTATE STATE LENGTH LAYOUT NCOL/WID MODE
SD NAME PLEX DISK DISKOFFS LENGTH [COL/]OFF DEVICE MODE
SV NAME PLEX VOLNAME NVOLLAYR LENGTH [COL/]OFF AM/NM MODE
SC NAME PLEX CACHE DISKOFFS LENGTH [COL/]OFF DEVICE MODE
DC NAME PARENTVOL LOGVOL
SP NAME SNAPVOL DCO
EX NAME ASSOC VC PERMS MODE STATE
SR NAME KSTATEdg OCS_DATA_DG default default 52000 1196252223.18.ocs00biiacc001
st Clone_Pool manual - - -
st Data_Pool manual 4 - 3
dm OCS_DATA_DG01 AMS_WMS0_0 auto 65536 104758320 -
dm OCS_DATA_DG02 AMS_WMS1_0 auto 65536 104758320 -
dm OCS_DATA_DG03 AMS_WMS0_1 auto 65536 419311008 -
dm OCS_DATA_DG04 AMS_WMS1_1 auto 65536 419311008 -v OCS_DATA_1 - ENABLED ACTIVE 94371840 SELECT - fsgen
pl OCS_DATA_1-01 OCS_DATA_1 ENABLED ACTIVE 94371840 CONCAT - RW
sd OCS_DATA_DG01-01 OCS_DATA_1-01 OCS_DATA_DG01 0 94371840 0 AMS_WMS0_0 ENA
pl OCS_DATA_1-02 OCS_DATA_1 ENABLED ACTIVE 94371840 CONCAT - RW
sd OCS_DATA_DG02-02 OCS_DATA_1-02 OCS_DATA_DG02 6896 94371840 0 AMS_WMS1_0 ENA
dc OCS_DATA_1_dco OCS_DATA_1 OCS_DATA_1_dcl
v OCS_DATA_1_dcl - ENABLED ACTIVE 13248 SELECT - gen
pl OCS_DATA_1_dcl-01 OCS_DATA_1_dcl ENABLED ACTIVE 13248 CONCAT - RW
sd OCS_DATA_DG01-02 OCS_DATA_1_dcl-01 OCS_DATA_DG01 94371840 13248 0 AMS_WMS0_0 ENAv OCS_DATA_2 - ENABLED ACTIVE 417333248 SELECT - fsgen
pl OCS_DATA_2-01 OCS_DATA_2 ENABLED ACTIVE 417333248 CONCAT - RW
sd OCS_DATA_DG03-01 OCS_DATA_2-01 OCS_DATA_DG03 0 417333248 0 AMS_WMS0_1 ENA
pl OCS_DATA_2-02 OCS_DATA_2 ENABLED ACTIVE 417333248 CONCAT - RW
sd OCS_DATA_DG04-01 OCS_DATA_2-02 OCS_DATA_DG04 0 417333248 0 AMS_WMS1_1 ENA