三节点DSC搭建

一、新建共享硬盘    1

1、准备两台虚拟机关机并新增共享存储硬盘    1

2、使用fdisk -l命令查看共享磁盘（root用户下）    2

二、DSC配置    3

1、在节点DSC0上划分共享磁盘上的裸设备    3

2、在三个节点上安装达梦数据库    5

3、在机器DSC0上准备dmdcr_cfg.ini配置文件    5

4、在机器DSC0上使用DMASMCMD工具初始化    6

4.1、授权    6

4.2、初始化    7

5、准备DMASM的MAL配置文件（命名为dmasvrmal.ini）    8

6、准备dmdcr.ini 配置文件    8

7、启动DMCSS、DMASM服务程序    10

8、在DSC0上使用dmasmtool工具创建DMASM磁盘组    10

9、准备dminit.ini配置文件，保存到节点DSC0的/home/dmdba/dmdbms/data目录    11

11、给/home/dmdba/dmdbms/data赋权    12

12、启动数据库服务器    12

三、测试    13

四、注册服务    15

一、新建共享硬盘

1、准备两台虚拟机关机并新增共享存储硬盘

第一台：

第二台：前面操作一样

在虚拟机路径下这个文件中，添加disk.locking="false"

    

2、使用fdisk -l命令查看共享磁盘（root用户下）

磁盘 /dev/sdb：21.5 GB, 21474836480 字节，41943040 个扇区

Units = 扇区 of 1 * 512 = 512 bytes

扇区大小(逻辑/物理)：512 字节 / 512 字节

I/O 大小(最小/最佳)：512 字节 / 512 字节

二、DSC配置

1、在节点DSC0上划分共享磁盘上的裸设备

（1）输入fdisk /dev/sdb命令

（2）依次输入nàpà1à回车à+200Mà回车,完成第一块磁盘划分。

（3）依次输入nàpà2à回车à+200Mà回车,完成第二块磁盘划分。

（4）依次输入nàpà3à回车à+4096Mà回车,完成第三块磁盘划分。

（5）依次输入nàpà4à回车à+回车à回车,完成第四块磁盘划分。

（6）输入w，保存信息

（7）编辑两节点下的/etc/udev/rules.d/60-raw.rules 文件，增加以下语句：

ACTION=="add" , KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add", KERNEL=="sdb2", RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="add", KERNEL=="sdb3", RUN+="/bin/raw /dev/raw/raw3 %N"

ACTION=="add", KERNEL=="sdb4", RUN+="/bin/raw /dev/raw/raw4 %N"

ACTION=="add", KERNEL=="raw[1-4]", OWNER="root", GROUP="root", MODE="660"

（8）两个节点分别执行命令，通知已经划分了分区：

partprobe /dev/sdb

（9）在节点DSC0上执行命令，完成裸设备绑定

    udevadm trigger --action=add

（10）查看裸设备的大小

blockdev --getsize64 /dev/raw/raw1[1/2/3/4]

2、在三个节点上安装达梦数据库

3、在机器DSC0上准备dmdcr_cfg.ini配置文件

保存在/home/dmdba/dmdbms/data

DCR_N_GRP = 3

DCR_VTD_PATH = /dev/raw/raw2

DCR_OGUID = 63635

[GRP]

DCR_GRP_TYPE = CSS

DCR_GRP_NAME = GRP_CSS

DCR_GRP_N_EP = 3

DCR_GRP_DSKCHK_CNT = 60

[GRP_CSS]

DCR_EP_NAME = CSS0

DCR_EP_HOST = 192.168.138.198

DCR_EP_PORT = 9341

[GRP_CSS]

DCR_EP_NAME = CSS1

DCR_EP_HOST = 192.168.138.199

DCR_EP_PORT = 9343

[GRP_CSS]

DCR_EP_NAME = CSS2

DCR_EP_HOST = 192.168.138.120

DCR_EP_PORT= 9345

[GRP]

DCR_GRP_TYPE = ASM

DCR_GRP_NAME = GRP_ASM

DCR_GRP_N_EP = 3

DCR_GRP_DSKCHK_CNT = 60

[GRP_ASM]

DCR_EP_NAME = ASM0

DCR_EP_SHM_KEY = 93360

DCR_EP_SHM_SIZE = 10

DCR_EP_HOST = 192.168.138.198

DCR_EP_PORT = 9349

DCR_EP_ASM_LOAD_PATH = /dev/raw

[GRP_ASM]

DCR_EP_NAME = ASM1

DCR_EP_SHM_KEY = 93361

DCR_EP_SHM_SIZE = 10

DCR_EP_HOST = 192.168.138.199

DCR_EP_PORT = 9351

DCR_EP_ASM_LOAD_PATH = /dev/raw

[GRP_ASM]

DCR_EP_NAME = ASM2

DCR_EP_SHM_KEY = 93362

DCR_EP_SHM_SIZE = 10

DCR_EP_HOST = 192.168.138.120

DCR_EP_PORT = 9353

DCR_EP_ASM_LOAD_PATH = /dev/raw

[GRP]

DCR_GRP_TYPE = DB

DCR_GRP_NAME = GRP_DSC

DCR_GRP_N_EP = 3

DCR_GRP_DSKCHK_CNT = 60

[GRP_DSC]

DCR_EP_NAME = DSC0

DCR_EP_SEQNO = 0

DCR_EP_PORT = 5236

DCR_CHECK_PORT = 9741

[GRP_DSC]

DCR_EP_NAME = DSC1

DCR_EP_SEQNO = 1

DCR_EP_PORT = 5236

DCR_CHECK_PORT = 9742

[GRP_DSC]

DCR_EP_NAME = DSC2

DCR_EP_SEQNO = 2

DCR_EP_PORT = 5236

DCR_CHECK_PORT = 9743

4、在机器DSC0上使用DMASMCMD工具初始化

4.1、授权

注：只在一台机器上执行即可，此处dmdcr_cfg.ini配置文件在主节点dsc1上，所以执行初始化，也在主节点完成即可。

ll /dev/raw

ll /dev/sdb1

ll /dev/sdb2

ll /dev/sdb3

ll /dev/sdb4

可以看到现在所属用户与组均为 root

修改所属用户和组

chown -R dmdba:dinstall /dev/raw

chown -R dmdba:dinstall /dev/sdb1

chown -R dmdba:dinstall /dev/sdb2

chown -R dmdba:dinstall /dev/sdb3

chown -R dmdba:dinstall /dev/sdb4

ll /dev/raw

ll /dev/sdb1

ll /dev/sdb2

ll /dev/sdb3

ll /dev/sdb4

4.2、初始化

注：只在一台机器上执行即可，此处dmdcr_cfg.ini配置文件在主节点DSC0上，所以执行初始化，也在主节点完成即可。

因为前面已经执行了授权所以在dmdba上面执行即可

在bin目录下执行：

cd /home/dmdba/dmdbms/bin

./dmasmcmd

ASM>create dcrdisk '/dev/raw/raw1' 'dcr'

ASM>create votedisk '/dev/raw/raw2' 'vote'

ASM>create asmdisk '/dev/raw/raw3' 'LOG0'

ASM>create asmdisk '/dev/raw/raw4' 'DATA0'

ASM>init dcrdisk '/dev/raw/raw1' from '/home/dmdba/dmdbms/data/dmdcr_cfg.ini' identified by 'abcd'

ASM>init votedisk '/dev/raw/raw2' from '/home/dmdba/dmdbms/data/dmdcr_cfg.ini'

5、准备DMASM的MAL配置文件（命名为dmasvrmal.ini）

使用 DMASM 的所有节点都要配置（dmdba用户下配置），内容完全一样，保存到/home/dmdba/dmdbms/data, 目录下

[MAL_INST1]

MAL_INST_NAME = ASM0

MAL_HOST = 192.168.138.198

MAL_PORT = 7236

[MAL_INST2]

MAL_INST_NAME = ASM1

MAL_HOST = 192.168.138.199

MAL_PORT = 7237

[MAL_INST3]

MAL_INST_NAME = ASM2

MAL_HOST = 192.168.138.120

MAL_PORT = 7238

 

6、准备dmdcr.ini 配置文件

在dmdba用户下的/home/dmdba/dmdbms/data目录下配置dmdcr.ini，其中dmdcr_path相同，dmasvrmal.ini文件内容也相同，dmdcr_seqo分别为0和1和2

节点DSC0 192.168.138.198:

DMDCR_PATH = /dev/raw/raw1

DMDCR_MAL_PATH =/home/dmdba/dmdbms/data/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径

DMDCR_SEQNO = 0

#ASM 重启参数，命令行方式启动

DMDCR_ASM_RESTART_INTERVAL = 0

DMDCR_ASM_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmasmsvr dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

#DB 重启参数，命令行方式启动

DMDCR_DB_RESTART_INTERVAL = 0

DMDCR_DB_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver path=/home/dmdba/dmdbms/data/dsc0_config/dm.ini dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

节点DSC1 192.168.138.199:

DMDCR_PATH = /dev/raw/raw1

DMDCR_MAL_PATH =/home/dmdba/dmdbms/data/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径

DMDCR_SEQNO = 1

#ASM 重启参数，命令行方式启动

DMDCR_ASM_RESTART_INTERVAL = 0

DMDCR_ASM_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmasmsvr dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

#DB 重启参数，命令行方式启动

DMDCR_DB_RESTART_INTERVAL = 0

DMDCR_DB_STARTUP_CMD=/home/dmdba/dmdbms/bin/dmserver path=/home/dmdba/dmdbms/data/dsc1_config/dm.ini dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

节点DSC1 192.168.138.120:

DMDCR_PATH = /dev/raw/raw1

DMDCR_MAL_PATH =/home/dmdba/dmdbms/data/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径

DMDCR_SEQNO = 2

#ASM 重启参数，命令行方式启动

DMDCR_ASM_RESTART_INTERVAL = 0

DMDCR_ASM_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmasmsvr dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

#DB 重启参数，命令行方式启动

DMDCR_DB_RESTART_INTERVAL = 0

DMDCR_DB_STARTUP_CMD=/home/dmdba/dmdbms/bin/dmserver path=/home/dmdba/dmdbms/data/dsc1_config/dm.ini dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

7、启动DMCSS、DMASM服务程序

在两个节点分别先后启动dmcss、dmasm程序

[root@dameng01 bin]# ./dmcss DCR_INI=/home/dmdba/dmdbms/data/dmdcr.ini

控制台打印如下：

[root@dameng01 bin]# ./dmasmsvr DCR_INI=/home/dmdba/dmdbms/data/dmdcr.ini

8、在DSC0上使用dmasmtool工具创建DMASM磁盘组

./dmasmtool DCR_INI=/home/dmdba/dmdbms/data/dmdcr.ini

9、准备dminit.ini配置文件，保存到节点DSC0的/home/dmdba/dmdbms/data目录

db_name = dsc

system_path = +DMDATA/data

system = +DMDATA/data/dsc/system.dbf

system_size = 128

roll = +DMDATA/data/dsc/roll.dbf

roll_size = 128

main = +DMDATA/data/dsc/main.dbf

main_size = 128

ctl_path = +DMDATA/data/dsc/dm.ctl

ctl_size = 8

log_size = 256

dcr_path = /dev/raw/raw1 #dcr 磁盘路径，目前不支持 asm，只能是裸设备

dcr_seqno = 0

auto_overwrite = 1

[DSC0] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应

config_path = /home/dmdba/dmdbms/data/dsc0_config

port_num = 5236

mal_host = 192.168.138.198

mal_port = 9340

log_path = +DMLOG/log/dsc0_log01.log

log_path = +DMLOG/log/dsc0_log02.log

[DSC1] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应

config_path = /home/dmdba/dmdbms/data/dsc1_config

port_num = 5236

mal_host = 192.168.138.199

mal_port = 9341

log_path = +DMLOG/log/dsc1_log01.log

log_path = +DMLOG/log/dsc1_log02.log

[DSC2] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应

config_path = /home/dmdba/dmdbms/data/dsc2_config

port_num = 5236

mal_host = 192.168.138.120

mal_port = 9342

log_path = +DMLOG/log/dsc2_log01.log

log_path = +DMLOG/log/dsc2_log02.log

11、给/home/dmdba/dmdbms/data赋权

Chown –R dmdba:dinstall /home/dmdba/dmdbms/data

12、启动数据库服务器

DSC0:

./dmserver /home/dmdba/dmdbms/data/dsc0_config/dm.ini dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

DSC1:

./dmserver /home/dmdba/dmdbms/data/dsc1_config/dm.ini dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

DSC2:

./dmserver /home/dmdba/dmdbms/data/dsc2_config/dm.ini dcr_ini=/home/dmdba/dmdbms/data/dmdcr.ini

启动完成

三、测试

输入查询语句：select * from v$dsc_ep_info;

可以看到DSC0是控制节点，DSC1和DSC2是Normal节点。

在DSC0节点创建表格：

create table users(

    uname varchar(20),

    age int);

在DSC1中插入数据：

insert into users values('hyf',23);

commit;

在DSC2中查询

select * from users;

查询结果成功！

至此三节点的DSC集群搭建成功。

结束进程DSC2

此时DSC2节点无法提供服务，测试其他两个节点

测试显示其他两个节点依然能提供服务。

四、注册服务

配置自动拉起服务

注册服务需要使用root用户

DSC0:

//注册DMCSS服务

./dm_service_installer.sh -t dmcss -p DMCSS0 -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini

//注册DMAMS服务

./dm_service_installer.sh -t dmasmsvr -p DMASM0 -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini -y DmCSSServiceDMCSS0

//注册实例服务

./dm_service_installer.sh -t dmserver -p DSC0 -dm_ini /home/dmdba/dmdbms/data/dsc0_config/dm.ini -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini -y DmASMSvrServiceDMASM0.service

DSC1：

//注册DMCSS服务

./dm_service_installer.sh -t dmcss -p DMCSS1 -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini

//注册DMAMS服务

./dm_service_installer.sh -t dmasmsvr -p DMASM1 -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini -y DmCSSServiceDMCSS1

//注册实例服务

./dm_service_installer.sh -t dmserver -p DSC1 -dm_ini /home/dmdba/dmdbms/data/dsc1_config/dm.ini -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini -y DmASMSvrServiceDMASM1.service

DSC2：

//注册DMCSS服务

./dm_service_installer.sh -t dmcss -p DMCSS2 -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini

//注册DMAMS服务

./dm_service_installer.sh -t dmasmsvr -p DMASM2 -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini -y DmCSSServiceDMCSS2

//注册实例服务

./dm_service_installer.sh -t dmserver -p DSC2 -dm_ini /home/dmdba/dmdbms/data/dsc2_config/dm.ini -dcr_ini /home/dmdba/dmdbms/data/dmdcr.ini -y DmASMSvrServiceDMASM2.service

注意：后面的-y *** 要加上，不然会提示以下信息：

搭建成功后修改两节点配置文件dmdcr.ini，将 DMDCR_ASM_RESTART_INTERVAL 与 DMDCR_DB_RESTART_INTERVAL值修改为不等于0 即可，css即可自动拉起asm与server服务，此处改为10，为超过设置的时间后，如果 DMASM 节点与DMDSC节点的 active 标记仍然为 FALSE，则 DMCSS 会执行自动拉起。

在注册DMASM服务时候，会提示/usr/lib/systemd/system/DmCSSServiceDmCSS1不存在，解决办法如下：

cp -p /home/dmdba/dmdbms/bin/DmCSSServiceDmCss1 /usr/lib/systemd/system/