11.2.0.4rac service_name参数修改

环境介绍

1）客户环境11.2.0.4 两节点 rac，集群重启后,集群资源一切正常，应用cs架构，连接数据库报错，提示连接对象不存在

2）分析报错原因，连接数据库方式：ip：Port/service_name方式连接数据库

       IP地址是scan_ip（客户未使用dns服务器，scan ip正常在节点一，实际情况在节点二，这个不影响scan的使用，本地节点二，使用scan ip可以连接)

       端口号是默认1521,且测试本地可以连接

       service_name,节点一 xx,节点二xx2，不一致，存在问题（默认rac搭建后，service_name参数两节点保存一致，人为调整可能不一致)

3）分析结论，应用连接只连接service_name=xx,只连接rac节点一，客户通过service_name实现，业务分割。
（当节点一主机 or 实例一 shutdown后，scan ip and service_name均飘逸至节点二，可以继续为应用提供服务）
本次集群重启后，优先启动节点二，scan ip挂载在节点二，然而节点一未shutdown,service_name 节点一服务名未飘逸，造成应用无法连接。

4）恢复操作，节点二，关闭scan ip服务，使其资源飘逸至节点一，至此操作结束

一、案例环境构建

1.1 环境介绍，linux5.6,database 11.2.0.3 release
1.2 测试流程 
rac安装初始化后，service_name名称，及每个节点监听的service_name名称
数据库参数修改service_name，造成节点1,2使用不同的service_name进行监听，让scan ip依附在节点二的Public Network card
模拟应用连接报错，使用scan_ip + port+ service_name_node1 进行连接

1.3 rac安装初始化后，service_name
1)数据库参数，两个实例参数均为jx

SQL> show parameter "service_names"

NAME TYPE VALUE
------------------------------------
service_names string jx

2）节点监听的service_name

节点一：jx1:/u01/app/oracle$ lsnrctl status

(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=192.168.60.100)(PORT=1521))) --public ip　
(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=192.168.60.152)(PORT=1521))) --vip

Service "jx" has 1 instance(s).
Instance "jx1", status READY

节点二：jx2:/u01/app/oracle$ lsnrctl status

(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=192.168.60.101)(PORT=1521)))
(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=192.168.60.153)(PORT=1521)))

Service "jx" has 1 instance(s).
Instance "jx2", status READY

1.4 数据库参数修改service_name

1）节点一，数据库参数service_name=jx不改变

2）如果使用一个错误的sid进行修改参数会如何？

参数提示修改成功，但其实并未生效，rac sid=instance_name，如下错误操作

SQL> alter system set service_names='jx2' sid='2';

System altered.

3）节点二，数据库参数service_name=jx2

SQL> show parameter instance_name

NAME TYPE VALUE
------------------------------------ ---------------------- ------------------------------
instance_name string jx2

SQL> alter system set service_names='jx2' sid='jx2';

System altered.

再次查询验证

SQL> show parameter service_name

NAME TYPE VALUE
------------------------------------ ---------------------- 
service_names string jx2

4）service_name修改后，什么时候生效

jx2:/u01/app/oracle$ lsnrctl status

Service "jx" has 1 instance(s).
Instance "jx2", status READY, has 1 handler(s) for this service...
Service "jx2" has 1 instance(s).
Instance "jx2", status READY, has 1 handler(s) for this service...

立即生效，并且历史的service_name服务还可以使用jx，不符合本次测试场景，节点二，关闭service_name=jx

5)集群命令，关闭监听注册监听的service资源,failed测试环境无法操作

由于集群资源历史原因未注册，因此无法通过集群命令关闭节点二中的，service "jx"资源

jx2:/u01/app/grid$ srvctl status service -d jx -s jx
PRCR-1001 : 资源 ora.jx.jx.svc 不存在

手工重新rac集群层面注册service name

srvctl add service 

-d <db_unique_name>      数据库的唯一名称

-s <service>             服务名

-r "<preferred_list>"    逗号分隔的首选实例列表

-a "<available_list>"    逗号分隔的备用实例列表

-P {NONE | BASIC | PRECONNECT}   TAF 策略规范

BASIC： 是指在感知到节点故障时才创建到其他实例的连接。
PRECONNECT：是在最初建立连接时就同时建立到所有实例的连接，当发生故障时，立刻就可以切换到其他链路上。

jx2:/u01/app/oracle$ srvctl add service -d jx -s jx -r "jx1,jx2" -P BASIC
PRCD-1210 : 服务名jx不能与数据库默认服务名jx相同

6）节点2监听资源重启

#错误示范，如下命令关闭集群所有监听资源

jx2:/u01/app/grid$ srvctl stop listener

jx2:/u01/app/grid$ srvctl status listener
监听程序 LISTENER 已启用
监听程序 LISTENER 未运行

jx2:/u01/app/grid$ srvctl start listener

jx2:/u01/app/grid$ crsctl stat res -t

ora.LISTENER.lsnr
ONLINE ONLINE jx1
ONLINE ONLINE jx2

#正确方式，关闭一个节点监听资源

jx2:/u01/app/grid$ srvctl stop listener -help  ，只关闭一个节点

jx2:/u01/app/grid$ srvctl stop listener -n jx2

jx2:/u01/app/grid$ crsctl stat res -t

ora.LISTENER.lsnr
ONLINE ONLINE jx1
OFFLINE OFFLINE jx2

再次启动节点2 监听资源

jx2:/u01/app/grid$ srvctl start listener -n jx2

jx2:/u01/app/grid$ srvctl status listener
监听程序 LISTENER 已启用
监听程序 LISTENER 正在节点上运行: jx1,jx2

监听节点2，重启监听程序，本以为节点2 service_name=jx2,节点2的监听程序无法监听jx服务名称

Service "jx" has 1 instance(s).
Instance "jx2", status READY, has 1 handler(s) for this service...
Service "jx2" has 1 instance(s).
Instance "jx2", status READY, has 1 handler(s) for this service...

7）修改默认的jx这服务名，让其不在节点2出现呢？

修改jx服务名，配置主备模式，平时只在节点一注册，失败，原因资源不存在

jx2:/u01/app/grid$ srvctl modify service -d jx -s jx -i jx1 -a jx2 -P basic
PRCR-1001 : 资源 ora.jx.jx.svc 不存在

jx2:/u01/app/grid$ srvctl remove service -d jx -s jx
PRCR-1001 : 资源 ora.jx.jx.svc 不存在

将节点一，也修改service_name,使用节点一的service_name 测试模拟实际报错，不使用数据库默认的Jx进行测试

8）通过集群命令增加一个service

让jx这个服务名，正常情况下只在节点1，节点一shutdown，飘逸至备用节点2，实现实验环境

jx2:/u01/app/oracle$ srvctl add service -d jx -s jx1 -r jx1 -a jx2 -P BASIC

jx2:/u01/app/oracle$ srvctl start service -d jx -s jx1

node1: listener status 资源状态

Service "jx1" has 1 instance(s).
Instance "jx1", status READY, has 1 handler(s) for this service...

实验环境确认

service_name  node1=jx1 node2=jx2

监听服务名      node1=jx,jx1  node2=jx,jx2

9)确认scan ip 在节点呢2上

jx2:/u01/app/11.2.0/grid/network/admin$ cat /etc/hosts

192.168.60.154 jx-scan

jx2:/u01/app/oracle$ /sbin/ifconfig -a

eth0:1 Link encap:Ethernet HWaddr 00:0C:29:8F:B5:EA
inet addr:192.168.60.154 Bcast:192.168.60.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

应用测试连接：无报错，本次实验还原失败

jx2:/u01/app/oracle$ sqlplus sys/oracle@192.168.60.154:1521/jx1 as sysdba

jx1:/u01/app/oracle$ ps -ef|grep LOCAL

oracle    24139      1  0 17:55 ?        00:00:00 oraclejx1 (LOCAL=NO)

jx2:/u01/app/11.2.0/grid/network/admin$ ps -ef|grep LOCAL

失败原因，猜测一,数据库版本问题11.2.0.3 与11.2.0.4 版本存在差异

        猜测二,service_name配置问题，本次测试使用的service_name是手工添加，与客户生产环境service_name存在差异

10）集群关闭scan资源，启动scan 资源再节点一提供服务

jx1:/u01/app/grid$ srvctl status scan
SCAN VIP scan1 已启用
SCAN VIP scan1 正在节点 jx2 上运行
jx1:/u01/app/grid$ srvctl status scan_listener
SCAN 监听程序 LISTENER_SCAN1 已启用
SCAN 监听程序 LISTENER_SCAN1 正在节点 jx2 上运行

jx1:/u01/app/grid$ crsctl stat res -t

ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE jx2

jx1:/u01/app/grid$ srvctl relocate scan -i 1 -n jx1   

jx1:/u01/app/grid$ srvctl status scan
SCAN VIP scan1 已启用
SCAN VIP scan1 正在节点 jx1 上运行

jx1:/u01/app/grid$ srvctl status scan_listener
SCAN 监听程序 LISTENER_SCAN1 已启用
SCAN 监听程序 LISTENER_SCAN1 正在节点 jx1 上运行

二、测试service_name 飘逸

数据库默认service_name

测试db层，修改参数 sid 一个实例，数据库shutdown，能否自动漂移

测试db层，修改所有实例都注册相同service_name

修改集群service,主某个节点，主节点shutdown,service_name自动飘逸备用节点

1）数据库默认service_name

jx2:/u01/app/oracle$ sqlplus sys/oracle@192.168.60.154:1521/jx as sysdba 

SQL>



2）测试db层，修改参数 sid 一个实例，数据库shutdown，能否自动漂移
测试jx2，使用的是数据库参数修改命令，测试数据库shutdown，节点一能否监听注册这个资源

节点2：:关闭数据库

测试连接节点2，失败

jx2:/u01/app/oracle$ sqlplus sys/oracle@192.168.60.154:1521/jx2 as sysdba

服务名并没有飘逸至节点一，因此节点一监听程序无法注册这个服务，带来应用无法通过这个服务名称进行访问



3）测试db层，修改整个集群都存在service_name,则均被注册，与数据库默认service_name,同理无需注册

4)测试集群编辑的service，能否切换

节点2:启动数据库

节点1:关闭数据库

节点2集群alert日志记录如下
2018-12-23 18:23:33.714: 
[crsd(2638)]CRS-2767:Resource state recovery not attempted for 'ora.jx.db' as its target state is OFFLINE
2018-12-23 19:06:19.865: 
[crsd(2638)]CRS-2765:Resource 'ora.jx.jx1.svc' has failed on server 'jx1'.
2018-12-23 19:06:19.865: 
[crsd(2638)]CRS-2771:Maximum restart attempts reached for resource 'ora.jx.jx1.svc'; will not restart.



jx2:/u01/app/oracle$ lsnrctl status

Service "jx1" has 1 instance(s).
Instance "jx2", status READY, has 1 handler(s) for this service...

jx2:/u01/app/oracle$  sqlplus sys/oracle@192.168.60.154:1521/jx1 as sysdba 

SQL> select spid from v$process where addr=(select paddr from v$session where sid=(select sid from v$mystat group by sid) 
and username='SYS' and STATUS='ACTIVE');

SPID
------------------------------------------------
28081

SQL> host ps -ef|grep 28081
oracle 28081 1 0 19:07 ? 00:00:00 oraclejx2 (LOCAL=NO)

三、测试集群管理service部分用法

查询资源状态

jx1:/u01/app/oracle$ srvctl status service -d jx -s jx1
服务 jx1 正在实例 jx1 上运行

添加service资源
手工重新rac集群层面注册service name

srvctl add service 

-d <db_unique_name>      数据库的唯一名称

-s <service>             服务名

-r "<preferred_list>"    逗号分隔的首选实例列表

-a "<available_list>"    逗号分隔的备用实例列表

-P {NONE | BASIC | PRECONNECT}   TAF 策略规范

BASIC： 是指在感知到节点故障时才创建到其他实例的连接。
PRECONNECT：是在最初建立连接时就同时建立到所有实例的连接，当发生故障时，立刻就可以切换到其他链路上。

jx2:/u01/app/oracle$ srvctl add service -d jx -s jx3 -r "jx1,jx2" -P BASIC
启动添加的集群服务

srvctl start service -d jx -s jx3
--对应数据库alert,最终还是修改service_name参数，但是集群层面可以实现，主备模式，手工修改数据库参数无法实现主备

Sun Dec 23 19:27:52 2018
ALTER SYSTEM SET service_names='jx1','jx3' SCOPE=MEMORY SID='jx1';

关闭服务

jx1:/u01/app/oracle$ srvctl stop service -d jx -s jx3 -i jx1
jx1:/u01/app/oracle$ srvctl stop service -d jx -s jx3 -i jx2

删除服务

jx1:/u01/app/oracle$ srvctl remove service -d jx -s jx3

让jx这个服务名，正常情况下只在节点1，节点一shutdown，飘逸至备用节点2，实现实验环境

jx2:/u01/app/oracle$ srvctl add service -d jx -s jx4 -r jx1 -a jx2 -P BASIC

jx2:/u01/app/oracle$ srvctl start service -d jx -s jx4

资源回切
jx1:/u01/app/oracle$ srvctl relocate service -d jx -s jx4 -i jx1 -t jx2

jx1:/u01/app/oracle$ srvctl relocate service -d jx -s jx4 -i jx2 -t jx1

修正，添加SCAN启动方式

srvctl start scan_listener 启动方式：
   默认启动节点1，使用-i 指定第几个scan_listener默认scan_listener1，使用-n 指定节点名称，可以在指定节点启动scn
srvctl start scan 启动方式：
   默认启动节点1，使用-i 指定第几个scan_listener默认scan_listener1，使用-n 指定节点名称，可以在指定节点启动scn   
关闭scan_listener方式：
   可以在scan_listener注册的节点使用lsnrctl stop scan_listener1 
              or   srvctl stop scan_listener -i 1 (1->scan_listener1)
     or   srvctl stop scan -i 1  -f
将另一个节点(节点二jx2)的scan_listener1漂移到本地jx1进行注册
srvctl relocate scan -i 1 -n jx1