一、PXC简介
PXC集群是一个开源的MySQL高可用解决方案，它将Percona Server和Xtrabackup与Galera库集成，以实现同步多主复制。基于Galera的高可用方案主要有MariaDB Galera Cluster（MGC）和Percona XtraDB Cluster（PXC），目前PXC架构在生产环境中用的更多而且更成熟些，PXC相比那些传统的基于主从模式的集群架构MHA和双主，PXC最突出的特点就是解决了诟病已久的复制延迟问题，基本上可以达到实时同步。而且节点与节点之间，它们互相的关系是对等的。本身Galera Cluster也是一种多主架构。PXC是在存储引擎层实现的同步复制，而非异步复制，所以其数据的一致性是相当高的。
其工作原理如下：
要搭建PXC架构至少需要三台MySQL实例来组成一个集群，三个实例之间不是主从模式，而是各自为主，所以三者之间的关系是对等的，不分主从，这也叫multi-master架构，客户端读写时，连接哪个实例都是一样的，读取到的数据是相同的，写入任意一个实例后，集群会将自己新写入的数据同步到其他实例上，这种架构不共享任何数据，是一种高冗余的MySQL集群架构。
1.1 PXC集群优缺点
优点
- 实现了MySQL集群的高可用性和数据的强一致性；
- 完成了真正的多节点读写的集群方案；
- 改善了主从复制延迟的问题，基本上达到了实时同步；
- 新加入的节点可以自动同步数据，无需提前手动备份，维护方便；
- 由于是多节点写入，所以数据库故障切换很容易；
缺点
- 加入新节点时开销大，因为添加新节点时，必须从现有节点之一复制完整的数据集，如果现有的数据库中数据为100GB，则复制100GB；
- 任何更新的事务都需要全局验证通过，才会在其他节点上执行，集群性能受限于最差的节点，也就是所谓的短板效应（木桶定律）；
- 因为需要保证数据的一致性，PXC采用的实时基于存储引擎层来实现同步复制，所以在多节点并发写入时，锁冲突问题比较严重；
- 存在写扩大的问题，所有节点上都会发生写操作，对于写负载较大的场景，不推荐使用PXC；
- 仅支持Innodb存储引擎；
1.2 PXC工作原理
PXC的操作流程大体是这样的，首先客户端向请求连接的写入节点提交事务之前，由该节点将需要产生的replication writeset广播出去，然后获取全局事务ID，一并传送到其它的节点上去。其它节点通过certification合并数据之后，发现没有冲突数据，便执行apply_cb和commit_cb操作，否则就discard此次事务。
而当前节点（客户端请求的写入节点）通过验证之后，执行commit_cb操作，并返回OK给客户端。如果验证没有通过，则rollback_cb。
在生产线上的PXC集群中，至少要有三台节点。如果其中一个节点没有验证通过，出现了数据冲突，那么此时采取的方式就是将出现数据不一致的节点踢出集群，而且它会自动执行shutdown命令来自动关机。
1.3 PXC中重要概念
首先要规范集群中节点的数量，整个集群节点数控制在最少3个、最多8个的范围内。最少3个是为了防止脑裂现象，因为只有在两个节点的情况下才会出现脑裂。脑裂的表现就是输出任何命令，返回结果都是unkown command。
当一个新节点要加入PXC集群的时候，需要从集群中各节点里选举出一个doner节点作为全量数据的贡献者。PXC有两种节点的数据传输方式，一种叫SST全量传输，另一种叫IST增量传输。SST传输有XtraBackup、mysqldump、rsync三种方式，而增量传输只有XtraBackup。一般数据量不大的时候可以使用SST作为全量传输，但也只使用XtraBackup方式。
节点在集群中，会因新节点的加入或故障，同步失效等而发生状态的切换，下面列举出这些状态的含义：
- open：节点启动成功，尝试连接到集群；
- primary：节点已在集群中，在新节点加入集群时，选取donor进行数据同步时会产生式的状态；
- joiner：节点处于等待接收同步数据文件的状态；
- joined：节点已完成了数据同步，尝试保持和集群中其它节点进度一致；
- synced：节点正常提供服务的状态，表示已经同步完成并和集群进度保持一致；
- doner：节点处于为新加入节点提供全量数据时的状态；
二、部署PXC集群
2.1 环境准备
| OS | hostname | IP |
|---|---|---|
| Centos 7.5 | pxc-01 | 192.168.1.1 |
| Centos 7.5 | pxc-02 | 192.168.1.2 |
| Centos 7.5 | pxc-03 | 192.168.1.3 |
注：所有主机都是不需要提前安装MySQL服务的，在PXC的源码包中包括了MySQL服务的！
注：以下操作，三台节点都需进行操作，如果是在单独节点执行，会特别说明！
2.2 安装依赖
[root@pxc-01 ~]# yum install -y libev lsof perl-Compress-Raw-Bzip2 perl-Compress-Raw-Zlib
perl-DBD-MySQL perl-DBI perl-Digest perl-Digest-MD5 perl-IO-Compress
perl-Net-Daemon perl-PlRPC socat openssl openssl-devel
2.3 卸载mariadb
[root@pxc-01 ~]# yum -y erase mariadb && rpm -qa | grep mariadb | xargs rpm -e --nodeps
2.4 获取所需软件包
xtraBackup、Percona-XtraDB-Cluster、qpress
[root@pxc-01 ~]# wget https://www.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.18/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.18-1.el7.x86_64.rpm
[root@pxc-01 ~]# wget http://www.quicklz.com/qpress-11-linux-x64.tar
#上面这个包使用wget可能会报错406，用浏览器打开链接下载再上传到服务器即可。
[root@pxc-01 ~]# wget https://www.percona.com/downloads/Percona-XtraDB-Cluster-LATEST/Percona-XtraDB-Cluster-5.7.28-31.41/binary/tarball/Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101.tar.gz
#这个包下载的话，时间会稍微长一些，耐心等待。
2.5 配置qpress命令并安装xtrabackup
[root@pxc-01 ~]# tar xf qpress-11-linux-x64.tar -C /usr/bin
[root@pxc-01 ~]# rpm -ivh percona-xtrabackup-24-2.4.18-1.el7.x86_64.rpm
2.6 部署PXC服务
[root@pxc-01 ~]# useradd -M -r -s /bin/false mysql
[root@pxc-01 ~]# tar zxf Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101.tar.gz
[root@pxc-01 ~]# mv Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101 /usr/local/mysql
[root@pxc-01 ~]# mkdir -p /usr/local/mysql/data
[root@pxc-01 ~]# chown -R mysql.mysql /usr/local/mysql/
[root@pxc-01 ~]# echo "export PATH=/usr/local/mysql/bin:$PATH" >> /etc/profile
[root@pxc-01 ~]# source /etc/profile
2.7 定义MySQL服务的配置文件
① pxc-01节点完整配置文件
[root@pxc-01 ~]# cat > /etc/my.cnf << EOF
# Example: Percona XtraDB Cluster 5.7
[client]
port = 3306
socket = /tmp/mysql.sock
[mysql]
prompt="u@h R:m:s[d]> "
no-auto-rehash
[mysqld]
user = mysql
port = 3306
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
socket = /tmp/mysql.sock
pid-file = db.pid
character-set-server = utf8mb4
skip_name_resolve = 1
open_files_limit = 65535
back_log = 1024
max_connections = 512
max_connect_errors = 1000000
table_open_cache = 1024
table_definition_cache = 1024
table_open_cache_instances = 64
thread_stack = 512K
external-locking = FALSE
max_allowed_packet = 32M
sort_buffer_size = 4M
join_buffer_size = 4M
thread_cache_size = 768
#query_cache_size = 0
#query_cache_type = 0
interactive_timeout = 600
wait_timeout = 600
tmp_table_size = 32M
max_heap_table_size = 32M
slow_query_log = 1
slow_query_log_file = /usr/local/mysql/data/slow.log
log-error = /usr/local/mysql/data/error.log
long_query_time = 0.1
server-id = 1813306
log-bin = /usr/local/mysql/data/mysql-bin
sync_binlog = 1
binlog_cache_size = 4M
max_binlog_cache_size = 1G
max_binlog_size = 1G
expire_logs_days = 7
master_info_repository = TABLE
relay_log_info_repository = TABLE
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates
binlog_format = row #为了让Galera正确工作，binlog格式应该是ROW
relay_log_recovery = 1
relay-log-purge = 1
key_buffer_size = 32M
read_buffer_size = 8M
read_rnd_buffer_size = 4M
bulk_insert_buffer_size = 64M
lock_wait_timeout = 3600
explicit_defaults_for_timestamp = 1
innodb_thread_concurrency = 0
innodb_sync_spin_loops = 100
innodb_spin_wait_delay = 30
transaction_isolation = REPEATABLE-READ
innodb_buffer_pool_size = 1024M
innodb_buffer_pool_instances = 8
innodb_buffer_pool_load_at_startup = 1
innodb_buffer_pool_dump_at_shutdown = 1
innodb_data_file_path = ibdata1:1G:autoextend
innodb_flush_log_at_trx_commit = 1
innodb_log_buffer_size = 32M
innodb_log_file_size = 2G
innodb_log_files_in_group = 2
#innodb_max_undo_log_size = 4G
innodb_io_capacity = 2000
innodb_io_capacity_max = 4000
innodb_flush_neighbors = 0
innodb_write_io_threads = 4
innodb_read_io_threads = 4
innodb_purge_threads = 4
innodb_page_cleaners = 4
innodb_open_files = 65535
innodb_max_dirty_pages_pct = 50
innodb_flush_method = O_DIRECT
innodb_lru_scan_depth = 4000
innodb_checksum_algorithm = crc32
#innodb_file_format = Barracuda
#innodb_file_format_max = Barracuda
innodb_lock_wait_timeout = 10
innodb_rollback_on_timeout = 1
innodb_print_all_deadlocks = 1
innodb_file_per_table = 1
innodb_online_alter_log_max_size = 4G
internal_tmp_disk_storage_engine = InnoDB
innodb_stats_on_metadata = 0
# PXC 以上都是关于数据库优化的一些信息，大多数为可选配置，与pxc有关的都是下面的参数
wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so
wsrep_provider_options="gcache.size=2G"
wsrep_cluster_name=my_pxc_cluster
wsrep_cluster_address=gcomm://192.168.1.1,192.168.1.2,192.168.1.3
wsrep_node_name=pxc01
wsrep_node_address=192.168.1.1
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sst:pwd@123
pxc_strict_mode=ENFORCING
default_storage_engine=InnoDB #myisam存储引擎只能在测试环境中使用
innodb_autoinc_lock_mode=2 #此InnoDB自动增量锁定模式是Galera强制的
[mysqldump]
quick
max_allowed_packet = 32M
EOF
PXC相关的部分参数解释如下：
- wsrep_provider：指定所需插件的路径（默认有这个插件）；
- wsrep_provider_options="gcache.size=1G"：Gcache环形缓冲区的大小，在启动时预先分配，默认为10M。该配置还有其他选项：gcache.size代表用来缓存写集增量信息的大小。它的默认大小是128MB，通过wsrep_provider_options变量参数设置。建议调整为2G-4G范围，足够的空间便于缓存更多的增量信息；
- gcache.mem_size代表Gcache中内存缓存的大小，适度调大可以提高整个集群的性能；
- gcache.page_size可以理解为如果内存不够用（Gcache不足），就直接将写集写入到磁盘文件中；
- wsrep_cluster_name：此参数定义节点的逻辑集群名称，所有参与集群的节点必须指定相同的名称；
- wsrep_cluster_address：使用此参数来确定群集中其他节点的IP地址，当前唯一支持生产的后端模式是gcomm；
- wsrep_node_name：此参数用于设置节点自身的逻辑名称；
- wsrep_node_address：用于指定当前节点的IP地址；
- wsrep_sst_method：用于指定数据同步的方法，建议使用xtrabackup-v2；
- wsrep_sst_auth：定义要在sst复制数据时使用的用户及密码（数据库节点必须要有指定的用户及密码）；
- pxc_strict_mode：严格模式，官方建议该参数值为ENFORCING。有了这个配置，那么数据库中创建的任何表都必须有主键，否则无法写入数据；
更多更详细的PXC参数解释请移步：MySQL wsrep选项，会有惊奇的发现，同时，若要修改上面的配置项，还是建议去看详细的选项解释。
② pxc-02节点完整配置文件
与pxc-01节点相比，只有三处不能一样，下面都标注了出来！
root@pxc-02 ~]# cat > /etc/my.cnf << EOF
# Example: Percona XtraDB Cluster 5.7
[client]
port = 3306
socket = /tmp/mysql.sock
[mysql]
prompt="u@h R:m:s[d]> "
no-auto-rehash
[mysqld]
user = mysql
port = 3306
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
socket = /tmp/mysql.sock
pid-file = db.pid
character-set-server = utf8mb4
skip_name_resolve = 1
open_files_limit = 65535
back_log = 1024
max_connections = 512
max_connect_errors = 1000000
table_open_cache = 1024
table_definition_cache = 1024
table_open_cache_instances = 64
thread_stack = 512K
external-locking = FALSE
max_allowed_packet = 32M
sort_buffer_size = 4M
join_buffer_size = 4M
thread_cache_size = 768
#query_cache_size = 0
#query_cache_type = 0
interactive_timeout = 600
wait_timeout = 600
tmp_table_size = 32M
max_heap_table_size = 32M
slow_query_log = 1
slow_query_log_file = /usr/local/mysql/data/slow.log
log-error = /usr/local/mysql/data/error.log
long_query_time = 0.1
server-id = 1813307 # server-id不可以一样
log-bin = /usr/local/mysql/data/mysql-bin
sync_binlog = 1
binlog_cache_size = 4M
max_binlog_cache_size = 1G
max_binlog_size = 1G
expire_logs_days = 7
master_info_repository = TABLE
relay_log_info_repository = TABLE
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates
binlog_format = row
relay_log_recovery = 1
relay-log-purge = 1
key_buffer_size = 32M
read_buffer_size = 8M
read_rnd_buffer_size = 4M
bulk_insert_buffer_size = 64M
lock_wait_timeout = 3600
explicit_defaults_for_timestamp = 1
innodb_thread_concurrency = 0
innodb_sync_spin_loops = 100
innodb_spin_wait_delay = 30
transaction_isolation = REPEATABLE-READ
innodb_buffer_pool_size = 1024M
innodb_buffer_pool_instances = 8
innodb_buffer_pool_load_at_startup = 1
innodb_buffer_pool_dump_at_shutdown = 1
innodb_data_file_path = ibdata1:1G:autoextend
innodb_flush_log_at_trx_commit = 1
innodb_log_buffer_size = 32M
innodb_log_file_size = 2G
innodb_log_files_in_group = 2
#innodb_max_undo_log_size = 4G
innodb_io_capacity = 2000
innodb_io_capacity_max = 4000
innodb_flush_neighbors = 0
innodb_write_io_threads = 4
innodb_read_io_threads = 4
innodb_purge_threads = 4
innodb_page_cleaners = 4
innodb_open_files = 65535
innodb_max_dirty_pages_pct = 50
innodb_flush_method = O_DIRECT
innodb_lru_scan_depth = 4000
innodb_checksum_algorithm = crc32
#innodb_file_format = Barracuda
#innodb_file_format_max = Barracuda
innodb_lock_wait_timeout = 10
innodb_rollback_on_timeout = 1
innodb_print_all_deadlocks = 1
innodb_file_per_table = 1
innodb_online_alter_log_max_size = 4G
internal_tmp_disk_storage_engine = InnoDB
innodb_stats_on_metadata = 0
# PXC
wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so
wsrep_provider_options="gcache.size=2G"
wsrep_cluster_name=my_pxc_cluster
wsrep_cluster_address=gcomm://192.168.1.1,192.168.1.2,192.168.1.3
wsrep_node_name=pxc02 # 节点的逻辑名称不可以一样
wsrep_node_address=192.168.1.2 #这里的IP地址是本机的，当然也不一样
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sst:pwd@123
pxc_strict_mode=ENFORCING
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
[mysqldump]
quick
max_allowed_packet = 32M
EOF
③ pxc-03节点完整配置文件
同样，不能一样的还是那三处配置，分别是server-id、节点逻辑名称，以及节点IP地址。
[root@pxc-03 ~]# cat > /etc/my.cnf <<EOF
# Example: Percona XtraDB Cluster 5.7
[client]
port = 3306
socket = /tmp/mysql.sock
[mysql]
prompt="u@h R:m:s[d]> "
no-auto-rehash
[mysqld]
user = mysql
port = 3306
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
socket = /tmp/mysql.sock
pid-file = db.pid
character-set-server = utf8mb4
skip_name_resolve = 1
open_files_limit = 65535
back_log = 1024
max_connections = 512
max_connect_errors = 1000000
table_open_cache = 1024
table_definition_cache = 1024
table_open_cache_instances = 64
thread_stack = 512K
external-locking = FALSE
max_allowed_packet = 32M
sort_buffer_size = 4M
join_buffer_size = 4M
thread_cache_size = 768
#query_cache_size = 0
#query_cache_type = 0
interactive_timeout = 600
wait_timeout = 600
tmp_table_size = 32M
max_heap_table_size = 32M
slow_query_log = 1
slow_query_log_file = /usr/local/mysql/data/slow.log
log-error = /usr/local/mysql/data/error.log
long_query_time = 0.1
server-id = 1813308
log-bin = /usr/local/mysql/data/mysql-bin
sync_binlog = 1
binlog_cache_size = 4M
max_binlog_cache_size = 1G
max_binlog_size = 1G
expire_logs_days = 7
master_info_repository = TABLE
relay_log_info_repository = TABLE
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates
binlog_format = row
relay_log_recovery = 1
relay-log-purge = 1
key_buffer_size = 32M
read_buffer_size = 8M
read_rnd_buffer_size = 4M
bulk_insert_buffer_size = 64M
lock_wait_timeout = 3600
explicit_defaults_for_timestamp = 1
innodb_thread_concurrency = 0
innodb_sync_spin_loops = 100
innodb_spin_wait_delay = 30
transaction_isolation = REPEATABLE-READ
innodb_buffer_pool_size = 1024M
innodb_buffer_pool_instances = 8
innodb_buffer_pool_load_at_startup = 1
innodb_buffer_pool_dump_at_shutdown = 1
innodb_data_file_path = ibdata1:1G:autoextend
innodb_flush_log_at_trx_commit = 1
innodb_log_buffer_size = 32M
innodb_log_file_size = 2G
innodb_log_files_in_group = 2
#innodb_max_undo_log_size = 4G
innodb_io_capacity = 2000
innodb_io_capacity_max = 4000
innodb_flush_neighbors = 0
innodb_write_io_threads = 4
innodb_read_io_threads = 4
innodb_purge_threads = 4
innodb_page_cleaners = 4
innodb_open_files = 65535
innodb_max_dirty_pages_pct = 50
innodb_flush_method = O_DIRECT
innodb_lru_scan_depth = 4000
innodb_checksum_algorithm = crc32
#innodb_file_format = Barracuda
#innodb_file_format_max = Barracuda
innodb_lock_wait_timeout = 10
innodb_rollback_on_timeout = 1
innodb_print_all_deadlocks = 1
innodb_file_per_table = 1
innodb_online_alter_log_max_size = 4G
internal_tmp_disk_storage_engine = InnoDB
innodb_stats_on_metadata = 0
# PXC
wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so
wsrep_provider_options="gcache.size=2G"
wsrep_cluster_name=my_pxc_cluster
wsrep_cluster_address=gcomm://192.168.1.1,192.168.1.2,192.168.1.3
wsrep_node_name=pxc03
wsrep_node_address=192.168.1.3
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sst:pwd@123
pxc_strict_mode=ENFORCING
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
[mysqldump]
quick
max_allowed_packet = 32M
EOF
2.8 各个节点初始化MySQL服务并开启防火墙相关端口
[root@pxc-01 ~]# mysqld --initialize --defaults-file=/etc/my.cnf --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
#初始化MySQL服务
[root@pxc-01 ~]# firewall-cmd --permanent --add-port={3306,4567,4444,4568}/tcp
#开启防火墙相关端口
[root@pxc-01 ~]# firewall-cmd --reload
[root@pxc-01 ~]# firewall-cmd --list-all
public (active)
target: default
icmp-block-inversion: no
interfaces: ens33
sources:
services: ssh dhcpv6-client
ports: 3306/tcp 4567/tcp 4444/tcp 4568/tcp #确认端口已添加
protocols:
masquerade: no
forward-ports:
source-ports:
icmp-blocks:
rich rules:
相关端口信息如下：
- 3306：mysql服务端口；
- 4567：集群通讯端口；
- 4444：SST（State Snaphot Transfer）端口；
- 4568：IST（Incremental State Transfer）端口；
注：接下来的操作，如没有特殊声明，都是在pxc-01节点上进行。
2.9 pxc-01节点初始化集群
[root@pxc-01 ~]# mysqld --defaults-file=/etc/my.cnf --wsrep_new_cluster &
[root@pxc-01 ~]# ss -anptl | grep mysql
LISTEN 0 128 *:4567 *:* users:(("mysqld",pid=60655,fd=11))
LISTEN 0 128 :::3306 :::* users:(("mysqld",pid=60655,fd=24))
2.10 在pxc01主机查看初始密码并登录到MySQL
[root@pxc-01 ~]# grep password /usr/local/mysql/data/error.log
2020-04-24T08:44:25.856326Z 1 [Note] A temporary password is generated for root@localhost: 98,6c!Or(2kv
[root@pxc-01 ~]# mysql -uroot -p'98,6c!Or(2kv'
root@localhost 22:22: [(none)]> alter user root@localhost identified by '123.com';
#修改root用户的初始密码，才能进行其他操作
root@localhost 22:22: [(none)]> grant all privileges on *.* to sst@localhost identified by 'pwd@123';
# 创建配置文件中指定的sst账号，密码一定要和配置文件中指定的密码一致
2.11 将其他节点添加到集群
注：以下操作需要在每个要加入到pxc-01集群中的节点上执行，我这里是分别在pxc-02和pxc-03节点上执行的。
[root@pxc-02 ~]# mysqld --defaults-file=/etc/my.cnf &
[root@pxc-02 ~]# ss -anltp | grep mysql
#耐心等待一会，当发现3306端口在监听，则表示数据已同步，该节点已经加入到集群中
LISTEN 0 128 *:4567 *:* users:(("mysqld",pid=61731,fd=11))
LISTEN 0 128 :::3306 :::* users:(("mysqld",pid=61731,fd=36))
#启动成功后的节点，直接可以使用pxc-01节点设置的root密码进行数据库登录操作
#因为pxc-01节点的数据库信息已经同步到了本地数据库节点。
[root@pxc-02 ~]# mysql -uroot -p123.com
2.12 验证复制功能
在pxc-01节点创建库及表
[root@pxc-01 ~]# mysql -uroot -p123.com
root@localhost 22:23: [(none)]> create database test01;
root@localhost 22:24: [(none)]> use test01
root@localhost 22:31: [test01]> create table t1(id int primary key,name varchar(10));
# 分别在三个节点上插入一条数据
# pxc-01：
root@localhost 22:31: [test01]> insert into t1(id,name) values(1,'张三');
# pxc-02：
root@localhost 22:33: [(none)]> insert into test01.t1(id,name) values(2,'李四');
# pxc-03：
root@localhost 22:33: [(none)]> insert into test01.t1(id,name) values(3,'王五');
最后，在任意节点查看刚新建的表，它的数据应该都是以下这样的：
root@localhost 22:35: [test01]> select * from test01.t1;
+----+--------+
| id | name |
+----+--------+
| 1 | 张三 |
| 2 | 李四 |
| 3 | 王五 |
+----+--------+
2.13 添加MySQL为系统服务
添加为系统服务后，以后再启停服务就不需要想第一次启动服务一样使用mysqld命令来启动了，而是直接使用systemctl命令管理MySQL服务即可。
[root@pxc-01 ~]# cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
#拷贝脚本文件
[root@pxc-01 ~]# chkconfig --add mysqld #添加为系统服务
[root@pxc-01 ~]# chkconfig mysqld on #加入开机自启
至此，这三个节点都加入到了这个集群当中，以后若要添加其他的节点到该集群中，只要进行和pxc-02或pxc-03节点一样的配置即可（pxc-01节点的配置有些许不一样，因为它是群集中的第一个节点）。
2.14 查看集群状态
[root@pxc-01 ~]# mysql -uroot -p123.com
root@localhost 22:37: [(none)]> show global status like 'wsrep_cluster_s%';
+--------------------------+--------------------------------------+
| Variable_name | Value |
+--------------------------+--------------------------------------+
| wsrep_cluster_size | 3 |
| wsrep_cluster_state_uuid | da41833f-8607-11ea-8427-4e3fe6ff89a7 |
| wsrep_cluster_status | Primary |
+--------------------------+--------------------------------------+
参数解释如下：
- wsrep_cluster_size：当前群集中节点的数量；
- wsrep_cluster_state_uuid：群集的UUID，同一个集群中的UUID值必须是一致的；
- wsrep_cluster_status：群集组成的状态，值为primary表示正常。以下是各个不同状态值的解释：
- open：节点启动成功，尝试连接到集群；
- primary：节点已在集群中，在新节点加入集群时，选取donor进行数据同步时会产生式的状态；
- joiner：节点处于等待接收同步数据文件的状态；
- joined：节点已完成了数据同步，尝试保持和集群中其它节点进度一致；
- synced：节点正常提供服务的状态，表示已经同步完成并和集群进度保持一致；
- doner：节点处于为新加入节点提供全量数据时的状态；
root@localhost 22:38: [(none)]> show global status like 'wsrep_local_state';
+-------------------+-------+
| Variable_name | Value |
+-------------------+-------+
| wsrep_local_state | 4 |
+-------------------+-------+
wsrep_local_state：显示当前节点状态，值为4表示正常。该状态有四个值：
- joining：表示节点正在加入集群；
- doner：节点处于为新加入节点提供全量数据时的状态；
- joined：当前节点已成功加入集群；
- synced：当前节点与集群中各节点是同步状态；