【原创】MySQL Cluster安装部署（Success）

参考：http://www.cnblogs.com/zhoulf/archive/2013/01/30/2883207.html

安装要求

安装环境：centos6.3（X64）

软件名称 ：mysql-cluster-gpl-7.3.8-linux-glibc2.5-x86_64.tar.gz (通用版)

管理节点IP:10.61.5.51

数据节点-SQL节点IP:10.61.5.52

数据节点-SQL节点IP:10.61.5.52

安装依赖包：yum install -y glibc perl libaio-devel

[虚拟机上上网代理配置：

vim /etc/yum.conf   在文件最后加上：

Proxy=http://10.61.5:3128]

x32位系统要安装兼容库组：yum groupinstall “Compatibility libraries”

软件安装位置：/usr/local/mysql
数据存放位置：/var/mysql/data
日志存放位置：/var/mysql/logs

检查安装的mysql

检查系统中已经安装过的mysql信息，操作如下：

[root@localhost /]# rpm -qa | grep mysql
[root@localhost /]# service mysql status

如果安装过其他版本的mysql，请卸载，操作如下：

[root@localhost /]# /etc/init.d/mysqld stop  //关闭目前的mysql服务 
[root@localhost /]# ps -ef | grep mysql  //检验mysql是否已经关闭 
#如果没关闭，执行kill -9 端口号 
#执行删除 
rpm -e --allmatches --nodeps mysql mysql-server
rm -rf /var/lib/mysql  // 删除mysql的安装目录

管理节点

管理节点安装

安装管理节点（10.61.5.51）

[root@localhost /]# groupadd mysql
[root@localhost /]#  useradd mysql -g mysql
[root@localhost /]# cd /usr/local
[root@localhost local]# tar -zxv -f mysql-cluster-gpl-7.3.8-linux-glibc2.5-x86_64.tar.gz

[root@localhost local]# mv mysql-cluster-gpl-7.3.8-linux-glibc2.5-x86_64  mysql
[root@localhost local]# chown -R mysql:mysql mysql
[root@localhost local]# cd mysql
[root@localhost mysql]# scripts/mysql_install_db --user=mysql

管理节点配置

[root@localhost ~]#  mkdir /var/lib/mysql-cluster
[root@localhost ~]# cd /var/lib/mysql-cluster
[root@localhost mysql-cluster]# vi + /var/lib/mysql-cluster/config.ini

在config.ini 中添加以下内容:

[NDBD DEFAULT]
NoOfReplicas=1
[TCP DEFAULT]
portnumber=3307 

(数据节点上的ndb启动后会占用其本机的3306端口，以至于Mysqld就启动不了，在此设置为3307，sql节点上的配置文件中mysqld端口改为3307即可)

[NDB_MGMD]
#设置管理节点服务器 
HostName=10.61.5.52
DataDir=/var/mysql/data

[NDBD]
#设置存储节点服务器(NDB节点)
HostName=10.61.5.53
DataDir=/var/mysql/data

[NDBD]
#第二个NDB节点 
HostName=10.61.5.51
DataDir=/var/mysql/data

[MYSQLD]
#设置SQL节点服务器 
HostName=10.61.5.52
[MYSQLD]
#第二个SQL节点 
HostName=10.61.5.53

管理节点启动

[root@localhost ~]# /usr/local/mysql/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini
[root@localhost ~]# mkdir /var/mysql/logs
[root@localhost ~]# netstat -lntpu

看到tcp 0 0 0.0.0.0:1186开放说明启动正常 
开启管理节点服务器的1186端口

管理节点检验

执行以下操作：

在/usr/local/mysql/bin下执行  ./ndb_mgm      // 管理节点

-- NDB Cluster -- Management Client --
ndb_mgm> show

Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]     2 node(s)
id=2 (not connected, accepting connect from 192.168.15.234)
id=3 (not connected, accepting connect from 192.168.15.235)

[ndb_mgmd(MGM)] 1 node(s)
id=1    @192.168.15.231  (mysql-5.5.22 ndb-7.2.6)

[mysqld(API)]   2 node(s)
id=4 (not connected, accepting connect from 192.168.15.232)
id=5 (not connected, accepting connect from 192.168.15.233)

管理节点关闭

[root@localhost /]# /usr/local/mysql/bin/ndb_mgm -e shutdown

#成功后终端打印出以下信息 
Connected to Management Server at: 192.168.15.236:1186
1 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.

数据节点

数据节点安装

数据节点1： 10.61.5.52
数据节点2： 10.61.5.53

[root@localhost /]# groupadd mysql
[root@localhost /]# useradd mysql -g mysql
[root@localhost /]# cd /usr/local
[root@localhost local]# tar -zxv -f mysql-cluster-gpl-7.3.8-linux-glibc2.5-x86_64.tar.gz

[root@localhost local]# mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
[root@localhost local]# chown -R mysql:mysql mysql
[root@localhost local]# cd mysql
[root@localhost mysql]# scripts/mysql_install_db --user=mysql
[root@localhost mysql]# cp support-files/my-medium.cnf /etc/my.cnf

（此处的my-medium.cnf在对应文件夹下没有，故跳过没有操作）
[root@localhost mysql]# cp support-files/mysql.server /etc/init.d/mysqld

数据节点配置

对数据节点进行配置，执行以下操作：

[root@localhost mysql]# mkdir /var/mysql/data
[root@localhost mysql]# mkdir /var/mysql/logs
[root@localhost mysql]# vi /etc/my.cnf

向文件追加以下内容：

[MYSQLD]
ndbcluster
ndb-connectstring=10.61.5.51

[MYSQL_CLUSTER]
ndb-connectstring=10.61.5.51
[NDB_MGM]
connect-string=10.61.5.51

mysql起动报错The server quit without updating PID file (/usr/local/mysql/data/mysql.pid

http://rabbit2013.blog.51cto.com/6658739/1341055

文件/etc/my.cnf中内容如下：

[mysqld]

datadir=/usr/local/mysql/data

log-error=/usr/local/mysql/data/mysqld.log

pid-file=/usr/local/mysql/data/mysql.pid

socket=/usr/local/mysql/data/mysql.sock

(mysqld中socket不可与数据节点中配置的socket路径一样，一样的话会冲突)

user=mysql

tmpdir=/tmp

# Disabling symbolic-links is recommended to prevent assorted security risks

symbolic-links=0

[mysqld_safe]

log-error=/var/log/mysqld.log

（日志文件 可查看）

pid-file=/var/run/mysqld/mysqld.pid

[MYSQLD]

ndbcluster

ndb-connectstring=10.61.5.51

port=3307

（端口号默认3306，会与数据节点的冲突，故改为3307）

[MYSQL_CLUSTER]

ndb-connectstring=10.61.5.51

[NDB_MGM]

connect-string=10.61.5.51

数据节点启动

启动此处时，管理节点服务器防火墙必须开启1186,3306端口。 

(网上有对应的资料 可参考http://www.jb51.net/LINUXjishu/63566.html

启动各节点之前关闭防火墙 service iptables stop)
注意：只是在第一次启动或在备份／恢复或配置变化后重启ndbd时，才加–initial参数！ 
第一次启动如下：

[root@localhost mysql]# /usr/local/mysql/bin/ndbd --initial
2013-01-30 13:43:53 [ndbd] INFO     -- Angel connected to '10.61.5.51'
2013-01-30 13:43:53 [ndbd] INFO     -- Angel allocated nodeid: 2

正常启动方式：

[root@localhost mysql]# /usr/local/mysql/bin/ndbd

数据节点关闭

[root@localhost /]# /etc/rc.d/init.d/mysqld stop
或者 
[root@localhost mysql]# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS!

/usr/local/mysql/bin/mysqladmin -uroot shutdown

SQL节点安装

SQL节点安装

sql节点1： 10.61.5.52
sql节点2： 10.61.5.53

SQL节点配置

执行以下操作：

[root@localhost mysql]# mkdir /var/mysql/data     //创建存储数据的文件夹 
[root@localhost mysql]# mkdir /var/mysql/logs     //创建存储日志的文件夹 
[root@localhost mysql]# vi /usr/local/mysql/my.cnf  //修改配置文件

追加以下内容：

[MYSQLD]
ndbcluster
ndb-connectstring=10.61.5.51
[MYSQL_CLUSTER]
ndb-connectstring=10.61.5.51
[NDB_MGM]
connect-string=10.61.5.51

文件/etc/my.cnf中添加内容如下：

[MYSQLD]

ndbcluster

ndb-connectstring=10.61.5.51

port=3307 （与管理节点的端口一致）

[MYSQL_CLUSTER]

ndb-connectstring=10.61.5.51

[NDB_MGM]

connect-string=10.61.5.51

SQL节点启动

执行以下操作：

[root@localhost mysql]# service mysqld start
Starting MySQL.. SUCCESS!

SQL节点关闭

最直接的方式：

[root@localhost mysql]# /usr/local/mysql/bin/mysqladmin -uroot shutdown

[root@localhost /]# /etc/rc.d/init.d/mysqld stop
或者 
[root@localhost mysql]# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS!

功能测试

在管理节点（10.61.5.51）上查看服务状态

 

可以看到这里的数据节点、管理节点、sql节点都是正常的。 
注意：

l 在建表的时候一定要用ENGINE=NDB或ENGINE=NDBCLUSTER指定使用NDB集群存储引擎，或用ALTER TABLE选项更改表的存储引擎。

l NDB表必须有一个主键，因此创建表的时候必须定义主键，否则NDB存储引擎将自动生成隐含的主键。

l Sql节点的用户权限表仍然采用MYISAM存储引擎保存的，所以在一个Sql节点创建的MySql用户只能访问这个节点，如果要用同样的用户访问别的Sql节点，需要在对应的Sql节点追加用户。虽然在MySql Cluster7.2版本开始提供了”用户权限共享”。

数据同步性测试

在一个数据节点上进行相关数据库的创建，然后到另外一个数据节点上看看数据是否同步。

第1步：

SQL节点1（10.61.5.52）上增加数据：

[root@localhost mysql]#  /etc/rc.d/init.d/mysqld status                //检验mysql是否运行 
[root@localhost mysql]# /etc/rc.d/init.d/mysqld start                   //启动mysql
[root@localhost mysql]# /usr/local/mysql/bin/mysql -u root -p
Enter password:
mysql> show databases;
mysql> create database testdb2;
mysql> use testdb2;
mysql> CREATE TABLE td_test2 (i INT) ENGINE=NDB;
//这里必须指定数据库表的引擎为NDBCLUSTER，与配置文件中的名称相同 
mysql> INSERT INTO td_test2() VALUES (1);
mysql> INSERT INTO td_test2() VALUES (152);
mysql> SELECT * FROM td_test2;

第2步：

进入到SQL节点2（10.61.5.53）上查看数据

mysql> use testdb2;
Database changed
mysql> SELECT * FROM td_test2;
+------+
| i    |
+------+
|  126 |
|    1 |
+------+
2 rows in set (0.01 sec)

查看表的引擎是不是NDB：

>show create table td_test2;

第3步：

反向测试，SQL节点2（10.61.5.53）上增加数据：

mysql> create database bb;
mysql> use bb;
mysql> CREATE TABLE td_test3 (i INT) ENGINE=NDB;
mysql> INSERT INTO td_test3 () VALUES (98);
mysql> SELECT * FROM td_test3;

SQL节点1（190.61.5.52）上查看数据：

mysql>  use bb;
Database changed
mysql>  SELECT * FROM td_test3;
+------+
| i    |
+------+
|   98 |
+------+
1 row in set (0.00 sec)

关闭集群

先关闭管理节点，然后关闭SQL节点和数据节点。

集群启动操作顺序

要再次启动集群，按照以下顺序执行： 
管理节点 -> 数据节点 –> SQL节点 注意：此次启动数据节点时不要加”–initial”参数。 

安装及测试中的错误

启动中的错误

错误提示：

1、曾经试图将mysql集群安装到自定义的路径下，但是在启动节点时总是出现‘cannot open /usr/local/mysql/data....’等错误，网上查询说是权限的问题，最后一致修改权限，无果。将安装路径改到了 /usr/local/mysql/。

2、mysql起动报错The server quit without updating PID file (/usr/local/mysql/data/  解决：

http://blog.sina.com.cn/s/blog_637e04c9010117ri.html  --很好！

http://rabbit2013.blog.51cto.com/6658739/1341055

http://blog.rekfan.com/articles/186.html  --各种解法汇集

http://blog.csdn.net/faye0412/article/details/7038290  --解决方法之一

http://www.cnblogs.com/zuoxingyu/archive/2013/05/03/3056121.html

 

3、集群安装参考：

http://javayoyo.iteye.com/blog/1727710

http://www.cnblogs.com/zhoulf/archive/2013/01/30/2883207.html

http://lizhenliang.blog.51cto.com/7876557/1290451

http://www.lvtao.net/database/mysql-cluster.html   --3台服务器篇

http://yeti.mtm.net.cn/?p=607

4、Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) 
解决办法1（端口占用） netstat -anp |grep 3306
kill -9 进程号 
解决办法1（权限问题） [root@localhost mysql]# chown -R mysql:mysql /var/mysql          //修改自定义文件夹的访问权限

5、测试的时候输入命令：/usr/local/mysql/bin/mysql -u root -p
出现错误： ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2) 

解决：http://chinacheng.iteye.com/blog/1100999

linux#     ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock 

6、按照数据同步性测试步骤进行测试时：

第一步可以，第二步在以/usr/local/mysql/bin/mysql -u root -p
进入数据库53时输入 use testdb2；时出现error，后来输入q退出后,使用/usr/local/mysql/bin/mysql -u ‘’ -p再次进入时可用testdb2.

第三步中，53以root进去之后，建数据库表后，在52上直接可以访问。才是在53上以root也可访问52上的东西。