按照此配置完全可以配置成功!!
一、介绍
========
测试环境：
Server1:ndbd 192.168.1.225
Server2:ndbd 192.168.1.226
Server3:mysqld --ndb-cluster 192.168.1.224 (ndbd_mgm ndbd_mgmd也在本机)
Server4:LVS 192.168.1.111 (调度主服务器,利用此服务器进行MYSQL的负载均衡,否则MYSQL CLUSTER只做到了数据同步的作用,好像在机制内部MYSQL NDB的各各节点上也会有负载均衡这一说!)
操作系统均为
RH AS4
所需软件包：
mysql-5.1.23-ndb-6.2.15-linux-i686-glibc23.tar.gz
下载地址：http://dev.mysql.com/downloads/mysql/5.0.html
首先，明确几个概念（参照下图）：
ndbd： 数据库节点,需要更大的内存。
mysqld --ndb-cluster： MySQL服务器节点，程序直接访问的是这台机器的IP。默认端口仍是3306,。
ndbd_mgm ndbd_mgmd：管理节点。管理／查看各库节点和服务器节点的状态,最好自己单独一台服务器,测试发现只要ndbd_mgmd程序死掉,所有的节点全部停止工作.
二、在Server1、Server2、Server3上安装MySQL
=================================
1.安装：
# mv mysql-5.1.23-ndb-6.2.15-linux-i686-glibc23.tar.gz /usr/local/
# cd /usr/local/
# tar -zxvf mysql-5.1.23-ndb-6.2.15-linux-i686-glibc23.tar.gz
# ln -s mysql-5.1.23-ndb-6.2.15-linux-i686-glibc23.tar.gz mysql
# groupadd mysql
# useradd -g mysql mysql
# cd mysql
# scripts/mysql_install_db --user=mysql
# chown -R mysql:mysql .
2.编辑配置文件：
# cp /usr/local/mysql/support-files/my-medium.cnf /etc/my.cnf
# vi /etc/my.cnf 在文件尾加入
............................................................
............................................................
# Options for mysqld process:
[MYSQLD]
ndbcluster # run NDB engine
ndb-connectstring=192.168.1.224 # location of MGM node
# Options for ndbd process:
[MYSQL_CLUSTER]
ndb-connectstring=192.168.1.224 # location of MGM node
保存＆退出
............................................................
............................................................
3.在Server1、Server2上创建日志文件夹，默认
# mkdir /var/lib/mysql-cluster
4.在Server3上创建ndb_mgmd启动配置文件：
# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# vi config.ini
内容如下：
Options affecting ndbd processes on all data nodes:
[NDBD DEFAULT]
NoOfReplicas=2 # Number of replicas
DataMemory=80M # How much memory to allocate for data storage
IndexMemory=18M # How much memory to allocate for index storage
# For DataMemory and IndexMemory, we have used the
# default values. Since the "world" database takes up
# only about 500KB, this should be more than enough for
# this example Cluster setup.
# TCP/IP options:
[TCP DEFAULT]
portnumber=2202 # This the default; however, you can use any
# port that is free for all the hosts in cluster
# Note: It is recommended beginning with MySQL 5.0 that
# you do not specify the portnumber at all and simply allow
# the default value to be used instead
# Management process options:
[NDB_MGMD]
hostname=192.168.1.224 # Hostname or IP address of MGM node
datadir=/var/lib/mysql-cluster # Directory for MGM node logfiles
# Options for data node "A":
[NDBD]
# (one [NDBD] section per data node)
hostname=192.168.1.225 # Hostname or IP address
datadir=/usr/local/mysql/data # Directory for this data node's datafiles
# Options for data node "B":
[NDBD]
hostname=192.168.1.226 # Hostname or IP address
datadir=/usr/local/mysql/data # Directory for this data node's datafiles
# SQL node options:
[MYSQLD]
[MYSQLD]
[MYSQLD]
#hostname=192.168.1.224 # Hostname or IP address
# (additional mysqld connections can be
# specified for this node for various
# purposes such as running ndb_restore)
保存＆退出
[MYSQLD]
[MYSQLD]
[MYSQLD]
表示允许有三台MySQL服务器从任何IP访问数据库结点。
各参数功能，请参考http://dev.mysql.com/doc/refman/ ... config-example.html
三、启动服务
============
Server3 /usr/local/mysql/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini
Server1 /usr/local/mysql/bin/ndbd --initial (只在第一次启动ndbd时使用--initial参数,通知ndbd执行初始化启动。初始化启动将删除以前ndbd实例为恢复目的创建的任何文件。它还能重新创建恢复用日志文件。注意，在某些操作系统上，该进程可能会占用较长的时间)
Server2 /usr/local/mysql/bin/ndbd --initial
Server3 /usr/local/mysql/support-files/mysql.Server start
四、检查工作状态
================
回到管理节点服务器Server3上，并启动管理终端：
# /usr/bin/ndb_mgm
键入show命令查看当前工作状态：（下面是一个状态输出示例）
ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s)
id=2 (not connected, accepting connect from 192.168.1.225)
id=3 @192.168.1.226 (Version: 5.0.22, Nodegroup: 0, Master)
[ndb_mgmd(MGM)] 1 node(s)
id=1 @192.168.1.224 (Version: 5.0.22)
[mysqld(API)] 3 node(s)
id=4 @192.168.1.224 (Version: 5.0.22)
id=5 (not connected, accepting connect from any host)
id=6 (not connected, accepting connect from any host)
mysqld(API)即mysqld --ndb-cluster，MySQL服务器节点。当前只有Server3 MySQL启动。
如果上面没有问题，现在开始测试MySQL：
注意，这篇文档对于MySQL并没有设置root密码，推荐你自己设置Server1、Server2、Server3的MySQL root密码。
在Server3中：
# /usr/local/mysql/bin/mysql
> use test;
> CREATE TABLE ctest (i INT) ENGINE=NDBCLUSTER;(一定要加上ENGINE=NDBCLUSTER或ENGINE=NDB,否则各主机无法同步数据!!)
> INSERT INTO ctest () VALUES (1);
> SELECT * FROM ctest;
应该可以看到1 row returned信息（返回数值1）。
如果上述正常，则换到Server1、Server2上重复上面的测试，观察效果，数据库应该是同步刷新的。但首先要启动这两台机器的MySQL服务
# /usr/local/mysql/support-files/mysql.Server start
如果都没有问题，那么恭喜成功！
FAQ:
失败原因，可能是启动顺序不对。
查找所有ndb和sql相关进程，杀掉，重新按顺序来。
ps -aux |grep ndb
ps -aux |grep sql
kill -9 <PID> <PID> ...<PID>
/usr/local/mysql/bin/ndb_mgm -e shutdown(此命令会关闭所有主机节点)
五、破坏性测试
==============
将Server1或Server2的网线拔掉，观察另外一台集群服务器工作是否正常（可以使用SELECT查询测试）。测试完毕后，重新插入网线即可。
如果你接触不到物理服务器，也就是说不能拔掉网线，那也可以这样测试：
在Server1或Server2上：
ifconfig eth0 down #如果只有一块网卡，默认是eth0
之后在Server3上使用SELECT查询测试。并且在管理节点服务器的管理终端中执行show命令会看到被破坏的那台服务器的状态。
测试完成后，只需要重新启动被破坏服务器的ndbd进程即可：
# ndbd
注意！前面说过了，此时是不用加--inital参数的！
至此，MySQL集群就配置完成，MySQL负载均衡功能完成！
===============================================
六.注意事项:
1.ndb_mgmd管理服务器,防火墙勿忘开1186端口.
2.ndb数据服务器,防火墙勿忘开2202端口.
3.LVS主服务器应该打开3306端口.
4.创建表时注意,在表后一定要加上ENGINE=NDBCLUSTER或ENGINE=NDB,否则各主机无法同步数据!!
===============================================
七:用于MySQL簇进程的命令选项
1.ndb_mgm -e show (查看各节点状态)
2. --skip-ndbcluster (禁止NDB簇存储引擎。对于包含该功能的二进制版本，在默认情况下，该功能是被禁止的，换句话讲，NDB簇存储引擎处于禁止状态，直至使用“—ndbcluster”选项激活了它为止。仅当所编译的服务器支持NDB簇存储引擎时，才能使用该选项。)
--ndb-connectstring=connect_string (使用NDB存储引擎时，通过设置该选项，能够指定分配簇配置数据的管理服务器)
3.ndb>
· SHOW
在使用多个管理节点的簇中，该命令仅显示与当前管理服务器实际相连的数据节点的信息
· node_id START
启动由node_id标识的数据节点（或所有数据节点）。
· node_id STOP
停止由node_id标识的数据节点（或所有数据节点）。
· node_id RESTART [-N] [-I]
重启由node_id标识的数据节点（或所有数据节点）。
· node_id STATUS
显示由node_id标识的数据节点（或所有数据节点）的状态信息。
· ENTER SINGLE USER MODE node_id
进入单用户模式，仅允许由节点ID“node_id”标识的MySQL服务器访问数据库。
· EXIT SINGLE USER MODE
退出单用户模式，允许所有的SQL节点（即所有运行的mysqld进程）访问数据库。
· QUIT
中止管理客户端。
· SHUTDOWN
关闭除SQL节点之外的所有簇节点，并退出。
4.用单用户模式，数据库管理员能够将对数据库系统的访问限制在1个MySQL服务器（SQL节点）。进入单用户模式时，与所有其他MySQL服务器的所有连接均将恰当关闭，而且所有正在运行的事务均将被放弃。不允许启动任何新事务.
NDB> ENTER SINGLE USER MODE 5
执行该命令而且簇进入单用户模式后，节点ID为5的SQL节点将成为簇中唯一允许的用户
NDB> EXIT SINGLE USER MODE
退出单用户模式
八.MYSQL CLUSTER 备份与恢复
1、在管理节点上进行备份。
ndb_mgm> start backup nowait
ndb_mgm> Node 3: Backup 4 started from node 1
Node 3: Backup 4 started from node 1 completed
StartGCP: 43010 StopGCP: 43013
#Records: 2138 #LogRecords: 0
Data: 53068 bytes Log: 0 bytes
ndb_mgm> shutdown
Node 3: Cluster shutdown initiated
Node 4: Cluster shutdown initiated
Node 4: Node shutdown completed.
Node 3: Node shutdown completed.
2 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.
ndb_mgm> exit
2、删掉SQL节点的数据。
DROP DATABASE TEST_CLUSTER;
3、关闭MYSQLD服务器。
[root@localhost bin]# service mysqld stop
Shutting down MySQL… SUCCESS!
4、重新顺序启动所有节点。
[root@localhost mysql]# /usr/local/mysql/ndb_mgmd -f /etc/config.ini
[root@localhost data]# /usr/local/mysql/bin/ndbd –initial
我发现如果不带这个 –initial选项的话，恢复会失败。
[root@localhost bin]# service mysqld start
Starting MySQL SUCCESS!
4、在NDBD节点上进行恢复。（每个节点都得执行一次，因为数据分散在两个节点上）
第一个节点：
[root@localhost BACKUP]#
/usr/local/mysql/bin/ndb_restore -n3 -b4 -r -m
–backup_path=/usr/local/mysql/data/BACKUP/BACKUP-4/
-r开关是记录集合。
-m是元数据。就是表和库的SCHEMA。
Nodeid = 3
Backup Id = 4
backup path = /usr/local/mysql/data/BACKUP/BACKUP-4/
Ndb version in backup files: Version 5.1.21
Connected to ndb!!
Successfully restored table `test_cluster/def/lk4_test`
…
Successfully created index `PRIMARY` on `lk4_test`
…
_____________________________________________________
Processing data in table: test_cluster/def/lk4_test54) fragment 1
_____________________________________________________
…
Restored 37 tuples and 0 log entries
NDBT_ProgramExit: 0 - OK
第二个节点：
[root@localhost BACKUP-1]#
/usr/local/mysql/bin/ndb_restore -n4 -b4 -r
–backup_path=/usr/local/mysql/data/BACKUP/BACKUP-4/
Nodeid = 4
Backup Id = 4
backup path = /usr/local/mysql/data/BACKUP/BACKUP-4/
Ndb version in backup files: Version 5.1.21
Connected to ndb!!
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(1) fragment 1
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(4) fragment 1
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_2_3(3) fragment 1
_____________________________________________________
Processing data in table: test/def/t11(5) fragment 1
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(0) fragment 1
_____________________________________________________
Processing data in table: mysql/def/ndb_schema(2) fragment 1
Restored 2 tuples and 0 log entries
NDBT_ProgramExit: 0 - OK
这里完成。
5、查看一下有没有数据，为了安全起见。
mysql> show databases;
+——————–+
| Database |
+——————–+
| information_schema |
| mysql |
| test |
+——————–+
3 rows in set (0.00 sec)
没有恢复的数据库？
MYSQL现在必须重新建立SCHEMA。
mysql> create database test_cluster;
Query OK, 1 row affected (0.33 sec)
mysql> use test_cluster;
Database changed
mysql> show tables;
+——————————+
| Tables_in_test_cluster |
+——————————+
| lk4_test |
| … |
+——————————+
27 rows in set (0.11 sec)
mysql> select * from cs_comment;
Empty set (0.00 sec)
不过MYSQL的backup 程序现在还只能进行完全备份。
[root@localhost BACKUP]# du -h
76K ./BACKUP-2
96K ./BACKUP-6
180K ./BACKUP-4
172K ./BACKUP-3
76K ./BACKUP-1
60K ./BACKUP-5
668K .
6、在NDBD节点上进行恢复的时候有一个要注意的问题。
因为NDBD节点以 –initial 方式启动的时候不会自动删除undo 和 data 文件（即保存到磁盘上的表数据），所以得手动在每个NDBD节点上进行RM操作：
[root@node239 ndb_6_fs]# rm -rf *.dat
然后开始备份。
在MASTER上备份的时候要加 -m 开关。
在SLAVE上要加-d 而且不要-m开关。
具体步骤如下：
MASTER :
[root@localhost ndb_3_fs]# /usr/local/mysql/bin/ndb_restore -n3 -b1 -r -m –backup_path=/usr/local/mysql/data/BACKUP/BACKUP-1/
Nodeid = 3
Backup Id = 1
backup path = /usr/local/mysql/data/BACKUP/BACKUP-1/
Ndb version in backup files: Version 5.1.21
Connected to ndb!!
Creating logfile group: lg_1…done
Creating tablespace: ts_1…done
Creating datafile “data_1.dat”…done
Creating undofile “undo_1.dat”…done
Successfully restored table `test/def/t11`
Successfully restored table event REPL$test/t11
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(1) fragment 0
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_2_3(3) fragment 0
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(0) fragment 0
_____________________________________________________
Processing data in table: mysql/def/ndb_schema(2) fragment 0
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(4) fragment 0
_____________________________________________________
Processing data in table: test/def/t11(10) fragment 0
Restored 26 tuples and 0 log entries
NDBT_ProgramExit: 0 - OK
其他的SLAVE上的操作：
[root@node239 ndb_6_fs]# /usr/local/mysql/bin/ndb_restore -n6 -b1 -r -d –backup_path=/usr/local/mysql/data/BACKUP/BACKUP-1/
Nodeid = 6
Backup Id = 1
backup path = /usr/local/mysql/data/BACKUP/BACKUP-1/
Ndb version in backup files: Version 5.1.21
Connected to ndb!!
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(1) fragment 3
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_2_3(3) fragment 3
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(0) fragment 3
_____________________________________________________
Processing data in table: mysql/def/ndb_schema(2) fragment 3
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(4) fragment 3
_____________________________________________________
Processing data in table: test/def/t11(10) fragment 3
Restored 20 tuples and 0 log entries
NDBT_ProgramExit: 0 - OK
-d 开关的意思即：
-d, –no-restore-disk-objects
Dont restore disk objects (tablespace/logfilegroups etc)
既忽略表空间和分组空间