关于Hbase的集群管理
http://www.linuxidc.com/Linux/2012-07/65909.htm
1、如果只增加集群的存储量，建议增加Hadoop datanode节点。
方法：
- 停掉集群包括hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。
- 执行bin/start-all.sh启动集群
- 如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。
- 如果手动平衡，则 start-balancer.sh和调用bin/shadoop balancer命令相似，也可加参数 -threshold 5（threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。 在使用start-balancer.sh时，如果在hdfs-site.xml里面没有配置dfs.balance.bandwidthPerSec，那么集群hdfs内部默认使用1M/S的速度移动数据(so slowly...)，我们可以通过在hdfs-site.xml里面配置dfs.balance.bandwidthPerSec来加快balance的速度。 最开始我们配置的是20m/S ，然后结果是导致job运行变得不稳定，出现一些意外的长map单元，某些reduce时间处理变长(整个集群负载满满的情况下，外加20m/s的balance)，在前天的中国hadoop年会上听淘宝调整的为10m/s，需要调整后实验，看看情况如何。 另外再修改dfs.balance.bandwidthPerSec参数后，需要在namenode上运行stop-dfs.sh start-dfs.sh重启hdfs生效。我们可以通过stop-balancer.sh停掉平衡任务。作完平衡后，启动hbase，正常。 果cluster设置的副本数不为3（默认），需要先运行命令hadoop fs –setrep [-R] <path>
进行设置一个文件的副本系数。如果默认为3则不必。如果执行完平衡以后才改变副本数，会将新加入到新节点上的所有数据删除。
5.dfs.replication设置的副本系数只在文件系统写入时有效，并不影响在新添加节点时，平衡时的副本数
由于还有hbase数据库，因此，在运行完平衡以后，将hbase下的.META.文件删除（防止出错），启动hbase，执行hbase org.jruby.Main add_table /表名 来进行hbase表恢复
验证步骤：1namenode+3datanode+1master+2regionserver+3zookeeper
2、删除一个regionServer，
在需要删除的RegionServer上执行以下命令：$ ./bin/hbase-daemon.sh stop regionserver RegionServer将会关掉所有的region，然后此节点将会在Zookeeper消失。Master注意到了此RegionServer 掉了，它将会重新分配掉的这些Region。在停掉一个节点的时候，注意要关闭Load Balancer，因为Load Balancer可能要和Master的恢复机制争夺停掉的RegionServer。
hbase(main):001:0> balance_switch false
true
0 row(s) in 0.3590 seconds
hbase(main):002:0> balance_switch true
false
0 row(s) in 0.3590 seconds
$ ./bin/graceful_stop.sh
Usage: graceful_stop.sh [--config &conf-dir>] [--restart] [--reload]
[--thrift] [--rest] &hostname>
thrift If we should stop/start thrift before/after the hbase stop/start
rest If we should stop/start rest before/after the hbase stop/start
restart If we should restart after graceful stop
reload Move offloaded regions back on to the stopped server
debug Move offloaded regions back on to the stopped server
hostname Hostname of server we are to stop
3、添加一个备份的master节点
有时候hadoop或hbase集群运行时间久了后，某些节点就会失效，这个时候如果不想重启整个集群（这种情况在很多情况下已经不被允许），这个时候可以单独重启失效节点。
HADOOP：
hadoop中重启单节点的方法和增加新节点其实是一样的。
1、我们先看下如何了解hadoop机器的情况，可以用命令：
hadoop dfsadmin -report 查看集群容量情况，很多情况下失效节点也可以从这里了解到（比如失效节点容量显示为0）。
也可以用web查看：http://ip:54030/jobtracker.jsp
2、重启或添加节点：
$bin/hadoop-daemon.sh start datanode
$bin/hadoop-daemon.sh start tasktracker
当然，添加的话需要copy配置文件到新节点。重启的话先 $bin/hadoop-daemon.sh stop datanode/ tasktracker
3、重新balancer(可选)$bin/hadoop balancer
其实集群自己会balancer，当然也可以像上面那样手动balancer，不然在繁忙时段最好避免。
HBASE：
很多时候，节点失效是因为pid文件被删除引起（默认pid文件中/tmp下），所以最好把很多默认是/tmp的目录修改成自己的目录，比如hbase的pid配置可以在hbase-env.sh中，修改export HBASE_PID_DIR=/var/hadoop/pids就可以。hbase节点失效常对应60020端口异常。
进入hbase shell
1、查看节点情况：
status
当然，也可以通过web页面查看（如果服务开放的话）：
http://serviceIp:60010/master.jsp
http://serviceIp:60030/regionserver.jsp
http://serviceIp:60010/zk.jsp
2、重启
$bin/hbase-daemon.sh stop regionserver
$bin/hbase-daemon.sh start regionserver
也可以添加新的master（默认只有一个master），$bin/hbase-daemon.sh start master