moosefs的安装使用及遇到的问题

 一、获取源码安装包

到官网下载最新版本moosefs:
https://moosefs.com/download/sources-archive-3-0.html
到官网下载最新版本fuse源码
https://github.com/libfuse/libfuse
也可以下载rpm包：
http://www.rpmfind.net/linux/rpm2html/search.php?query=libfuse-devel

还可以：
yum install -y fuse fuse-devel

二、安装

先添加mfs用户：

[root@localhost mfs]# groupadd mfs
[root@localhost mfs]# useradd -g mfs mfs

然后就是正常的源码安装过程：

[root@local mfs]#./configure --prefix=/usr/local/moosefs --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs --with-default-group=mfs 
[root@local mfs]# make
[root@local mfs]# makeinstall

configure中--disable-mfschunkserver --disable-mfsmount --disable-mfsmaster这三个是可选项，比如使用前两个，就表示服务器上只装master，metalogserver和master是一样的。

三、修改配置文件

[root@localhost mfs]# cd /etc/mfs
[root@localhost mfs]# cp mfsmaster.cfg.sample mfsmaster.cfg
[root@localhost mfs]# cp mfsmetalogger.cfg.sample mfsmetalogger.cfg
[root@localhost mfs]# cp mfsexports.cfg.sample mfsexports.cfg
[root@localhost mfs]# vi mfsexports.cfg
* / rw,alldirs,ignoregid,maproot=0:0,mapall=0:0

[root@localhost mfs]# cd /var/lib/mfs
[root@localhost mfs]# cp metadata.mfs.empty metadata.mfs
[root@localhost mfs]# chown -R mfs:mfs /var/lib/mfs
[root@localhost mfs]# vi /etc/hosts
192.168.1.1 mfsmaster

修改配置文件，基本上是把原来命名的配置文件样例重新命名成标准配置文件;
mfsexports.cfg中的配置文件，是为了赋予访问权限;
/etc/hosts中标识master的ip，是为了给mfscgiserv和mfschunkserver找mfsmaster用的。

四、启动和停止

启动：

[root@lh mfs]# mfsmaster start
[root@lh mfs]# mfscgiserv start
[root@lh mfs]# mfsmetalogger start
[root@lh mfs]# mfschunkserver start

停止：

[root@lh mfs]# mfsmaster stop
[root@lh mfs]# mfscgiserv stop
[root@lh mfs]# mfsmetalogger stop
[root@lh mfs]# mfschunkserver stop

五、mfs的使用

安装好后就到有mfsmount的的服务器上挂载一个本地目录：(后面跟的是master的ip)

[root@lh mfs]mfsmount /mnt/mfs/ -H 192.168.1.1

其实本身mfsmount就相当于是一个客户端。使用的时候就把挂载的目录当成本地的磁盘目录一样使用即可。不过此目录使用的是mfschunk上的空间，而操作这个云文件系统的命令都封装在在mfstool中：

[root@lh mfs]# man mfstools

Mossefs整个系统的状态(mfschunk、mfsmaster、mfsmount、mfsmetalogger和文件等)的状态都可以用mfs自带的cgi查看，网址：

" http://ip.to.mfscgi.server:9425/ "

其中goal表示一个文件复制了几份，copy表示文件放在了几个服务器上，这些也都可以用mfstools中的fileinfo和checkfile命令查看。

六、mfs见过的错误和解决方法

   1、mfsmount取消挂载的问题：

ps -ef | grep mfsmount 
fuser -m -k -i [mfsmountpid]
如果不行就
kill -9 [mfsmountpid]
如果df或者访问/path/to/mountdir卡死，那么就
umount -l /mnt/mfs
然后killall mfsmount
当然卡死也有可能是由于与服务端网络不通断开连接，这种情况下kill掉mfsmount会导致mfsmount编程僵尸进程，
所以建议在mfsmount时加上参数-o mfstimeout N来指定IO出错的超时时间。

   2、新加的服务器死活连到master上都是disconnect的状态

到mfschunkserver所在的服务器：

[root@lh mfs]#tail -100f /var/log/message
[root@lh mfs]#Aug 11 11:24:14 localhost mfschunkserver[15871]: connected to Master
[root@lh mfs]#Aug 11 11:24:14 localhost mfschunkserver[15871]: MATOCS_MASTER_ACK - wrong meta data id. Can't connect to master

那么就清空/var/lib/mfs目录，
然后到好的chunkserver的disk(也就是mfschunk1,2,3之类的)目录下复制".metaid"文件到目标disk，问题就可以解决了。

3、权限问题
can't create lockfile in working directory: Permission denied
[root@lh mfs]# chown -R mfs:mfs /path/to/thatdir

4、目录非空
fuse: mountpoint is not empty
那就删了再来，或者换个目录，或者修复：
fsck -y /dev/sda1