• lustre快速安装


    最近看了一下lustre,快速安装了一下,记录在这里。

    首先去这里下载对应的服务器版本的包。系统版本是rhel5.4 x86_64。既然是服务器用的并行文件系统,以稳定为主,我这里使用lustre1.8.7,对应的文档在这里

    server要可能要用到的包

    e2fsprogs-1.41.12.2.ora1-0redhat.rhel5.x86_64.rpm
    kernel-2.6.18-194.17.1.el5_lustre.1.8.7.x86_64-ext4.rpm
    kernel-2.6.18-194.17.1.el5_lustre.1.8.7.x86_64.rpm
    lustre-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64-ext4.rpm
    lustre-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
    lustre-ldiskfs-3.1.6-2.6.18_194.17.1.el5_lustre.1.8.7-ext4.src.rpm
    lustre-ldiskfs-3.1.6-2.6.18_194.17.1.el5_lustre.1.8.7.src.rpm
    lustre-ldiskfs-3.1.6-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64-ext4.rpm
    lustre-ldiskfs-3.1.6-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
    lustre-ldiskfs-debuginfo-3.1.6-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64-ext4.rpm
    lustre-ldiskfs-debuginfo-3.1.6-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
    lustre-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64-ext4.rpm
    lustre-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm

    client可能要用到的包

    kernel-2.6.18-194.17.1.el5_lustre.1.8.7.x86_64-ext4.rpm
    kernel-2.6.18-194.17.1.el5_lustre.1.8.7.x86_64.rpm
    lustre-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64-ext4.rpm
    lustre-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
    lustre-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64-ext4.rpm
    lustre-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm

    对于rhel5来说,服务器必须安装这几个包,关于内核的,kernel-*-lustre-<ver>,kernel-ib-<ver>,关于模块的,lustre-modules-<ver>,关于工具的lustre-<ver>,lustre-ldiskfs-<ver>,e2fsprogs-<ver>。对于客户端,要装的就少一些,只要安装kernel-lustre-<ver>,lustre-modules-<ver>和lustre-<ver>。由于是在虚拟机上测试,所以没有ib环境,kernel-ib-<ver>就不安装了。

    注意由于rhel5已经预装了e2fspgros这个包,所以这里e2fsprogs-<ver>的安装需要用rpm -Uvh方法升级,其他包用rpm -ivh就能安装。

    装好以后需要用新的内核重启。

    这里,mds服务器是192.168.1.100

    2台ost服务器是192.168.1.99和192.168.1.102

    client是192.168.1.101

    在mds服务器上执行操作

    modprobe lustre
    modprobe ldiskfs
    modprobe lnet 'networks="tcp0(eth0)"'

     以指定使用的网络和网关。

    然后格式化硬盘

    mkfs.lustre --fsname=testfs --mdt --mgs /dev/sdb1

    最后挂载

    mkdir /media/mgs
    mount.lustre /dev/sdb1 /media/mgs

    然后在ost服务器上执行操作

    modprobe lustre
    modprobe ldiskfs
    modprobe lnet 'networks="tcp0(eth0)"'

    最后格式化对应磁盘

    mkfs.lustre --fsname=testfs --ost --mgsnode=192.168.1.100@tcp0 /dev/sdb1

    并且挂载

    mkdir /media/ost
    mount.lustre /dev/sdb1 /media/ost

    然后在客户端挂载这个文件系统就行

    mount.lustre 192.168.1.100@tcp0:/testfs /media/lustre

    并且可以查看容量

    [root@localhost lustre]# lfs df -h
    UUID bytes Used Available Use% Mounted on
    test-MDT0000_UUID 17.5G 444.5M 16.1G 3% /media/lustre[MDT:0]
    test-OST0000_UUID 19.7G 447.0M 18.2G 2% /media/lustre[OST:0]
    test-OST0001_UUID 19.7G 444.1M 18.2G 2% /media/lustre[OST:1]

    filesystem summary: 39.4G 891.1M 36.5G 2% /media/lustre

    但这里测试速度的结果还不如直接写入本地磁盘⊙﹏⊙b汗

    [root@localhost lustre]# time dd if=/dev/zero of=/media/lustre/testfile bs=16k count=65536
    65536+0 records in
    65536+0 records out
    1073741824 bytes (1.1 GB) copied, 9.14748 seconds, 117 MB/s

    real 0m9.151s
    user 0m0.027s
    sys 0m5.765s

    本地磁盘则是5倍速度

    [root@localhost lustre]# time dd if=/dev/zero of=/media/testfile bs=16k count=65536
    65536+0 records in
    65536+0 records out
    1073741824 bytes (1.1 GB) copied, 2.16648 seconds, 496 MB/s

    real 0m2.169s
    user 0m0.011s
    sys 0m1.505s

    这可能是由于所有服务器都在虚拟机上的关系。本地磁盘被缓存了,反而效率高,而lustre则还要走一遍网络,所以效率低下。但搜了一遍也没发现这里使用的vmware 8的网络速度上限是多少。

    然后是用户配额的设置

    lfs setquota -u 用户名 -g 组名 -b 总容量(软) -B 总容量(硬) /media/lustre

    以后再测试从源码编译安装的方法。





  • 相关阅读:
    【Linux基础】linux下修改ls显示的时间格式
    【Teradata】gtwglobal查看
    【Teradata】tdlocaledef修改默认日期配置
    【Linux基础】文件处理实例
    【Linux基础】awk命令
    【teradata】强制解锁
    第1节:保存文档
    Centos7安装MySQL数据库
    MyBatis框架之异常处理
    spring事务源码分析
  • 原文地址:https://www.cnblogs.com/sickboy/p/2318175.html
Copyright © 2020-2023  润新知