• rsync+inotify实时同步


    !!!在安装前要先确保,rsync daemon服务配置成功,在安装inotify-tools前先确认你的linux内核是否达到了2.6.13,并且在编译时开启CONFIG_INOTIFY选项,也可以通过以下命令检测。

    一、rsync + inotify 组合的起源

    Rsync(remote sync)远程同步工具,通过rsync可以实现对远程服务器数据的增量备份同步,但rsync自身也有瓶颈,同步数据时,rsync采用核心算法对远程服务器的目标文件进行比对,只进行差异同步。我们可以想象一下,如果服务器的文件数量达到了百万甚至千万量级,那么文件对比将是非常耗时的。而且发生变化的往往是其中很少的一部分,这是非常低效的方式。inotify的出现,可以缓解rsync不足之处,取长补短。

    客户端

    rsync版本:3.0.6,inotify版本:inotify-tools-3.14.tar

    二、编译安装

    1)确认内核版本

    [root@weiwei ~]# uname -r
    2.6.32-573.el6.x86_64
    [root@weiwei ~]# ls -l /proc/sys/fs/inotify/
    total 0
    -rw-r--r-- 1 root root 0 Aug 16 15:13 max_queued_events
    -rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_instances
    -rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_watches
    显示这三项就说明支持
    

    2)编译安装inotify

    [root@weiwei inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify-tools-3.14
    [root@weiwei inotify-tools-3.14]# make && make install
    [root@weiwei local]# ln -s /usr/local/inotify-tools-3.14 /usr/local/inotify
    

    3)本地测试

    测试create
    [root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /backup
    16/08/17 19:01 /backup/a.txt
    16/08/17 19:02 /backup/test_dir
    
    测试delete
    [root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,delete /backup
    16/08/17 19:04 /backup/a.txt
    16/08/17 19:04 /backup/nini.txt
    
    测试close_write
    [root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,delete,close_write  /backup
    16/08/17 19:06 /backup/nima
    16/08/17 19:06 /backup/nima
    上面的create,close_write如果是创建文件则会重复了监控,如果仅仅写入则只会有close_write的监控
    
    没有时间的监控,简化事件的输出
    [root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq  --format ' %w%f' -e create /backup
     /backup/jij.txt
    

    三、下面用列表详细解释一下各个参数的含义

    inotifywait参数 含义说明
    -r --recursive 递归查询目录
    -q --quiet 打印很少的信息,仅仅打印监控事件的信息
    -m,--monitor 始终保持事件监听状态
    --exclude 排除文件或目录时,不区分大小写
    --timefmt 指定时间输出的格式
    --format 打印使用指定的输出类似格式字符串
    -e,--event 通过此参数可以指定需要监控的事件,如下一个列表所示

    -e :--event的各种事件含义

    Events含义
    access 文件或目录被读取
    modify 文件或目录内容被修改
    attrib 文件或目录属性被改变
    close 文件或目录封闭,无论读/写模式
    open 文件或目录被打开
    moved_to 文件或目录被移动至另外一个目录
    move 文件或目录被移动到另一个目录或从另一个目录移动至当前目录
    create 文件或目录被创建在当前目录
    delete 文件或目录被删除
    umount 文件系统被卸载                    

    四、实时监控的脚本

    #!/bin/sh
    
    path="/backup"
    cmd="/usr/local/inotify/bin/inotifywait"
    $cmd -mrq  --format ' %w%f' -e create,close_write,delete  /backup |
    while read line
    do
    	if [ ! -e "$line" ];then      如果此时执行了删除操作,则推送整个目录
    		cd $path &&
    		rsync -az --delete  ./ --delete rsync_backup@192.168.222.140::oldboy --password-file=/etc/rsync.password
    	else 						  如果只是创建文件或者目录,则只需要推送文件或目录
    		rsync -az --delete  $line rsync_backup@192.168.222.140::oldboy --password-file=/etc/rsync.password
    	fi
    done
    

    五、参数优化

    [root@weiwei ~]# cd /proc/sys/fs/inotify/
    [root@weiwei inotify]# ll
    total 0
    -rw-r--r-- 1 root root 0 Aug 16 15:13 max_queued_events   ===关键参数,可以搞大点,5000000
    -rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_instances
    -rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_watches    ===关键参数,327679
    [root@weiwei inotify]# cat *
    16384
    128
    8192
    

    在/proc/sys/fs/inotify目录下有三个文件,对inotify机制有一定的限制
    max_user_watches:设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)
    max_user_instances:设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
    max_queued_events:设置inotify实例事件(event)队列可容纳的事件数量。

    修改参数:

    [root@weiwei data]# cat /proc/sys/fs/inotify/max_
    max_queued_events   max_user_instances  max_user_watches
    [root@weiwei data]# cat /proc/sys/fs/inotify/max_user_watches 
    8192
    [root@weiwei data]# echo "50000000" > /proc/sys/fs/inotify/max_user_watches
    [root@weiwei data]# cat /proc/sys/fs/inotify/max_user_watches 
    50000000
    [root@weiwei data]# cat /proc/sys/fs/inotify/max_queued_events 
    16384
    [root@weiwei data]# echo "326790" > /proc/sys/fs/inotify/max_queued_events
    [root@weiwei data]# cat /proc/sys/fs/inotify/max_queued_events 
    326790
    [root@weiwei data]# sysctl -p
    

    六、inotify优缺点

    优点:监控文件系统事件变化,通过同步工具实现实时数据同步。

    缺点:

    1)并发如果大于200个文件(10-100k),同步就会有延迟
    2)我们前面写的脚本,每次都是全部推送一次,但确实是增量的。也可以只同步变化的文件,不变化的不理。
    3)监控到事件后,调用rsync同步是单进程的,而sersync为多进程同步。既然有了inotify-tools,为什么还要开发sersync?

    七、参考文档

    https://github.com/rvoicilas/inotify-tools/wiki

  • 相关阅读:
    CentOS 7基于Containerd部署Kubernetes v1.20.5
    【k8s记录】二进制安装kubernetes高可用集群全过程完整版v1.20
    前台后台$.psot交互
    $.ajax与$.post、$.get的一点区别
    layui与jQuery一起使用
    用Emmet写前端代码
    栅格布局的实现过程,容器到列的划分
    bootstrap环境
    2个爬虫
    think PHP5中,模板、控制器、JavaScript的url跳转重定向方法
  • 原文地址:https://www.cnblogs.com/bill2014/p/7411711.html
Copyright © 2020-2023  润新知