• rsync实时备份监控命令(详细大全) rsync实时备份监控命令(详细大全)


    rsync英文称为remote synchronizetion,从软件的名称就可以看出来,
    rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,
    这个功能类似于ssh带的scp命令,但是又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝。
    当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令。
    但是同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝。 rsync官方地址:https://rsync.samba.org/ rsync监听端口:873 rsync运行模式:C/S client/server rsync简称叫做远程同步,可以实现不同主机之间的数据同步,还支持全量和增量
    复制代码

    image

    2.rsync特性
    复制代码
    支持拷贝特殊文件,如连接文件、设备等。
    可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。
    可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
    可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高(tar-N)。
    可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密)。
    可以通过socket(进程方式)传输文件和数据(服务端和客户端)*****。
    支持匿名的活认证(无需系统用户)的进程模式传输,可以实现方便安全的进行数据备份和镜像。
    3.rsync应用场景
    全量备份
    增量备份
    4.rsync的传输方式
    push 推:
    客户端将数据从本地推送至服务端
     
    pull 拉:
    客户端将数据从服务端拉取到本地
    5.Rsync传输模式
    复制代码
    1.本地方式(类似于cp,不支持推送和拉取,只是单纯的复制)
    2.远程方式(类似于scp,又不同于scp),scp只支持全量备份,rsync支持增量备份和差异备份
    :/        :支持推与拉
    推:
    rsync -avzP ./* root@172.16.1.41:/etc
    拉:
    rsync -avzP root@172.16.1.41:/opt ./ 
    3.守护进程方式(客户端和服务端)
    ::        :是守护进程模式 实现模块,程序运行代码,实时监控,实时备份
    复制代码
    二:RSYNC使用参数
    -a           #归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l
    -v           #详细模式输出, 打印速率, 文件数量等
    -z           #传输时进行压缩以提高效率
    -r           #递归传输目录及子目录,即目录下得所有目录都同样传输。
    -t           #保持文件时间信息(保持修改时间不变)
    -o           #保持文件属主信息
    -g           #保持文件属组信息
    -p           #保持文件权限(保持文件权限不变)
    -l           #保留软连接(是否同步)
    -P           #显示同步的过程及传输时的进度等信息
    -D           #保持设备文件信息
    -L           #保留软连接指向的目标文件(指向)
    -e           #使用的信道协议,指定替代rsh的shell程序
    --append            # 指定文件接着上次传输中断处继续传输
    --append-verify     # 使用参数续传(在断点续传之后,验证一下文件,如果不同,删除重新开始传修复文件)
    --exclude=PATTERN   # 指定排除不需要传输的文件
    --exclude-from=file # 按照文件指定内容排除
    --bwlimit=100       # 限速传输(单位:MB)
    解析内容:
    --bwlimit=100       # 限速传输(单位:MB)
    
    --delete            # 让目标目录和源目录数据保持一致
    
    --password-file=xxx # 使用密码文件
    
    --port              # 指定端口传输

    三:参数使用案例

    -a           #归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l
    
        [root@m01 ~]# rsync -a ./2.txt  root@172.16.1.41:/opt/
    -v           #详细模式输出, 打印速率, 文件数量等
    
        [root@m01 ~]# rsync -v ./2.txt  root@172.16.1.41:/opt/
    -z           #传输时进行压缩以提高效率
    
        [root@m01 ~]# rsync -vz ./2.txt  root@172.16.1.41:/opt/
    -r           #递归传输目录及子目录,即目录下得所有目录都同样传输。
    
        [root@m01 ~]# rsync -vzr ./a  root@172.16.1.41:/opt/
    -t           #保持文件时间信息(保持修改时间不变)
    
        [root@m01 ~]# rsync -vzrt ./a/b/c/2.txt  root@172.16.1.41:/opt/
    -o           #保持文件属主信息
    -g           #保持文件属组信息
        [root@m01 ~]# rsync -vzrtgo  ./a/b/c/2.txt  root@172.16.1.41:/opt/

    -p           #保持文件权限(保持文件权限不变)
    
    [root@m01 ~]# rsync -vzrtgop  ./a/b/c/2.txt  root@172.16.1.41:/opt/
    
    -l           #保留软连接(是否同步)
    
    [root@m01 ~]# rsync -vzrtgopl  ./*  root@172.16.1.41:/opt/

    -P           #显示同步的过程及传输时的进度等信息
    
    [root@m01 ~]# rsync -vzrtgoplP  ./*  root@172.16.1.41:/opt/
    -D           #保持设备文件信息
    
    [root@m01 dev]# rsync -vzrtgDopl /dev/tty1   root@172.16.1.41:/opt/

    -L           #保留软连接指向的目标文件(指向)
    
    -e           #使用的信道协议,指定替代rsh的shell程序
    --append            # 指定文件接着上次传输中断处继续传输
    
    [root@m01 ~]# rsync -avzP --append ./*  root@172.16.1.41:/opt/
    --append-verify     # 使用参数续传(在断点续传之后,验证一下文件,如果不同,删除重新开始传修复文件)
    
    [root@m01 ~]# rsync -avzP --append-verify ./110.txt  root@172.16.1.41:/opt/
    --exclude=PATTERN   # 指定排除不需要传输的文件
    
    [root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt  ./* root@172.16.1.41:/opt/
    --exclude-from=file # 按照文件指定内容排除
    
    [root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt  ./* root@172.16.1.41:/opt/

     --bwlimit=100 # 限速传输(单位:MB) [root@m01 ~]# rsync -avzP --append-verify --bwlimit=10 ./* root@172.16.1.41:/opt/

    rsync 实时同步

    inotify 的使用

        1、rsync 不支持实时同步
        2、一般用 inotify 软件来监控文件的实时变化
        3、监控到文件发生变化,立刻调用 rsync 传输数据,实现实时同步
    复制

    实现实时同步步骤

    复制代码
    1、安装 inotify (装在客户端)
    
    [root@m01 ~]# yum install inotify-tools -y
    2、inotify 参数介绍
    
    -m    持续监控
    -r    递归
    -q    静默,仅打印时间信息
    --timefmt    指定输出时间格式
    --format    指定事件输出格式
        %Xe 时间
        %w  目录
        %f  文件
    -e
        access 访问
        modify 内容修改
        attrib 属性修改
        close_write 修改真实文件内容
        open 打开
        create 创建
        delete 删除
        umount 卸载
    复制代码

     3、开始监控

        /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root
    
    [root@m01 ~]# /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root

    image4、实时监控并同步

    复制代码
    # 读取监控的信息,循环调用 rsync 传输数据即可进行同步
    --delete     # 让目标目录和源目录数据保持一致
    
        /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root | while read line;do
        cd /root
        rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
    
    # 不要忘记写 ./* 和 done
    
    [root@m01 ~]# /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root | while read line;do
    > cd /root
    > rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
    > done
    复制代码

    image

     参考:
    1、服务端配置
    pid file = /var/run/rsyncd.pid 
    #进程 pid 文件所在位置
    #port = 873 #指定监听端口,默认是873,可以自己指定
    #address = 192.168.10.196 #服务器监听的IP地址,可省略
    
    uid = root 
    #守护进程所属的uid,默认是nobody,可能会碰到文件或目录权限问题,此处偷懒用的 root
    gid = root 
    #守护进程的gid
    
    #chroot,即改变程序执行时所参考的根目录位置,在传输文件之前,服务器守护程序在将chroot 到文件系统中的目录中
    #这样做的好处是可能保护系统被安装漏洞侵袭的可能。缺点是需要超级用户权限。另外对符号链接文件,将会排除在外
    #也就是说,你在 rsync服务器上,如果有符号链接,你在备份服务器上运行客户端的同步数据时,只会把符号链接名同步下来,并不会同步符号链接的内容
    use chroot = yes
    
    read only = yes 
    #只读选择,只让客户端从服务器上读取文件
    #write only = yes 
    #只写选择,只让客户端到服务器上写入
    
    #允许访问的IP,可以指定单个IP,也可以指定整个网段,能提高安全性。格式是 ip 与 ip 之间、ip 和网段之间、网段和网段之间要用空格隔开;
    hosts allow = 192.168.16.150
    
    max connections = 5 
    #客户端最多连接数
    
    #当用户登录时会看到这个信息。比如显示当前时间、公告等
    motd file = /etc/rsync/rsyncd.motd
    
    log file = /var/log/rsync.log 
    #rsync 服务器的日志;
    transfer logging = yes 
    #记录传输文件的日志
    log format = %t %a %m %f %b 
    #日志格式
    syslog facility = local3
    #日志级别
    
    #通过该选项可以覆盖客户指定的IP超时时间。可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟,0表示没有超时定义,这也是默认值。对于匿名rsync服务器来说,一个理想的数字是600。
    timeout = 300 
    
    #模块定义
    #主要是定义服务器哪个目录要被同步。
    #每个模块都要以[name]形式。这个名字就是在 rsync 客户端看到的名字。
    #但是服务器真正同步的数据是通过 path 指定的。可以依次创建多个模块。
    #每个模块要指定认证用户、密码文件,但排除并不是必须的。
    [ image ]
    path = /image/idea/ims/storage
    list = false
    ignore = errors
    
    #指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系,是 rsyncd.secrets 中的用户名!
    #如果"auth users"被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份。
    #这里使用的 challenge/response 认证协议。
    #用户的名和密码以明文方式存放在"secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
    auth users = root
    secrets file = /etc/rsync/rsyncd.secrets
    #密码文件
    #exclude = error_log httpd.pid
    #忽略的文件或目录
    #comment this is my log #本模块注释,可选

    2、客户端配置

    rsync -a --delete --progress --password-file=/etc/rsyncd/rsyncd.pass --port=873 root@192.168.16.150::image  /home/back2022

     
  • 相关阅读:
    linux进程管理相关命令
    win7 64位系统使用vs2010编译OSG3.2.1
    Linux入门
    Implement strStr()
    Remove Element
    Remove Duplicates from Sorted Array
    Reverse Nodes in k-Group
    node npm vue.js 笔记
    NodeJS、NPM安装配置与测试步骤(windows版本)
    Python HTTP库requests中文页面乱码解决方案!
  • 原文地址:https://www.cnblogs.com/zouhong/p/16393873.html
Copyright © 2020-2023  润新知