• rsync实现数据同步


    希望两台机器指定目录的数据保持一致

    192.168.19.252(master)                 192.168.19.251(slave)

    /cache

    拉复制            推复制

    rsync的工作模式

    C/S    client/server   

    B/S    browse/server

    拉复制

    从服务器定期去主服务器获取数据

    crontab+rsync

    工作过程

    1   从服务器发起连接                   ip  port

    2   主服务器                           固定ip  开放port(开服务)

    3   需要授权                           user password

    制作rsync服务

    服务器端:

    1、编辑配置文件

    mkdir /etc/rsyncd

    vim /etc/rsyncd/rsyncd.conf

    uid=root

    gid=root

    port=873

    max connections=0

    log file=/var/log/rsyncd.log

    pid file=/var/run/rsyncd.pid

    lock file=/var/run/rsyncd.lock

    motd file=/etc/rsyncd/rsyncd.motd

    read only=yes

    hosts allow=192.168.19.0/24

    hosts deny=*

    [www]

    path=/cache

    list=yes

    ignore errors

    auth users=danny

    secrets file=/etc/rsyncd/rsyncd.secrets

    ##如果没有生成日志文件,加上下面几行

    transfer logging=yes

    log format=%t %a %m %f %b

    syslog facility=local3

    2、创建所需文件

    1)欢迎页面

    Vim /etc/rsyncd/rsyncd.motd

    ###########

    ##welcome##

    ###########

    2)创建共享目录

    Mkdir /cache

    3)创建密码文件并修改其权限(否则客户端无法完成验证)

    vim /etc/rsyncd/rsyncd.secrets

    chmod 600 /etc/rsyncd/rsyncd.secrets

    danny:123456

    3、启动rsync服务

        rsync --daemon --config=/etc/rsyncd/rsyncd.conf

    4、查看服务有没有运行

        lsof -i:873

     

    客户端操作:

    1、创建接收目录

    Mkdir  /cache

    2、拉取数据

    语法:rsync –avzP –delete –password-file=/path/filename username@Server::共享资源名称 /cache

    rsync -avzP --delete --password-file=/etc/rsyncd.pw danny@192.168.19.252::www /cache

           -a参数,相当于-rlptgoD,-r 是递归 -l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件

    -z,传输时压缩

                  -P,传输进度,782448  “63%  110.64kB/s    0:00:04”

                  -v,传输时显示传输的文件名及其简要信息

                  --delete  在目标文件中删除额外的文件。

    这里需要注意别忘了去创建密码文件并修改权限(必须设为600)

    Vim /etc/rsyncd.pw

    123456

    Chmod 600 /etc/rsyncd.pw

    3、结合crontab定时拉取数据

    Crontab –e

    * * * * * rsync -avzP --delete --password-file=/etc/rsyncd.pw danny@192.168.19.252::www /cache

    配置过程中容易发生的错误:

        服务器和客户端的密码文件没有被设置为600

    拉复制的特点:

        服务器端定义共享什么目录、共享资源名、认证用户、认证密码等

        客户端定义间隔多长时间拉取服务器指定目录的数据,如果间隔时间为毫秒级时,同步小文件没有问题,但同步大文件时可能会造成数据不一致,且两端系统资源的消耗可能会比较大。

    说明rsync在毫秒级同步时传输大文件会导致数据不一致的情况:

        1、客户端编辑脚本如下:

        Vim pull.sh

        #!/bin/bash

        While :

           Do

           Rsync –avzP –delete –password-file=/etc/rsyncd.pw cjk@192.168.19.252::www /cache

           Sleep 0.001  #太快了,可以改为0.01

        Done

        2、给脚本加执行权限

        3、结合周期性计划任务执行脚本

        4、在服务器端/cache目录中使用dd创建一个2G的大文件

        5、文件传输后通过md5sum filename对比两文件的MD5值,会发现不同

    推复制

    监测到指定目录数据变化,即同步给远程主机。

    配置:

        本机安装配置监测软件;远程主机上配置rsync服务。

    实验环境:rhel6.7

    目的:监测到19.252上/cache目录发生变化后同步给19.251的/cache目录

    操作:

    192.168.19.252上:(服务器端)

        1、将配置文件远程拷贝到19.251上(推复制本机不需要配置rsync服务,只需要一个密码文件即可)

           Scp  -r /etc/rsyncd root@192.168.19.251:/etc/

        2、解压监测软件

           Tar –xf sersync…..tar –C /usr/src

           解压之后有两个文件,confxml.xml(配置文件)和sersync2(执行文件)

        3、配置检测软件的配置文件:

    <sersync>

            <localpath watch="/cache">

                <remote ip="192.168.19.251" name="www"/>

                <!--<remote ip="192.168.8.39" name="tongbu"/>-->

                <!--<remote ip="192.168.8.40" name="tongbu"/>-->

            </localpath>

            <rsync>

                <commonParams params="-artuz"/>

                <auth start="true" users="danny" passwordfile="/etc/rsyncd.pw"/>

                <userDefinedPort start="false" port="874"/><!-- port=874 -->

                <timeout start="false" time="100"/><!-- timeout=100 -->

                <ssh start="false"/>

            </rsync>

        4、创建配置文件中指定的密码文件,并将权限修改为600  

           vim /etc/rsyncd.pw

           123456

           chmod 600 /etc/rsyncd.pw

        5、运行检测软件

            cd /usr/src/GUN-linux-x86

           ./sersync2 –r &    ##-r可以看到启动过程,第一次启动时将被监控目录所有数据整体同步到rsync server上

       

    192.168.19.251上:(客户端)

        1、删除原先本机上存在的密码文件:

           Rm –fr /etc/rsyncd.pw

        2、修改rsync配置文件(仅一行):

           Read only=no  开放可写的权限      

        3、保证已存在/cache目录

           mkdir –p /cache 

        4、保证密码文件权限是600

           chmod 600 /etc/rsyncd/rsyncd.secrets

        5、运行rsync服务

           rsync –daemon –config=/etc/rsyncd/rsyncd.conf

    测试:

           在252上的/cache目录中创建大文件,并生成md5校验码,251上会通不过去且MD5码相同

           在252上的/cache目录中创建1000个小文件,会发现251上同步的比较慢

                 

                  

     

        在对rsync服务器配置结束以后,下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明。

    Rsync的命令格式可以为以下六种

      rsync [OPTION]... SRC DEST

      rsync [OPTION]... SRC [USER@]HOST:DEST

      rsync [OPTION]... [USER@]HOST:SRC DEST

      rsync [OPTION]... [USER@]HOST::SRC DEST

      rsync [OPTION]... SRC [USER@]HOST::DEST

      rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

      

    对应于以上六种命令格式,rsync有六种不同的工作模式:

      1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如:rsync -a /data /backup

      2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如:rsync -avz *.c foo:src

      3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如:rsync -avz foo:src/bar /data

      4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如:rsync -av root@172.16.78.192::www /databack

      5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如:rsync -av /databack root@172.16.78.192::www

      6)列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://172.16.78.192/www

  • 相关阅读:
     selenium webdriver test
    V8 初次接触(Qt5) 1+1=2 博客频道 CSDN.NET
    C++11 FAQ中文版
    做技术的,因为年龄和颈椎问题,想逐渐脱离码农状态,大家对3035岁职业规划有什么好的建议? 知乎
    一些idea
    如何来区分是我写的还是我转载的,
    firecurl
    python为什么叫好不叫座
    QTextCodec中的setCodecForTr等终于消失了 (Qt5) 1+1=2 博客频道 CSDN.NET
    Charles Web Debugging Proxy • HTTP Monitor / HTTP Proxy / HTTPS & SSL Proxy / Reverse Proxy
  • 原文地址:https://www.cnblogs.com/dannylinux/p/7988248.html
Copyright © 2020-2023  润新知