希望两台机器指定目录的数据保持一致
192.168.19.252(master) 192.168.19.251(slave)
/cache
拉复制 推复制
rsync的工作模式
C/S client/server
B/S browse/server
拉复制
从服务器定期去主服务器获取数据
crontab+rsync
工作过程
1 从服务器发起连接 ip port
2 主服务器 固定ip 开放port(开服务)
3 需要授权 user password
制作rsync服务
服务器端:
1、编辑配置文件
mkdir /etc/rsyncd
vim /etc/rsyncd/rsyncd.conf
uid=root
gid=root
port=873
max connections=0
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
motd file=/etc/rsyncd/rsyncd.motd
read only=yes
hosts allow=192.168.19.0/24
hosts deny=*
[www]
path=/cache
list=yes
ignore errors
auth users=danny
secrets file=/etc/rsyncd/rsyncd.secrets
##如果没有生成日志文件,加上下面几行
transfer logging=yes
log format=%t %a %m %f %b
syslog facility=local3
2、创建所需文件
1)欢迎页面
Vim /etc/rsyncd/rsyncd.motd
###########
##welcome##
###########
2)创建共享目录
Mkdir /cache
3)创建密码文件并修改其权限(否则客户端无法完成验证)
vim /etc/rsyncd/rsyncd.secrets
chmod 600 /etc/rsyncd/rsyncd.secrets
danny:123456
3、启动rsync服务
rsync --daemon --config=/etc/rsyncd/rsyncd.conf
4、查看服务有没有运行
lsof -i:873
客户端操作:
1、创建接收目录
Mkdir /cache
2、拉取数据:
语法:rsync –avzP –delete –password-file=/path/filename username@Server::共享资源名称 /cache
rsync -avzP --delete --password-file=/etc/rsyncd.pw danny@192.168.19.252::www /cache
-a参数,相当于-rlptgoD,-r 是递归 -l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件
-z,传输时压缩
-P,传输进度,782448 “63% 110.64kB/s 0:00:04”
-v,传输时显示传输的文件名及其简要信息
--delete 在目标文件中删除额外的文件。
这里需要注意别忘了去创建密码文件并修改权限(必须设为600)
Vim /etc/rsyncd.pw
123456
Chmod 600 /etc/rsyncd.pw
3、结合crontab定时拉取数据
Crontab –e
* * * * * rsync -avzP --delete --password-file=/etc/rsyncd.pw danny@192.168.19.252::www /cache
配置过程中容易发生的错误:
服务器和客户端的密码文件没有被设置为600
拉复制的特点:
服务器端定义共享什么目录、共享资源名、认证用户、认证密码等
客户端定义间隔多长时间拉取服务器指定目录的数据,如果间隔时间为毫秒级时,同步小文件没有问题,但同步大文件时可能会造成数据不一致,且两端系统资源的消耗可能会比较大。
说明rsync在毫秒级同步时传输大文件会导致数据不一致的情况:
1、客户端编辑脚本如下:
Vim pull.sh
#!/bin/bash
While :
Do
Rsync –avzP –delete –password-file=/etc/rsyncd.pw cjk@192.168.19.252::www /cache
Sleep 0.001 #太快了,可以改为0.01
Done
2、给脚本加执行权限
3、结合周期性计划任务执行脚本
4、在服务器端/cache目录中使用dd创建一个2G的大文件
5、文件传输后通过md5sum filename对比两文件的MD5值,会发现不同
推复制
监测到指定目录数据变化,即同步给远程主机。
配置:
本机安装配置监测软件;远程主机上配置rsync服务。
实验环境:rhel6.7
目的:监测到19.252上/cache目录发生变化后同步给19.251的/cache目录
操作:
192.168.19.252上:(服务器端)
1、将配置文件远程拷贝到19.251上(推复制本机不需要配置rsync服务,只需要一个密码文件即可)
Scp -r /etc/rsyncd root@192.168.19.251:/etc/
2、解压监测软件
Tar –xf sersync…..tar –C /usr/src
解压之后有两个文件,confxml.xml(配置文件)和sersync2(执行文件)
3、配置检测软件的配置文件:
<sersync>
<localpath watch="/cache">
<remote ip="192.168.19.251" name="www"/>
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
<commonParams params="-artuz"/>
<auth start="true" users="danny" passwordfile="/etc/rsyncd.pw"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
4、创建配置文件中指定的密码文件,并将权限修改为600
vim /etc/rsyncd.pw
123456
chmod 600 /etc/rsyncd.pw
5、运行检测软件
cd /usr/src/GUN-linux-x86
./sersync2 –r & ##-r可以看到启动过程,第一次启动时将被监控目录所有数据整体同步到rsync server上
192.168.19.251上:(客户端)
1、删除原先本机上存在的密码文件:
Rm –fr /etc/rsyncd.pw
2、修改rsync配置文件(仅一行):
Read only=no 开放可写的权限
3、保证已存在/cache目录
mkdir –p /cache
4、保证密码文件权限是600
chmod 600 /etc/rsyncd/rsyncd.secrets
5、运行rsync服务
rsync –daemon –config=/etc/rsyncd/rsyncd.conf
测试:
在252上的/cache目录中创建大文件,并生成md5校验码,251上会通不过去且MD5码相同
在252上的/cache目录中创建1000个小文件,会发现251上同步的比较慢
在对rsync服务器配置结束以后,下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明。
Rsync的命令格式可以为以下六种:
rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]HOST:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::SRC DEST
rsync [OPTION]... SRC [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
对应于以上六种命令格式,rsync有六种不同的工作模式:
1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如:rsync -a /data /backup
2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如:rsync -avz *.c foo:src
3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如:rsync -avz foo:src/bar /data
4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如:rsync -av root@172.16.78.192::www /databack
5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如:rsync -av /databack root@172.16.78.192::www
6)列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://172.16.78.192/www