一、前言
rsync这个命令是用来同步文件的。比起scp和cp这两个命令,它的灵活性更强。它除了支持增量同步之外,还可以设置目标目录是否和源目录必须一致、设置可以使用rsync服务的主机白名单,设置是否覆盖目标文件中比源目录中新的文件。
总之,这个命令的“出场率”非常高,我们做运维工作的很有必要牢牢掌握。
二、基本用法
我们学一件东西,大多从“依葫芦画瓢”开始。那么,我们就开始“画一下瓢”。
具体说明,请看下面代码中的注释。
rsync -av /etc/passwd /tmp/1.txt #在本机内同步文件 rsync -av /tmp/1.txt 192.168.188.128:/tmp/2.txt #将远程文件,拉到本机 rsync格式 rsync [OPTION] … SRC DEST #从源到目的目录(本机) rsync [OPTION] … SRC [user@]host:DEST #从源到目的目录(远程) rsync [OPTION] … [user@]host:SRC DEST #从远程到本机 rsync [OPTION] … SRC [user@]host::DEST #从源到远程 rsync [OPTION] … [user@]host::SRC DEST #从远程到本地
注意host后面跟上":"是ssh模式,host后面跟上"::"是服务模式。
看样子并不难哈,我们来体验一下。
三、实操&&详解
3.1 本机模式
[root@ruanwenwu-001 1bak]# rsync -avPz ~/1/ /tmp/1bak2/ sending incremental file list created directory /tmp/1bak2 ./ 1.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=5/7) 2/ 2/1.txt 0 100% 0.00kB/s 0:00:00 (xfer#2, to-check=3/7) 2/2.txt 0 100% 0.00kB/s 0:00:00 (xfer#3, to-check=2/7) 2/3/ 2/3/4/ sent 257 bytes received 84 bytes 682.00 bytes/sec total size is 0 speedup is 0.00 [root@ruanwenwu-001 1bak]# ls -l ~/1 总用量 0 -rw-r--r--. 1 root root 0 10月 31 22:10 1.txt drwxr-xr-x. 3 root root 41 10月 31 22:11 2 [root@ruanwenwu-001 1bak]# tree ~/1 /root/1 ├── 1.txt └── 2 ├── 1.txt ├── 2.txt └── 3 └── 4 3 directories, 3 files [root@ruanwenwu-001 1bak]# tree /tmp/1bak2/ /tmp/1bak2/ ├── 1.txt └── 2 ├── 1.txt ├── 2.txt └── 3 └── 4 3 directories, 3 files
源目录和目标目录是不是一模一样?哈哈。传输的过程也一并显示出来了。你肯定要问,“这些avPz的参数都是什么意义?”别着急,我们现在就来讲解。
3.2 参数讲解
rsync常用选项 -a 包含-rtplgoD -r 同步目录时要加上,类似cp时的-r选项 -v 同步时显示一些信息,让我们知道同步的过程 -l 保留软连接 -L 加上该选项后,同步软链接时会把源文件给同步 -p 保持文件的权限属性 -o 保持文件的属主 -g 保持文件的属组 -D 保持设备文件信息 -t 保持文件的时间属性 --delete 删除DEST中SRC没有的文件 --exclude 过滤指定文件,如--exclude "logs"会把文件名包含logs的文件或者目录过滤掉,不同步 -P 显示同步过程,比如速率,比-v更加详细 -u 加上该选项后,如果DEST中的文件比SRC新,则不同步 -z 传输时压缩
根据上面的说明我们可以总结一下几点:
3.2.1 -a参数包含很多选项,这样可以大大节省我们的记忆成本
3.2.2 我们一般使用-avPz这个组合选项
3.2.3 如果我们要目标目录与源目录完全一致,我们需要使用--delete选项
3.2.4 如果我们要保留目录文件中更新的文件,我们需要加上u选项
3.2.5 --exclude是很常用的。如果要过滤多个规则,需要分开写
3.3 ssh模式
语法:
rsync -av test1/ 192.168.133.132:/tmp/test2/ rsync -av -e "ssh -p 22" test1/ 192.168.133.132:/tmp/test2/
实操:
推:
192.168.38.128上的操作:
[root@ruanwenwu-001 1bak]# rsync -avPz ~/1/ root@192.168.38.138:/tmp/1bak4/ Enter passphrase for key '/root/.ssh/id_rsa': root@192.168.38.138's password: sending incremental file list created directory /tmp/1bak4 ./ 1.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=5/7) 2/ 2/1.txt 0 100% 0.00kB/s 0:00:00 (xfer#2, to-check=3/7) 2/2.txt 0 100% 0.00kB/s 0:00:00 (xfer#3, to-check=2/7) 2/3/ 2/3/4/ sent 257 bytes received 84 bytes 35.89 bytes/sec total size is 0 speedup is 0.00
我们看看推的结果(192.168.38.138上):
[root@ruanwenwu-0002 ~]# tree /tmp/1bak4/ /tmp/1bak4/ ├── 1.txt └── 2 ├── 1.txt ├── 2.txt └── 3 └── 4 3 directories, 3 files
拉:
拉的方法和推的语法刚好相反,例如我们现在从192.168.38.138上拉一个目录到192.168.38.128上。
首先在192.168.38.138上创建一个名为la的目录:
[root@ruanwenwu-0002 ~]# pwd /root [root@ruanwenwu-0002 ~]# mkdir la [root@ruanwenwu-0002 ~]# ls 1 2 3.txt 5 7.txt ABC 1bak.zip 2.tar 3.zip 5.zip 8.txt abcd 1.tar 3 4.tar 6 999.txt anaconda-ks.cfg.xz 1.txt 33.tar 4.tar.bip2 666.txt 9.txt la 1.zip.bz2 3.tar.gz 4.zip 777.txt abc passwd [root@ruanwenwu-0002 ~]# touch la/33.txt [root@ruanwenwu-0002 ~]# tree la/ la/ └── 33.txt 0 directories, 1 file
然后在192.168.38.128上拉:
[root@ruanwenwu-001 1bak]# rsync -avPz root@192.168.38.138:/root/la/ /tmp/1bak7/ Enter passphrase for key '/root/.ssh/id_rsa': root@192.168.38.138's password: receiving incremental file list created directory /tmp/1bak7 ./ 33.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/2) sent 33 bytes received 85 bytes 26.22 bytes/sec total size is 0 speedup is 0.00 [root@ruanwenwu-001 1bak]# tree /tmp/1bak7/ /tmp/1bak7/ └── 33.txt 0 directories, 1 file
总之,第一个参数是源,第二个参数是目的。
3.4 服务模式
其实在生产环境中,使用的都是服务模式。这是为什么呢?因为:
- 这样更加安全。因为服务模式可以限定哪些机器才可以使用我们的服务。而且,只有指定的模块才能被rsync使用。再者,如果同步的目录中有软连接,我们可以设置是否将软连接的源文件一并同步。
- 更加灵活。支持很多功能选项的配置。
配置服务端:
还是老套路,先贴一个可行的配置,将实验做出来,然后我们再讲解各个配置项的意义。
编辑文件/etc/rsyncd.conf
port=873 log file=/var/log/rsync.log pid file=/var/run/rsyncd.pid address=192.168.38.138 [test] path=/root/rsync use chroot=true max connections=4 read only=no list=true uid=root gid=root auth users=ruanwenwu secrets file=/etc/rsyncd.conf.passwd hosts allow=192.168.38.128
创建密码文件/etc/rsyncd.conf.passwd
ruanwenwu:123456
配置完这些就可以开启服务了:
rsync --daemon --config=/etc/rsyncd.conf
注意,千万不要写成deamon了。
到这里服务端就配好了。
配置客户端
客户端的配置相对来说简单多了。如果服务端配置了“要求密码”,客户端也要“备好”密码文件。
创建密码文件/etc/rsyncd.conf.passwd
123456
客户端的密码文件和服务端的区别是,服务端的格式是“用户名:密码”,而客户端只需要写密码,如上。
配置好密码文件之后,就可以从客户端推送文件到服务器,或者从服务器拉取文件了。注意,操作前关闭防火墙(iptables或者firewalld),或者配置好防火墙的规则。
从服务端拉取文件:
[root@ruanwenwu-0002 ~]# rsync -avPz ruanwenwu@192.168.38.128::test /tmp/dbcc/ --password-file=/etc/rsyncd.conf.passwd receiving incremental file list created directory /tmp/dbcc ./ aa.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/2) sent 81 bytes received 148 bytes 458.00 bytes/sec total size is 0 speedup is 0.00
上传到服务端:
[root@ruanwenwu-0002 ~]# rsync -avPz /tmp/dbccdd/ ruanwenwu@192.168.38.128::test/dbccdd/ --password-file=/etc/rsyncd.conf.passwd sending incremental file list created directory /dbccdd ./ sent 25 bytes received 11 bytes 72.00 bytes/sec total size is 0 speedup is 0.00
瓢画完了,下面说明一下各个配置项是什么意思。
rsyncd.conf配置文件详解 port:指定在哪个端口启动rsyncd服务,默认是873端口。 log file:指定日志文件。 pid file:指定pid文件,这个文件的作用涉及服务的启动、停止等进程管理操作。 address:指定启动rsyncd服务的IP。假如你的机器有多个IP,就可以指定由其中一个启动rsyncd服务,如果不指定该参数,默认是在全部IP上启动。 []:指定模块名,里面内容自定义。 path:指定数据存放的路径。 use chroot true|false:表示在传输文件前首先chroot到path参数所指定的目录下。这样做的原因是实现额外的安全防护,但缺点是需要以roots权限,并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true,如果你的数据当中有软连接文件,阿铭建议你设置成false。 max connections:指定最大的连接数,默认是0,即没有限制。 read only ture|false:如果为true,则不能上传到该模块指定的路径下。 list:表示当用户查询该服务器上的可用模块时,该模块是否被列出,设定为true则列出,false则隐藏。 uid/gid:指定传输文件时以哪个用户/组的身份传输。 auth users:指定传输时要使用的用户名。 secrets file:指定密码文件,该参数连同上面的参数如果不指定,则不使用密码验证。注意该密码文件的权限一定要是600。格式:用户名:密码 hosts allow:表示被允许连接该模块的主机,可以是IP或者网段,如果是多个,中间用空格隔开。 当设置了auth users和secrets file后,客户端连服务端也需要用用户名密码了,若想在命令行中带上密码,可以设定一个密码文件 rsync -avL test@192.168.133.130::test/test1/ /tmp/test8/ --password-file=/etc/pass 其中/etc/pass内容就是一个密码,权限要改为600
完。