全网备份数据同步方案
备份网站内部人员信息 不能解决外部（人员）上传数据的备份
定时任务最短执行的周期为一分钟，采用定时任务方式，有时可能造成一分钟内的数据丢失
因此对于重要数据需要采用实时同步的方案
#数据同时同步方法
##什么是实时同步：如何实现实时同步数据备份
###1 利用监控服务 监控同步数据目录信息的变化
###2 发现目录中数据产生变化 就利用rsync服务推送数据到备份服务器上
##实时同步工作原理概念
1）进行数据信息的监控
2）将变化的数据进行推送备份--利用Rsync
##实现实时同步的技术手段：
1-->inotify+rsync
2-->sersync
实时同步服务拓扑示意图
服务架构
软件名称：inotify-tools
intify主要是监控 rsync是传输
TIP：异步就是将所有请求先放入内存当中
修改1个文件名称是什么行为
inotify只是监控软件（事件驱动机制） 同步是rsync做的
事件驱动机制：
中小型比较适合前2款
####实现实时同步的方法
01 intofy 对同步数据目录信息的监控
02 rsync 完成对数据信息的实时同步
intify+rsync 利用脚本进行结合
第一个里程碑：部署rsync服务
客户端
服务端
第二个里程碑：部署inotify软件
部署数据监控服务（inotify）
1）安装inotify软件（检查是否安装）
yum install inotify-tools -y --- 基于epel源（/etc/yum.repos.d/ 源文件保存目录）
备注：安装在NFS上
centos系统安装软件方式
1）yum安装软件方式
和rpm -ivh安装软件命令对比
yum安装软件可以解决软件之间依赖关系
rpm安装软件只能安装指定的软件，不会安装依赖包
使用yum安装软件：
01 具有yum仓库：存储所有软件的仓库
02 具有yum源文件：利用yum源文件 决定使用哪个yum仓库 进行软件下载
/etc/yum.d/ 放置源文件
yum repolist --显示本台主机的所有可用yum源信息
2）编译安装软件
3）利用二进制包方式安装软件
安装采用绿色版本软件，进行安装
rpm -ql inotify-tools
[root@nfs01 ~]# rpm -ql inotify-tools
/usr/bin/inotifywait
/usr/bin/inotifywatch
/usr/lib64/libinotifytools.so.0
/usr/lib64/libinotifytools.so.0.4.1
/usr/share/doc/inotify-tools-3.14
/usr/share/doc/inotify-tools-3.14/AUTHORS
/usr/share/doc/inotify-tools-3.14/COPYING
/usr/share/doc/inotify-tools-3.14/ChangeLog
/usr/share/doc/inotify-tools-3.14/NEWS
/usr/share/doc/inotify-tools-3.14/README
/usr/share/man/man1/inotifywait.1.gz
/usr/share/man/man1/inotifywatch.1.gz
inotifywait 在被监控的文件或目录上等待特定文件系统事件（open close delete 等）发生 ，执行后处于阻塞状态，使用shell脚本中使用，通过此命令。实现对目录或文件的监控
inotifywatch 收集被监控的文件系统使用的统计数据，指文件系统时间发生的次数统计、统计文件数据信息变化的数量
[root@nfs01 ~]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 May 20 10:36 max_queued_events
-rw-r--r-- 1 root root 0 May 20 10:36 max_user_instances
-rw-r--r-- 1 root root 0 May 20 10:36 max_user_watches
max_user_watches: 设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）
8192
max_user_instances：设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
128
max_queued_events: 设置inotify实例事件（event）队列可容纳的事件数量
16384
参数说明：
-m 表示始终保持事件的监听状态
-r 递归监控目录数据信息变化
-q 输出信息少（只打印事件信息）
-timefmt 指定时间输出格式
-format 打印使用指定的输出类似格式字符串：即实际监控输出的内容
-e 指定监听的指定的文件，如果省略，表示所有事件都进行监听
-m|--monitor --- 始终保持监视状态，默认对目录只监视一次
-r --- 表示进行递归监控（目录1/目录2/目录3/file）
-q|--quiet --- 将没有信息不要输出在屏幕上显示 &>/dev/null
--timefmt <fmt> --- 时间格式信息（date）
--format --- 输出内容的格式信息
-e --- 指定监控的事件信息（如果不指定此参数，表示所有事件都监控）
指定的事件：
创建1个文件的逻辑
[root@nfs01 ~]# inotifywait -m /data ### -m表示一直显示
Setting up watches.
Watches established.
/data/ CREATE 0603-1.txt
/data/ OPEN 0603-1.txt
/data/ ATTRIB 0603-1.txt
/data/ CLOSE_WRITE,CLOSE 0603-1.txt
删除1个文件的逻辑
/data/ OPEN,ISDIR
/data/ CLOSE_NOWRITE,CLOSE,ISDIR
/data/ DELETE 0603-1.txt
修改1个文件的逻辑
/data/ OPEN 0603.txt
/data/ MODIFY 0603.txt
/data/ CLOSE_WRITE,CLOSE 0603.txt
重命名一个文件，会触发什么事件？
2018-05-09 /data/file01 事件信息:MOVED_FROM
2018-05-09 /data/file10 事件信息:MOVED_TO
sed命令替换文件信息原理过程
2018-05-09 /data/file10 事件信息:OPEN
2018-05-09 /data/sedRSK9Gs 事件信息:CREATE
2018-05-09 /data/sedRSK9Gs 事件信息:OPEN
2018-05-09 /data/file10 事件信息:ACCESS
2018-05-09 /data/sedRSK9Gs 事件信息:MODIFY
2018-05-09 /data/sedRSK9Gs 事件信息:ATTRIB
2018-05-09 /data/sedRSK9Gs 事件信息:ATTRIB
2018-05-09 /data/file10 事件信息:CLOSE_NOWRITE,CLOSE
2018-05-09 /data/sedRSK9Gs 事件信息:CLOSE_WRITE,CLOSE
2018-05-09 /data/sedRSK9Gs 事件信息:MOVED_FROM
2018-05-09 /data/file10 事件信息:MOVED_TO
创建目录
/data/ CREATE,ISDIR 01
基本用法：用-mrq 参数
[root@nfs01 ~]# inotifywait -mrq /data
/data/ OPEN,ISDIR
/data/ CLOSE_NOWRITE,CLOSE,ISDIR
/data/01/ CREATE ceshi.txt
/data/01/ OPEN ceshi.txt
/data/01/ ATTRIB ceshi.txt
/data/01/ CLOSE_WRITE,CLOSE ceshi.txt
inotifywait -mrq /data/ --- 实现数据监控最重要的三个参数
inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息:%e" /data/ ---详细监控命令
-e create -e参数指定监控的事件 监控的目录
实时同步命令参数示意图
常用的时间参数参照表
第三个里程碑：编写inotify+rsync脚本
01 inotify使用方法
inotifywait -mrq --format "%w%f" -e create,close_write,delete,moved_to /data/
02 rsync 使用方法
初步完善后脚本：
#!/bin/bash
inotifywait -mrq --format "%w%f" -e create,close_write,delete,moved_to /data/|
while read line
do
rsync -az --delete /data/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
done
快捷命令
ctrl+z 暂停运行的进程
pkill -f "sh -x inotify.sh"
杀手说明：杀手三人组只能杀死运行中的进程，不能杀死暂停的进程
jobs 检查放入后台运行的进程信息
bg 后台运行进程放入前台
fg 前台运行进程放入后台
sh inotify.sh & 脚本运行在后台
ps -ef | grep sh
让脚本程序在后台运行的方法
1 sh inotify.sh &
2 nohup sh inotify.sh &
思考 screen 实现脚本后台运行
<<inotify.sh>>
#!/bin/bash inotifywait -mrq --format "%w%f" -e create,close_write,delete,moved_to /data/| while read line do rsync -az --delete /data/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password done
[root@nfs01 scripts]# sz inotify.sh 将指定文件发送到桌面
优化配置实践
sersync部分
2）sersync
第一个里程碑：安装sersync软件
https://github.com/wsgzao/sersync
cd /server/tools 工具放在这个目录
01 上传软件
<<sersync_installdir_64bit.zip>>
02 解压软件包
[root@nfs01 tools]# unzip sersync_installdir_64bit.zip
Archive: sersync_installdir_64bit.zip
creating: sersync_installdir_64bit/
creating: sersync_installdir_64bit/sersync/
creating: sersync_installdir_64bit/sersync/bin/
inflating: sersync_installdir_64bit/sersync/bin/sersync
creating: sersync_installdir_64bit/sersync/conf/
inflating: sersync_installdir_64bit/sersync/conf/confxml.xml
creating: sersync_installdir_64bit/sersync/logs/
[root@nfs01 tools]# cd sersync_installdir_64bit
[root@nfs01 sersync_installdir_64bit]# ll
total 4
drwxr-xr-x 5 root root 4096 Dec 23 2012 sersync
[root@nfs01 sersync_installdir_64bit]# tree --软件组成
.
└── sersync
├── bin
│ └── sersync
├── conf
│ └── confxml.xml
└── logs
4 directories, 2 files
03 将软件包移动到指定目录中
[root@nfs01 sersync_installdir_64bit]# mv sersync/ /usr/local/
第二个里程碑：编写软件配置文件（难点）
配置文件位置：
[root@nfs01 conf]# ll
total 4
-rw-r--r-- 1 root root 2214 Oct 26 2011 confxml.xml
[root@nfs01 conf]# pwd
/usr/local/sersync/conf
#01 编写配置文件前先进行备份
[root@nfs01 conf]# cp confxml.xml{,.bak}
[root@nfs01 conf]# ll
total 8
-rw-r--r-- 1 root root 2214 Oct 26 2011 confxml.xml
-rw-r--r-- 1 root root 2214 Jun 3 18:27 confxml.xml.bak
#02 编写配置文件
<filter start="false">
7 <exclude expression="(.*).svn"></exclude>
8 <exclude expression="(.*).gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter>
说明：表示排除同步数据
<inotify>
13 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="false"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>
说明：指定监控的事件信息
23 <sersync>
24 <localpath watch="/opt/tongbu"> --监控的目录
25 <remote ip="127.0.0.1" name="tongbu1"/> --推送的远程主机和目录
26 <!--<remote ip="192.168.8.39" name="tongbu"/>--> --注释信息
27 <!--<remote ip="192.168.8.40" name="tongbu"/>-->
28 </localpath>
说明：定义监控的目录信息 指定推送的备份服务器IP地址与目录信息
<rsync>
30 <commonParams params="-artuz"/>
31 <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
32 <userDefinedPort start="false" port="874"/><!-- port=874 -->
33 <timeout start="false" time="100"/><!-- timeout=100 -->
34 <ssh start="false"/>
35 </rsync>
说明rsync部分：定义rsync数据推送时的参数信息
第三个里程碑：启动sersync软件服务
01 先给与执行权限：
[root@nfs01 bin]# pwd
/usr/local/sersync/bin
[root@nfs01 bin]# chmod +x sersync
[root@nfs01 bin]# ll
total 1768
-rwxr-xr-x 1 root root 1810128 Oct 26 2011 sersync
02 查看帮助信息：
[root@nfs01 bin]# ./sersync -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________
03 正式启动
[root@nfs01 bin]# ./sersync -dro /usr/local/sersync/conf/confxml.xml
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d run as a daemon
option: -r rsync all the local files to the remote servers before the sersync work
option: -o config xml name： /usr/local/sersync/conf/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost host port: 8008
daemon start，sersync run behind the console
use rsync password-file :
user is rsync_backup
passwordfile is /etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data && rsync -az -R --delete ./ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1
run the sersync:
watch path is: /data
至此可以进行测试