重要业务MySQL冷备解决方案

1、概述

    在公司业务里面，当对应的业务数据不是很重要的时候，我们一般会简单的写个脚本，每天半夜把数据库数据全量拉取下来，备份到本地磁盘。但当业务比较重要的时候，这样简单操作会存在许多问题，比如本地磁盘损坏。因此，为了保证数据的安全性和可恢复性，对于重要业务一般不会备份到本地磁盘。

    下面描述一下自己在工作中用到的解决方案，总体的架构图如下：DB系统为一主一从，然后第一步每天凌晨12点去备份从机上的数据；第二步凌晨1点再将备份数据库上的数据备份到公司的磁盘上。接下来根据这个架构，给出详细的备份代码：

2、详细备份方案

2.1 slave->备份服务器

采用的是mysqldump，slave数据库为InnoDB引擎。

#!/bin/bash

PROGRAM_NAME="cold_backup"
LOG_FILE=$PROGRAM_NAME.log
PID_FILE=$PROGRAM_NAME.pid

LOG_LEVEL=0
LOG_LEVEL_STRING=("TRACE" "DEBUG" "INFO" "WARNING" "ERROR" "FATAL")

function LOG()
{
    if [ $1 -gt $LOG_LEVEL ]; then
        echo "[$(date "+%y-%m-%d %H:%M:%S")][${LOG_LEVEL_STRING[$1]}]$2" >> ${LOG_DIR}$LOG_FILE
    fi  
}

function LOG_FATAL()
{
    LOG 5 "$1"
}

function LOG_ERROR()
{
    LOG 4 "$1"
}

function LOG_WARNING()
{
    LOG 3 "$1"
}

function LOG_INFO()
{
    LOG 2 "$1"
}

function LOG_DEBUG()
{
    LOG 1 "$1"
}

function LOG_TRACE()
{
    LOG 0 "$1"
}

# 其实不需要，因为每天就备份一次，log完全不会超过32M
function shrink_file()
{
    local file=$1
    if [ ! -f $file ]; then
        return 1
    fi
    local file_size=`du -b $file | awk '{print $1}'`
    if [ $? -ne 0 ]; then
        return 2
    fi
    max_size=32000000 #32M
    if [ $file_size -lt $max_size ]; then
        return 3
    fi
    truncate_row=$(wc -l $file | awk '{print $1}')
    ((truncate_row=truncate_row/2))
    if [ $truncate_row -ge 1 ]; then
        sed -i "1,${truncate_row}d" $file
        return 0
    fi
    return 4
}

function clear_file()
{
    echo "" > $1
}

if [ -f $PID_FILE ]; then
    program_pid=`cat $PID_FILE`
    if [ $? -eq 0 ] && [ -n "$program_pid" ]; then
        if ps u -p "$program_pid" | grep -wc $PROGRAM_NAME ; then
            LOG_INFO "program is running, quit now"
            exit 0
        fi
    fi
fi

# XXX业务数据库 
SLAVE_HOST="1.2.3.4:3306"
SERVER_NAME="[ShangHai_XX_YY_ZZ_Slave]"

BACKUP_DIR="/data/cold_backup"
TODAY=`date '+%Y%m%d'`
BACKUP_FILE=${SLAVE_HOST}_${SERVER_NAME}_${TODAY}.sql

echo "$$" > $PID_FILE
shrink_file $LOG_FILE
LOG_INFO "--------------------START BACKUP--------------------"
LOG_INFO "begindump:`date '+%y-%m-%d %H:%M:%S'`"

/usr/local/services/mysql/bin/mysqldump --single-transaction --socket=/tmp/mysql_3306.sock --databases XXX数据库 > "$BACKUP_FILE"
rm -f $(find $BACKUP_DIR -name '*.sql' -mtime +7)

count=`ls -l | grep $TODAY | grep sql | wc -l`
if [ $count -eq 0 ];then
        # alarm, no today sql data
        LOG_WARNING " NO cold backup"
fi

LOG_INFO "enddump:`date '+%y-%m-%d %H:%M:%S'`"

# remove pid_file
rm $PID_FILE

2.2 备份服务器->公司磁盘

采用rsync备份，需要备份服务器和公司磁盘之间可以直接rsync，可以通过ssh来设置。