SVN-GitLab数据迁移

SVN-GitLab数据迁移

一、生产环境SVN数据迁移到测试环境GitLab

主机名	IP地址	备份	特殊要求
SVN	192.168.200.188	SVN服务器	无
Git01	192.168.200.186	Git客户端	无
Git02	192.168.200.187	GitLab服务器01	内存2G

1.1 Git与SVN对比：优缺点

1.2 部署SVN服务器

1.[root@SVN ~]# yum -y install subversion
2.[root@SVN ~]# mkdir -p /application/svndata/yunjisuan
3.[root@SVN ~]# mkdir -p /application/svnpasswd
4.
5.#创建yunjisuan项目主分支，开发分支，测试分子
6.[root@SVN ~]# svnadmin create /application/svndata/yunjisuan/master
7.[root@SVN ~]# svnadmin create /application/svndata/yunjisuan/dev
8.[root@SVN ~]# svnadmin create /application/svndata/yunjisuan/test
9.
10.[root@SVN ~]# cd /application/svndata/yunjisuan/master/conf/
11.[root@SVN conf]# cp svnserve.conf{,.bak}
12.[root@SVN conf]# vim svnserve.conf
13.[root@SVN conf]# sed -n '19p;20p;27p;34p' svnserve.conf
14.anon-access = none
15.auth-access = write
16.password-db = /application/svnpasswd/passwd
17.authz-db = /application/svnpasswd/authz
18.
19.#将配置文件覆盖另外两个分支
20.[root@SVN conf]# /bin/cp svnserve.conf /application/svndata/yunjisuan/dev/conf/
21.[root@SVN conf]# /bin/cp svnserve.conf /application/svndata/yunjisuan/test/conf/
22.[root@SVN conf]# cp /application/svndata/yunjisuan/master/conf/authz /application/svnpasswd/
23.[root@SVN conf]# cp /application/svndata/yunjisuan/master/conf/passwd /application/svnpasswd/
24.[root@SVN conf]# cd /application/svnpasswd/
25.[root@SVN svnpasswd]# vim passwd 
26.[root@SVN svnpasswd]# tail -4 passwd 
27.yunjisuan = 123123
28.benet = 123123
29.stu001 = 123
30.stu002 = 456
31.[root@SVN svnpasswd]# vim authz 
32.[root@SVN svnpasswd]# egrep -v "#|^$" authz
33.[aliases]
34.[groups]
35.testgroup = stu001,stu002
36.[yunjisuan/master:/]
37.yunjisuan = rw          #master主分支代码提交者---开发经理
38.benet = r
39.
40.[yunjisuan/dev:/]
41.benet = rw              #dev开发分支代码提交者---普通程序员
42.yunjisuan = r           #dev开发分支代码下载者---开发经理
43.
44.[yunjisuan/test:/]
45.@testgroup = r          #test测试分支代码下载者----测试人员
46.yunjisuan = rw          #test测试分支代码提交者---开发经理
47.
48.[root@SVN svnpasswd]# svnserve -d -r /application/svndata/
49.[root@SVN svnpasswd]# ps -ef | grep svn
50.root       1388      1  0 21:59 ?        00:00:00 svnserve -d -r /application/svndata/
root       1390   1225  0 21:59 pts/0    00:00:00 grep --color=auto svn

在宿主机创建三个svn目录checkout代码，如下图

随便在三个目录上传点代码文件

1.3 利用git-svn克隆svn代码

特别提示： 
Yum安装的git没有git-svn功能，要源码安装最新版本

1.#在Git01上操作
2.#安装git-svn支持程序（没有这两个包git-svn报错）
3.[root@Git01 ~]# yum -y install subversion-perl
4.[root@Git01 backup]# yum -y install perl-Digest-MD5
5.
6.#创建Git工作目录并克隆SVN分支代码到本地
7.[root@Git01 ~]# mkdir -p /backup
8.[root@Git01 ~]# cd /backup
9.
10.#将SVN服务器master分支代码克隆到本地Git工作目录
11.[root@Git01 backup]# git svn clone --no-metadata svn://192.168.200.188/yunjisuan/master/ /backup/master/
12.初始化空的 Git 仓库于 /backup/master/.git/
13.Authentication realm: <svn://192.168.200.188:3690> 072f4de9-e153-4bf7-ba81-3d5e5f12c9f7
14.Password for 'root':        #输入root登陆密码
15.Authentication realm: <svn://192.168.200.188:3690> 072f4de9-e153-4bf7-ba81-3d5e5f12c9f7
16.Username: yunjisuan         #输入svn的master分支的授权账户名
17.Password for 'yunjisuan':   #输入svn的master分支的授权账户密码
18.    A   test.txt
19.r1 = 91d6150e732f2a0191a3609dda47a78592d1406e (refs/remotes/git-svn)
20.    D   test.txt
21.    A   testmaster.txt
22.W: -empty_dir: test.txt
23.r2 = 67a5085e0fbc4b2d22a9d381e3b6ad076d2eb31e (refs/remotes/git-svn)
24.Checked out HEAD:
25.  svn://192.168.200.188/yunjisuan/master r2
26.
27.
28.#将SVN服务器dev分支代码克隆到本地Git工作目录
29.[root@Git01 backup]# git svn clone --no-metadata svn://192.168.200.188/yunjisuan/dev/ /backup/dev/
30.初始化空的 Git 仓库于 /backup/dev/.git/
31.Authentication realm: <svn://192.168.200.188:3690> 9149d004-cc0e-48a9-b8a2-3caa58aa2092
32.Password for 'root':                    #输入root登陆密码
33.Authentication realm: <svn://192.168.200.188:3690> 9149d004-cc0e-48a9-b8a2-3caa58aa2092
34.Username: benet                         #输入svn的dev分支的授权账户名
35.Password for 'benet':                   #输入svn的dev分支的授权账户密码
36.    A   test.txt    
37.r1 = b7e184a3080b3f046969f39dbf18a07c367d37a2 (refs/remotes/git-svn)
38.    M   test.txt
39.r2 = 7e33b02be20bc4244086dcd622a18873f7ea93af (refs/remotes/git-svn)
40.    D   test.txt
41.    A   testdev.txt
42.W: -empty_dir: test.txt
43.r3 = 5a3189eeff8b15228c78858c27dabeda6c417940 (refs/remotes/git-svn)
44.Checked out HEAD:
45.  svn://192.168.200.188/yunjisuan/dev r3
46.
47.
48.#将SVN服务器test分支代码克隆到本地Git工作目录
49.[root@Git01 backup]# git svn clone --no-metadata svn://192.168.200.188/yunjisuan/test/ /backup/test/
50.初始化空的 Git 仓库于 /backup/test/.git/
51.Authentication realm: <svn://192.168.200.188:3690> cf8ca014-62dd-4f60-b821-38db9bf1a0d3
52.Password for 'root':                    #输入root登陆密码
53.Authentication realm: <svn://192.168.200.188:3690> cf8ca014-62dd-4f60-b821-38db9bf1a0d3
54.Username: yunjisuan                     #输入svn的test分支的授权账户名
55.Password for 'yunjisuan':               #输入svn的test分支的授权账户密码
56.    A   test.txt
57.r1 = b2d971b3c80708c858dffcdd5a542561b677d93f (refs/remotes/git-svn)
58.    D   test.txt
59.    A   testtest.txt
60.W: -empty_dir: test.txt
61.r2 = e57f1c1dab5a12df3cda337726bf89382f572135 (refs/remotes/git-svn)
62.Checked out HEAD:
63.  svn://192.168.200.188/yunjisuan/test r2
64.
65.[root@Git01 backup]# ls
66.dev  master  test
67.[root@Git01 backup]# tree
68..
69.├── dev
70.│   └── testdev.txt
71.├── master
72.│   └── testmaster.txt
73.└── test
74.    └── testtest.txt
75.
76.3 directories, 3 files

在GitLab上创建一个组，在组里添加3个成员（主程序员，开发者，报告者） 
GitLab默认情况下，master分支是受到保护的（只能主程序员推送和合并） 
主程序员=产品经理：推送和合并受保护分支 
开发者=开发人员：推送不受保护分支 
报告者=测试人员：只能clone代码 
在GitLab这个组里创建一个项目叫做Demo 
通过主程序员账号将从SVN克隆下来的master分支，dev分支，test分支的代码推送到Demo项目里。分支名称不变

1.[root@Git01 backup]# ls
2.dev  master  test
3.[root@Git01 backup]# cd master/
4.[root@Git01 master]# ls
5.testmaster.txt
6.[root@Git01 master]# git remote add origin http://192.168.200.187:8888/test/demo.git
7.
8.#将master目录代码推送到GitLab仓库的Demo项目里
9.[root@Git01 master]# git push -u origin master
10.Username for 'http://192.168.200.187:8888': 215379068@qq.com
11.Password for 'http://215379068@qq.com@192.168.200.187:8888': 
12.对象计数中: 5, 完成.
13.压缩对象中: 100% (2/2), 完成.
14.写入对象中: 100% (5/5), 383 bytes | 0 bytes/s, 完成.
15.Total 5 (delta 1), reused 0 (delta 0)
16.To http://192.168.200.187:8888/test/demo.git
17. * [new branch]      master -> master
18.分支 master 设置为跟踪来自 origin 的远程分支 master。
19.
20.#将dev目录代码推送到GitLab仓库的Demo项目里
21.[root@Git01 master]# cd /backup/dev
22.[root@Git01 dev]# git branch
23.* master
24.[root@Git01 dev]# git branch dev
25.[root@Git01 dev]# git checkout dev
26.切换到分支 'dev'
27.[root@Git01 dev]# git branch
28.* dev
29.  master
30.[root@Git01 dev]# ls
31.testdev.txt
32.[root@Git01 dev]# git add *
33.[root@Git01 dev]# git commit -m "开发分支代码提交"
34.
35.*** Please tell me who you are.
36.
37.Run
38.
39.  git config --global user.email "you@example.com"
40.  git config --global user.name "Your Name"
41.
42.to set your accounts default identity.
43.Omit --global to set the identity only in this repository.
44.
45.fatal: unable to auto-detect email address (got 'root@Git01.(none)')
46.[root@Git01 dev]# git config --global user.email "215379068@qq.com"
47.[root@Git01 dev]# git config --global user.name "Mr.chen"
48.[root@Git01 dev]# git commit -m "开发分支代码提交"
49.位于分支 dev
50.nothing to commit, working tree clean
51.[root@Git01 dev]# git push -u origin dev
52.Username for 'http://192.168.200.187:8888': 215379068@qq.com
53.Password for 'http://215379068@qq.com@192.168.200.187:8888': 
54.对象计数中: 8, 完成.
55.压缩对象中: 100% (3/3), 完成.
56.写入对象中: 100% (8/8), 628 bytes | 0 bytes/s, 完成.
57.Total 8 (delta 0), reused 0 (delta 0)
58.remote: 
59.remote: To create a merge request for dev, visit:
60.remote:   http://192.168.200.187:8888/test/demo/merge_requests/new?merge_request%5Bsource_branch%5D=dev
61.remote: 
62.To http://192.168.200.187:8888/test/demo.git
63. * [new branch]      dev -> dev
64.分支 dev 设置为跟踪来自 origin 的远程分支 dev。
65.
66.
67.#将test目录代码推送到GitLab仓库的Demo项目里
68.[root@Git01 dev]# cd /backup/test/
69.[root@Git01 test]# git branch
70.* master
71.[root@Git01 test]# git branch test
72.[root@Git01 test]# git checkout test
73.切换到分支 'test'
74.[root@Git01 test]# git add *
75.[root@Git01 test]# git config --global user.email "215379068@qq.com"
76.[root@Git01 test]# git config --global user.name "Mr.chen"
77.[root@Git01 test]# git commit -m "测试分支代码提交"
78.位于分支 test
79.nothing to commit, working tree clean
80.[root@Git01 test]# git remote add origin http://192.168.200.187:8888/test/demo.git
81.[root@Git01 test]# git push -u origin test
82.Username for 'http://192.168.200.187:8888': 215379068@qq.com
83.Password for 'http://215379068@qq.com@192.168.200.187:8888': 
84.对象计数中: 5, 完成.
85.压缩对象中: 100% (2/2), 完成.
86.写入对象中: 100% (5/5), 379 bytes | 0 bytes/s, 完成.
87.Total 5 (delta 1), reused 0 (delta 0)
88.remote: 
89.remote: To create a merge request for test, visit:
90.remote:   http://192.168.200.187:8888/test/demo/merge_requests/new?merge_request%5Bsource_branch%5D=test
91.remote: 
92.To http://192.168.200.187:8888/test/demo.git
93. * [new branch]      test -> test
94.分支 test 设置为跟踪来自 origin 的远程分支 test。

二、测试环境GitLab数据迁移到生产环境GitLab

2.1 案例背景

前段时间，在某台CentOS服务器上搭建了GitLab环境，并且其他开发组的同仁都陆陆续续把代码从svn迁移到了GitLab，但是之前的CentOS服务器并不是搭建在公司的机房环境，而是搭建在办公室的某台闲置的电脑上，因此为了保证数据安全性，领导要求将之前的GitLab数据全部重新迁移到公司机房的服务器上去。

主机名	IP地址	备份	特殊要求
Git01	192.168.200.186	GitLab服务器01	内存2G
Git02	192.168.200.187	GitLab服务器02	内存2G

2.2 GitLab的数据备份

2.2.1 创建备份文件

首先，我们得把老服务器上的Gitlab整体备份，使用Gitlab一键安装包安装Gitlab非常简单，同样的备份恢复与迁移也非常简单。使用一条命令即可创建完整的Gitlab备份。

gitlab-rake gitlab:backup:create

使用以上命令会在/var/opt/gitlab/backups目录下创建一个名称类似为1537115457_2018_09_17_11.2.3_gitlab_backup.tar的压缩包，这个压缩包就是Gitlab整个的完整部分，其中开头1537115457_2018_09_17是备份创建的日期，11.2.3是Gitlab的版本号

• /etc/gitlab/gitlab.rb配置文件需要备份
• /var/opt/gitlab/nginx/conf nginx配置文件
• /etc/postfix/main.cf postfix 邮件配置备份

1.[root@Git02 backups]# pwd
2./var/opt/gitlab/backups
3.[root@Git02 backups]# ls
4.
5.#执行命令生成备份压缩包
6.[root@Git02 backups]# gitlab-rake gitlab:backup:create
7.
8.#查看备份包
9.[root@Git02 backups]# ls
10.1537370009_2018_09_19_11.2.3_gitlab_backup.tar  1537370260_2018_09_19_11.2.3_gitlab_backup.tar
11.[root@Git02 backups]# ll
12.总用量 184
13.-rw------- 1 git git 92160 9月  19 23:13 1537370009_2018_09_19_11.2.3_gitlab_backup.tar
14.-rw------- 1 git git 92160 9月  19 23:17 1537370260_2018_09_19_11.2.3_gitlab_backup.tar #最后一次备份

2.2.2 更改GitLab备份目录

GitLab配置文件路径：/etc/gitlab/gitlab.rb

1.[root@Git02 ~]# mkdir -p /backup
2.#修改如下配置文件
3.[root@Git02 ~]# cat -n /etc/gitlab/gitlab.rb.bak | sed -n '299p'
4.   299  # gitlab_rails['backup_path'] = "/var/opt/gitlab/backups"
5.[root@Git02 ~]# cat -n /etc/gitlab/gitlab.rb | sed -n '299p'
6.   299  gitlab_rails['backup_path'] = "/backup"
7.
8.#重载GitLab配置文件
9.[root@Git02 ~]# gitlab-ctl reconfigure
10.
11.#再次进行备份尝试
12.[root@Git02 ~]# cd /backup/
13.[root@Git02 backup]# ls
14.[root@Git02 backup]# gitlab-rake gitlab:backup:create
15.[root@Git02 backup]# ls
16.1537371499_2018_09_19_11.2.3_gitlab_backup.tar

2.2.3 GitLab的自动备份

将命令写成定时任务，每天凌晨两点执行一次备份操作

2.2.4 设置备份过期时间

设置只保存最近7天的备份，编辑/etc/gitlab/gitlab.rb配置文件，找到如下配置并修改

1.[root@Git02 ~]# cat -n /etc/gitlab/gitlab.rb.bak | sed -n '307p'
2.   307  # gitlab_rails['backup_keep_time'] = 604800
3.[root@Git02 ~]# cat -n /etc/gitlab/gitlab.rb | sed -n '307p'
4.   307  gitlab_rails['backup_keep_time'] = 604800

2.3 copy老服务器上面的备份文件到新服务器

2.3.1 确保新GitLab服务器和老GitLab服务器版本相同

在G01上和G02上都部署同版本的GitLab服务器

2.3.2 copy老服务器上面的备份文件到新服务器

1.[root@Git02 ~]# cd /backup/
2.[root@Git02 backup]# ls
3.1537371499_2018_09_19_11.2.3_gitlab_backup.tar
4.[root@Git02 backup]# scp 1537371499_2018_09_19_11.2.3_gitlab_backup.tar root@192.168.200.186:/root/
5.root@192.168.200.186's password: 
1537371499_2018_09_19_11.2.3_gitlab_backup.tar                    100%   90KB  23.4MB/s   00:00

2.4 从备份数据中恢复GitLab

2.4.1 将备份文件权限修改为777

第一步：将备份文件权限修改为777，不然可能恢复的时候会出现权限不够，不能解压的问题。

1.#将拷贝过来的备份文件移动到新GitLab的备份目录下
2.[root@Git01 ~]# mv 1537371499_2018_09_19_11.2.3_gitlab_backup.tar /var/opt/gitlab/backups/
3.[root@Git01 ~]# cd /var/opt/gitlab/backups/
4.[root@Git01 backups]# ls
5.1537371499_2018_09_19_11.2.3_gitlab_backup.tar
6.
7.#给备份文件增加777权限
8.[root@Git01 backups]# chmod 777 1537371499_2018_09_19_11.2.3_gitlab_backup.tar 
9.[root@Git01 backups]# ll 1537371499_2018_09_19_11.2.3_gitlab_backup.tar 
10.-rwxrwxrwx 1 root root 92160 9月  20 22:17 1537371499_2018_09_19_11.2.3_gitlab_backup.tar

2.4.2 执行命令停止相关数据连接服务

第二步：执行命令停止相关数据连接服务

1.#停止相关数据连接服务
2.[root@Git01 ~]# gitlab-ctl stop unicorn
3.ok: down: unicorn: 0s, normally up
4.
5.[root@Git01 ~]# gitlab-ctl stop sidekiq
6.ok: down: sidekiq: 0s, normally up

2.4.3 执行命令从备份文件中恢复GitLab

第三步：执行命令从备份文件中恢复GitLab 
gitlab-rake gitlab:backup:restore BACKUP=备份文件编号

1.#执行命令恢复数据
2.[root@Git01 ~]# gitlab-rake gitlab:backup:restore BACKUP=1537371499_2018_09_19_11.2.3
3.
4.说明：
恢复过程中出现两个（yes/no），输入两个yes即可

2.4.4 重新启动GitLab

第四步：启动GitLab

1.[root@Git01 ~]# gitlab-ctl start
2.ok: run: alertmanager: (pid 30942) 1078s
3.ok: run: gitaly: (pid 30950) 1077s
4.ok: run: gitlab-monitor: (pid 30971) 1077s
5.ok: run: gitlab-workhorse: (pid 30976) 1077s
6.ok: run: logrotate: (pid 30984) 1076s
7.ok: run: nginx: (pid 30991) 1076s
8.ok: run: node-exporter: (pid 30996) 1075s
9.ok: run: postgres-exporter: (pid 31075) 1075s
10.ok: run: postgresql: (pid 31084) 1074s
11.ok: run: prometheus: (pid 31093) 1074s
12.ok: run: redis: (pid 31102) 1073s
13.ok: run: redis-exporter: (pid 31106) 1073s
14.ok: run: sidekiq: (pid 32321) 1s
ok: run: unicorn: (pid 32328) 0s

2.4.5 进行Web访问检查

两台GitLab除了IP和端口不同外，项目内容完全一致