学习git（一）

一、自动化运维

1、网络层（接入层、汇聚层、核心层）；

LB+HA（L4、L7）；
服务层（reverse proxy cache、应用层、web层、SOA层、分布式层、DAL）；
数据层（分布式缓存、NoSQL、DB）；
系统层（环境初始化）
基础设施（IDC托管、设备上下架）；

2、自动化实现：

网络层（SDN，softwaredefinition network）；
LB+HA（平台开发、IaaS）；
服务层（PaaS or docker（自动化调度、自动化开发、自动化发现（服务发现、服务注册））；reverse proxy cache（第三方平台开发）；应用层（自定义开发）；web层、SOA层、分布式层、DAL（saltstack，saltcloud，有docker模块、消息））；
数据层（DAL）；
基础设备、系统层（IaaS，openstack）；

3、安全：

网络层（firewall）；
LB+HA、服务层（WAF，web application firewall）
数据层（如DB权限）；
系统层（tcp wrapper）；
基础设施（物理安全）；

 4、备份：

网络层（HSRP、VRRP）；
LB+HA（VRRP）；
数据层（DB备份）；
服务层中的web层（saltstack）；
核心层（网关设备（outside、inside）、防火墙、router）；
汇聚层（三层交换；动态路由、静态路由、EC、端口汇聚）；
接入层（二层交换；VTP、SPF、trunk、port安全）；
L4（LVS、F5's BigIP、Citrix's Netscaler、A10）；
L7（haproxy、nginx）；
DAL、专业团队做（taobao'sTDDL、360）；
分布式层（分布式存储（glusterfs、moosefs、fastDFS）；分布式MQ（rabbitMQ、QPID、zeroMQ））；
SOA层、服务化（应用服务层duddo、基于restfull api开发）；
web层（httpd、nginx、tomcat、jboss、resin）；
应用层、应用变更ittle（php、java、python、C、C++）；
reverse proxy cache（ATS、squid、varnish；CDN（配置同步；流量统计；预缓存；缓存更新；日志分析；智能DNS））；
DB（MySQL、Oracle、postgre SQL、SQLserver、access）；
NoSQL（mongodb、redis、couchbase、elasticsearch）；
分布式缓存（memcached、redis）；
环境初始化（性能优化；监控agent；自动化管理saltstack minion；内部DNS；limit（例如tcp wrapper限制仅跳板机ssh到server）；
设备上下架（网络配置；标签；自检（配货单与实物对比）；raid；iDrac|ILO|IMM；OS安装；资产录入（分层设计）——合同管理（采购方-采购时间-采购人-联系信息）——保修时间——地点——配置详情——MDB配置项（OS类型-IPv4,RIP,VIP,IPMI,hostname）——服务层面）；
IDC托管（熟悉各大IDC厂商；根据业务类型选择；网络测试；谈价格、走合同；设备采购（需求分析、采购、上下架））；

5、运维标准化（版本、路径、服务、OS……）；

6、运维边界：

运维边界模糊化（掌握尽可能多的知识点）；
运维开发（后端>前端，重点在后端）；

7、自动化运维发展阶段：

标准化、工具化（标准化运维；运维标准化、操作工具化、变更流程化）；
web化、平台化（web化运维；操作web化、权限控制、弱化流程、统计分析、统一调度）；
服务化、api化（DNS服务、LB服务、监控服务、分布式缓存服务、分布式存储服务、CMDB）；
智能化；

8、服务器生命周期：

服务器上架-->网络配置-->raid配置-->IPMI
服务器上架-->环境部署-->运维变更-->（服务更新-->代码更新-->服务扩容&缩容）；(服务下线，服务器下线）
环境部署（OS安装（cobbler）；服务部署（saltstack）；应用代码部署（saltstack&shell）；监控配置（zabbix）；加入运行集群（LVS&haproxy))

9、持续集成、持续部署：

 

二、git简介

分布式的版本控制系统；
diff（2002年之前）-->bitkeeper（2002年）-->git（不要逼我）；
集中式；
分布式（中央服务器用于交换代码）；
https://www.git-scm.com/
注：不要拿git与svn相对比，git只能管理文本文件，不能管理picture；
https://github.com/jowinchaitest，github源码托管，开源项目，代码管理，控制工具；

 三、安装部署

yum install git                                  #安装git
git config –global user.name “tom”               #配置git用户
git config –global user.email “tom@qq.com”       #配置git邮箱
git config –global color.ui true                 #配置颜色
git config –list                                 #查看配置信息

四、git常用命令

add         #添加文件内容至索引
bisect      #通过二分查找定位引入 bug 的变更
branch      #列出、创建或删除分支
checkout    #检出一个分支或路径到工作区
clone       #克隆一个版本库到一个新目录
commit      #记录变更到版本库
diff        #显示提交之间、提交和工作区之间等的差异
fetch       #从另外一个版本库下载对象和引用
grep        #输出和模式匹配的行
init        #创建一个空的 Git 版本库或重新初始化一个已存在的版本库
log         #显示提交日志
merge       #合并两个或更多开发历史
mv          #移动或重命名一个文件、目录或符号链接
pull        #获取并合并另外的版本库或一个本地分支
push        #更新远程引用和相关的对象
rebase      #本地提交转移至更新后的上游分支中
reset       #重置当前HEAD到指定状态
rm          #从工作区和索引中删除文件
show        #显示各种类型的对象
status      #显示工作区状态
tag         #创建、列出、删除或校验一个GPG签名的 tag 对象

 五、git基本操作

1、git提交数据

mkdir tom
cd tom
git init                            #初始为git工作目录
echo 111 > readme.txt
git status                          #查看git状态
git add readme.txt                  #git添加文件至暂存区
git status                          #再次查看状态
git commit -m “this is 1 commit”    #git cmmit提交暂存取文件至git版本仓库

2、git移除数据

touch aa.txt
git add aa.txt                 #添加文件至暂存区
git status
git rm –cached aa.txt          #将文件从git暂存区域的追踪列表移除(不会删除文件的数据)
git status

将文件数据从git暂存区和工作目录一起删除
git add aa.txt
git rm –f aa.txt                #强制删除-f参数
ls
git status

 3、git移动数据

方法一：
git mv readme.txt test.txt         #修改文件名称
git status
git commit -m “changed name” 
方法二：
mv test.txt readme.txt             #先修改名称
git rm test.txt                    #然后删除git版本仓库内的文件快照
git add readme.txt                 #最后再将新的文件添加进入
git commit -m “changed  name”      #提交至git版本仓库

4、git历史记录

git log                        #查看提交历史记录
git log -2                     #查看最近几条记录
git log -p -1                  #-p显示每次提交的内容差异,例如仅查看最近一次差异
git log –stat -2               #–stat简要显示数据增改行数，这样能够看到提交中修改过的内容，
                               对文件添加或移动的行数，并在最后列出所有增减行的概要信息
git log –pretty=oneline        #–pretty根据不同的格式展示提交的历史信息
git log –pretty=fuller -2      #以更详细的模式输出提交的历史记录
git log –pretty=fomat:”%h %cn” #查看当前所有提交记录的简短SHA-1哈希字串与提交着的姓名

还可以使用format参数来指定具体的输出格式，这样非常便于后期编程的提取分析哦，常用的格式有：
%s     提交说明。
%cd    提交日期。
%an    作者的名字。
%cn    提交者的姓名。
%ce    提交者的电子邮件。
%H     提交对象的完整SHA-1哈希字串。
%h     提交对象的简短SHA-1哈希字串。
%T     树对象的完整SHA-1哈希字串。
%t     树对象的简短SHA-1哈希字串。
%P     父对象的完整SHA-1哈希字串。
%p     父对象的简短SHA-1哈希字串。
%ad    作者的修订时间。

5、git还原数据

echo “hello word” >> readme.txt     #追加一段话
git add readme.txt                  #添加至暂存区
git commit -m “test”                #提交至git版本仓库

git log –pretty=oneline             #查看提交的历史信息
git reset –hard HEAD^               #还原历史提交版本上一次
cat readme.txt                      #查看文件内容(已经还原)

git log –pretty=oneline
git reflog                          #查看未来历史更新点
git reset –hard 4bf5b29             #找到还原点的SHA-1值，就可以还原(值不写全,系统会自动匹配)

echo “hello tom” >> readme.txt
git checkout — readme.txt           #还原某个文件
cat readme.txt 
规则：如果暂存区中有该文件，则直接从暂存区恢复。如果没有该文件，将还原成最近一次提交的快照。

六、git管理分支结构

1、创建分支

git branch linux                        #创建分支
git checkout linux                      #切换分支
git branch                              #查看当前分支情况,标示为*号

echo “Create new branch” >> readme.txt  #我们对文件追加一行字符串
git add readme.txt                      #提交到暂存区
git commit -m “new branch”              #提交到git版本仓库

git checkout master                     #切回master分支
cat readme.txt                          #查看文件内容,并没有新追加的字符串
分支可以理解为：目录、数据库

2、合并分支

git branch              #查看是否在master分支
git merge linux         #合并Linux分支至master
cat readme.txt          #查看合并后的readme文件
git branch -d linux     #确认合并完成后，删除Linux分支
git branch              #查看分支

3、分支冲突

git checkout -b linux          #创建并切换到该分支
echo “1 hello” >> readme.txt   #追加一行内容
git add readme.txt             #在Linux分支添加readme至暂存区
git commit -m “create two”     #在Linux分支提交readme

git checkout master            #切换到master分支
echo "2 tom" >> readme.txt     #在master分支上追加同一行内容
git add readme.txt             #添加至暂存区
git commit -m ‘to master’      #提交至Git版本仓库

git merge linux                #合并Linux分支(冲突)
cat readme.txt                 #冲突内容
git status                     #可获取冲突原因

解决冲突：手动编辑好，add到缓存区，再commit，最后合并两分支
vim readme.txt
git add readme.txt            #再次添加至暂存区
git commit -m ‘config’        #提交至git版本仓库
git merge linux               #合并Linux分支

七、git管理标签

cd tom/                       #进入git版本控制系统
git tag v1.0                  #当前分支打一个标签(方便快速回滚)
git tag                       #查看当前所有的标签
git show v1.0                 #查看当前1.0版本的详细信息
git tag v1.2 -m “v1.2”        #创建带有说明的标签,-a指定标签名字，-m指定说明文字
git tag -d v1.0               #删除之前的v1.0
git tag                       #再次查看,v1.0已经被删除

八、持续集成

markdown编辑器（是一种可以使用普通文本编辑器编写的标记语言）

标题：
#表示一级标题，##、###、####、#####、######，共支持6级标题

列表：
列表分有序列表和无序列表，无序列表用*或-；只有空格或tab的就是一个空行；

引用：
> hello，word
[ ]( )   #（链接，网页引用，广告链接）
![ ]( )  #（图片引用，图片广告）

代码框：
例1：
<TAB>while true:
<TAB><TAB>do echo nimei;
<TAB>done

例2：
'yum -y install lrzsz' 'echo nimei'
*的使用：
*我变斜了*   #（文字两边各1个*，把文字倾斜）
**我变粗了**   #（文字两边用2个*，把文字变粗）
***  #（一行中仅有3个*，表示分割线）

九、GitLab安装部署

Gitlab是一个用Ruby onRails开发的开源项目管理程序，可以通过WEB界面进行访问公开的或者私人项目。它和Github有类似的功能，能够浏览源代码，管理缺陷和注释

1、安装gitlab的依赖
yum install -y curl openssh-server openssh-clients postfix cronie policycoreutils-python

2、启动postfix，并设置为开机启动 
service postfix start
chkconfig on postfix

3、获取gitlab的rpm包
清华开源镜像站
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/gitlab-ce-10.0.2-ce.0.el6.x86_64.rpm

4、安装gitlab
rpm -ivh gitlab-ce-10.0.2-ce.0.el6.x86_64.rpm

基本操作

gitlab-ctl reconfigure         #重新编译配置
gitlab-ctl status              #查看状态
gitlab-ctl stop                #停止服务
gitlab-ctl start               #启动服务
gitlab-ctl tail                #查看日志、
gitlab-ctl tail nginx          #查看nginx日志
gitlab-ctl help                #查看帮助

汉化

1、查看gitlab版本
head -1 /opt/gitlab/version-manifest.txt

2、停止服务
gitlab-ctl stop

3、下载汉化包
v7-v8.8：https://gitlab.com/larryli/gitlab
v8.9：https://gitlab.com/xhang/gitlab

4、更新汉化包
cp -rf /tmp/gitlab/* /opt/gitlab/embedded/service/gitlab-rails/

5、重新编译并启动服务
gitlab-ctl reconfigure
gitlab-ctl start

6、报错排除思路
查看报错日志，排除报错
vim  /etc/gitlab/gitlab.rb
external_url = 'http://192.168.4.19'  不加=会出现问题

删除/opt/gitlab/embedded/service/gitlab-rails/public/uploads
删除/opt/gitlab/embedded/service/gitlab-rails/tmp
删除/opt/gitlab/embedded/service/gitlab-rails/log

权限设置
chown -R git:git /var/opt/gitlab/gitlab-rails/tmp/cache
chown -R git:root /opt/gitlab/embedded/service/gitlab-rails/

修改后台密码

gitlab-rails console production
user = User.where(id: 1).first     #id为1的是超级管理员
user.password = '12345678'         #密码必须至少8个字符
user.save!                         #如没有问题 返回true
exit

十、自动化部署上线

获取代码-->编译（可选）-->配置文件-->打包-->copy到对应服务器（对应目录）-->部署节点、移除集群-->解压、copy差异文件-->创建软链接-->重启-->自动化测试-->加入集群-->列出回滚版本-->执行回滚-->删除软链接-->重新创建软链接-->重启（可选）

---------------------script start------------------

#!/bin/bash

#

 

DATE=`date "+%Y-%m-%d"`

TIME=`date "+%Y-%m-%d-%H-%M"`

CODE_DIR=/ane/test/demo

CONFIG_DIR=/ane/test/config

TAR_DIR=/ane/tar

TMP_DIR=/ane/tmp

 

usage() {

    echo$"Usage: $0 [deploy|rollback-list|rollback-pro VERSION]"

}

 

git_pro() {

    echo "git pull"

    cd $CODE_DIR && git pull

    API_VERL=`gitshow | grep commit | cut -d' ' -f2`

    API_VER=`echo${API_VERL:0:6}`

    /bin/cp -r $CODE_DIR $TMP_DIR

}

 

config_pro() {

    echo "add pro config"

    /bin/cp $CONFIG_DIR/* $TMP_DIR/demo

    TAR_VER=$API_VER-$TIME

    cd $TMP_DIR && mv demo pro_demo_"$TAR_VER"

}

 

tar_pro() {

    echo "tar_pro"

    cd $TMP_DIR && tar zcf pro_demo_"$TAR_VER".tar.gz pro_demo_"$TAR_VER"

    echo "tar end"

}

 

scp_pro() {

    echo "begin scp"

    /bin/cp$TMP_DIR/pro_demo_"$TMP_VER".tar.gz /tmp/

}

 

deploy_pro() {

    echo "begin deploy"

    cd /tmp && tar zxf pro_demo_"$TAR_VER".tar.gz

    rm -f /var/www/html/demo

    ln -s /tmp/pro_demo_"$TAR_VER" /var/www/html/demo

}

 

test_pro() {

    echo "test begin"

    echo "test ok"

}

 

rollback_list() {

    ls -l /tmp/*.tar.gz

}

 

rollback_pro() {

    rm -f /var/www/html/demo

    ln -s /tmp/$1 /var/www/html/demo

}

 

main() {

   case $1 in

    deploy)

        git_pro;

        config_pro;

        tar_pro;

        scp_pro;

        deploy_pro;

        test_pro;

    ;;

    rollback-list)

        rollback_list;

    ;;

    rollback-pro)

        rollback_pro$2;

    ;;

    *)

        usage;

   esac

}

 

main $1 $2

---------------------scriptend-----------------

sh -x  pro-deploy.sh deploy
sh -x  pro-deploy.sh rollback-list
sh -x  pro-deploy.sh rollback-pro

十一、其他应用

git clone git@github.com:test/demo   #把github上面的仓库克隆到本地
git push -u origin master            #将本地的Git仓库同步到远程Github服务器上
git remote                           #查看本机列表