Devops概念
转载自 devops实践-开篇感想
DevOps(英文Development和Operations的组合)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。它的出现是由于软件行业日益清晰地认识到:为了按时交付软件产品和服务,开发和运营工作必须紧密合作。[1]外文名DevOps全称 Development和Operations的组合优点尽可能地自动化用途协作与整合等。
Devops工具
长话短说,这些写这个专题主要是在实践两个字,在实践总总结,然后再总结中优化自己的实践方案。我们先来来看看devops工具链吧。上图。
看到这张图,我第一感觉就想骂娘。太TM多了,而且很多很多平常都没有听,更别说接触过了。不过还好的是,我们只研究开源工具,一方面是要进行devops实践,另一方面也是想提高自己的能力,通过阅读源码,去研究开源工具的系统架构,以及编程思想,日积月累后,自己也会有一个质的提高。而且收费软件可不是那么便宜一年的license可不是普通企业能买得起的。
选择工具
首先来回顾一下整个开发流程:
需求-开发-测试-发布-部署-监控运维
项目管理(需求&BUG):redmine
代码托管:gerrit(gitlab)
持续集成:jenkins
测试:单元测试:maven等,Jmeter,或者是自己编写脚本
代码扫描:sonar
制品库:JFrog,或者其他工具,这个我也没有想好JFrog收费版可以支持docker,maven, npm等等等,多得不行,制品这方面目前没有什么好的开源的软件。
持续部署:K8S
日志收集:ELK + KAFKA
监控显示:zabbix,grafana
其他工具:nginx, lvs,HA, redis,rabbitmq,ldap, ansible。
实践想法
认证:LDAP 发现好多的开源的工具都会选择ldap来做认证。OPENLDAP。
项目管理:redmine,开源,有丰富的插件,至少感觉好像还是挺火的。
代码托管:gerrit或者是gitlab吧,我这边我会选择gerrit
持续集成:jenkins, 可惜jenkins竟然不开源,不过插件丰富。
代码扫描:sonar
额说得有点重了。LDAP作为所有工具链的一个认证,这样用户信息就统一起来了。
来个场景吧.
1. BA接收到需求之后将其录入Redmine, 指定好开发人员。
2. 开发人员接收到任务之后,然后从gerrit拉取代码到本地,然后进行开发,开发完成后,将写好的代码弄成一个评审单上传到gerrit,并通知相关的评审人员进行评审。
3. 在你提交上去的那个刻,jenkins收到你创建评审单事件,然后开发触发构建的你配置的任务,先拉取你最新提交的代码,然后进行编译构建,扫描你的代码是否符合。代码符合之后,然后进行测试(在构建的时候会先进行单元测试),然后把构建好的包,在测试环境上进行部署,然后拉取自动测试脚本进行测试,测试没有问题之后。jenkins会对你本次的评审单进行打分。通过了就打2分,不过打-2分。这样就避免了浪费大家的时间,在打分通过了的情况下,评审人员才会去评审。
4. 评审人员到gerrit上进行评审,如果评审不合格,直接拒绝,开发人员重新进行开发。在提交然后再重复3步骤。如果评审通过,进行代码合入,然后再次触发jenkins的构建任务,不过这个任务是构建beta测试版本,构建到测试版本之后,然后发布到制品库中,然后通知测试人员可以进行测试了。然后这个时候将redmine的任务状态更改会开发完成。这个时候会通知测试人员可以进行测试了。
5.测试人员收到测试任务之后,从制品库中拉取beta包进行部署测试,这个部署测试环境,有了docker容器其实也是可以一键部署哦,然后再用自动化脚本进行测试,对于个别场景可以进行手工测试,如果有bug,测试人员在redmine进行录入,然后通知开发人员,这个时候流程又从1开始,直到这个bug测试通过了,然后redmine会更改bug状态。
6.如果测试人员测试通过了,然后又可以出发一次构建任务。将最新的代码构建成release版本发到制品库中或者是进行自动部署。而且现在有灰度发布,可以一点一点切流程到新的版本上,看一下运行情况,如果不行直接回退。