CMDB04 /流程梳理、cmdb总结
目录
1. 流程梳理
1.1 环境
-
开发环境，在我们自己电脑上进行项目开发。
例如：开发一个网站。 在自己电脑上开发+连接自己电脑的数据库。 -
测试环境
公司会给你提供一台服务器（阿里云）。 IP：47.93.2.18 用户名：root 密码：123123 把你开发的网站要部署在这个服务器上。 - 安装必要的环境：python/django/requests/mysql - 把代码拷贝到这个服务器上 - 让我们的程序运行起来。 python aa.py python manage.py runserver 0.0.0.0:8000 -
线上环境
公司会给运维一个台服务器（阿里云）。 IP：47.93.2.22 用户名：root 密码：123123 把你开发的网站要部署在这个服务器上。 - 安装必要的环境：python/django/requests/mysql - 把代码拷贝到这个服务器上 - 让我们的程序运行起来。 python aa.py python manage.py runserver 0.0.0.0:8000
1.2 远程连接服务器
-
开发者一般都是用xshell，通过ssh连接上远程服务器然后进行操作。
ssh root@192.168.16.85- 用户名和密码连接
- 公钥和私钥进行连接
1.3 向服务器上传文件
-
FTP/xftp6
-
lrzsz
-
scp命令
scp 文件 root@目标服务器:目录 -
基于git ( 公司做代码上线会利用 )
开发：git push origin master 运维：git clone xxx
一般情况下：
-
windows
FTP lrzsz git终端来继续操作 scp -
mac/linux
scp
1.4 运维管理服务器
-
运维管理500台服务器，由于数量太多，所以他们会借助于一些管理工具，例如：saltstack / ansible(paramiko)
-
未借助工具
服务器A（公钥） 服务器B（公钥） 运维 电脑（私钥） 服务器C（公钥） 服务器D（公钥） 服务器E（公钥） 服务器...（公钥） -
借助工具（ansible/saltstack）
服务器A（公钥）minion 服务器B（公钥）minion 运维 电脑（私钥） 服务器（salt-master） 服务器C（公钥）minion 服务器D（公钥）minion 服务器E（公钥）minion 服务器...（公钥）minion -
单独操作
在自己电脑上连接远程服务器A ssh root@服务器A -
批量操作
在自己电脑上连接salt-master ssh root@salt-master 在master服务器上执行命令 salt "*" cmd.run "ifconfig" 让所有的minion都去执行ifconfig命令，并返回。
2. cmdb项目
2.1 cmdb实现方式
-
基于ssh实现，适用场景：公司没有用 saltstack/用了ansible/没有任何工具
服务器(autoserver) 服务器（autoclient） 服务器A（公钥） DB API 中控机(私钥) 服务器B（公钥） 后台管理 服务器C（公钥） 人 服务器D（公钥） 服务器E（公钥） ... -
基于salt实现，使用场景：公司本身就有saltstack
服务器(autoserver) 服务器（autoclient） 服务器A(salt-minion) DB API 中控机（salt-master） 服务器B(salt-minion) 后台管理 服务器C(salt-minion) 人 服务器D(salt-minion) 服务器E(salt-minion) ...
2.2 cmdb项目测试
2.2.1 salt模式进行
-
我们需要三台服务器进行测试。
192.168.16.64 做API和后台管理项目的部署 192.168.16.85 做salt-master，在上面部署autoclient，用于资产采集。 192.168.16.22 做salt-minion，让master去连接他并采集资产。 -
第一步：安装并使用salt （运维）
-
master（192.168.16.85）
1. 安装salt-master yum install salt-master 2. 修改配置文件：/etc/salt/master interface: 0.0.0.0 # 表示Master的IP 3. 启动 service salt-master start -
minion（192.168.16.22）
1. 安装salt-minion yum install salt-minion 2. 修改配置文件 /etc/salt/minion master: 10.211.55.4 # master的地址 id: c2.salt.com # 客户端在salt-master中显示的唯一ID 3. 启动 service salt-minion start -
在master上进行授权
salt-key -L # 查看已授权和未授权的slave salt-key -a salve_id # 接受指定id的salve salt-key -r salve_id # 拒绝指定id的salve salt-key -d salve_id # 删除指定id的salve -
在master上远程执行命令
salt 'c2.salt.com' cmd.run 'ifconfig'
-
-
第二步：项目开发
- ......
- ......
- .......
-
第三步：项目部署
-
运行autoserver
在django项目的setting中要修改 ALLOWED_HOSTS = ["*",]# 启动配置 python manage.py runserver 0.0.0.0:8000# 其他人可以使用IP地址进行访问 http://192.168.16.64:8000/server/index/ -
运行autoclient
# 将autoclient上传到192.168.16.85 scp
-
2.2.2 SSH模式
-
第一步：生成一对公钥和私钥
ssh-keygen -
第二步：公钥拷贝到远程服务器
ssh-code-id -i id_rsa.pub root@192.168.16.22 -
第三步：修改配置文件
在settings中修改： SSH_PRIVATE_KEY_PATH = r'..id_rsa' MODE = "SSH" # SALT/SSH -
第四步：运行程序
python app.py
2.3 公司里的规范
-
公司里对于服务器很多都是用主机名，不用IP。
c1-bj-zw-shopping.com 192.168.16.64 做API和后台管理项目的部署 c2-bj-zw-shopping.com 192.168.16.85 做salt-master，在上面部署autoclient，用于资产采集。 c3-bj-zw-shopping.com 192.168.16.22 做salt-minion，让master去连接他并采集资产。
2.4 资产采集多久进行一次？如何进行？
-
定时任务在中控机上定期执行脚本。
crontab -e 30 1 * * * /opt/python367/bin/python3 /data/app.py
3. 项目总结
-
项目名称
CMDB / 资产管理系统 / 服务器配置管理系统 / 运维自动化平台 Configuration Management Database -
项目描述
CMDB是一套用于自动化采集服务器资产信息的项目，由于公司对于资产维护成本比较高并且数据准确性越来越低，因为原来都是搭建了samba服务,在内部共享了excel实现。通过cmdb项目可以改善资产采集的功能，减低人员成本提高工作效率，本项目实现主要有 采集中控机/restful api/资产管控平台 实现。 对于采集中控机可以支持多种模式进行操作,如：saltstack/ansible/paramiko默认，并且开发过程中遵循开放封闭原则并且利用 工厂模式 实现可扩展性的插件。 对于api，是严格是遵循restful规范并使用 django rest framework框架实现，并在内通过反射机制实现资产变更记录以及资产的持久化处理。 资产管控平台主要为运维及主管提供数据支持和部分报表，支持excel批量导入导出，支持利用时间轴清晰的展示服务器生命周期，基于highcharts实现数据报表的展示。 -
技术点（项目功能/我的职责）
-
针对不同公司的业务开发，使用 paramiko/ansible/saltstack 实现远程采集资产的扩展。
-
参考 middleware 实现源码并结合工厂模式，开发出了可插拔式的采集资产插件。
-
考虑到项目的严谨性，对于项目中的插件使用主动抛出异常进行约束。
- 有没有其他的约束？ 通过abc实现抽象类和抽象方法实现约束。 - 你为什么不用abc？而用异常？ abc 操作起来比较麻烦，也可以实现。 我觉得异常会更加简洁一些，并且我参考了一些源码，他们内部也是通过异常实现。 import abc # 抽象类 class Base(metaclass=abc.ABCMeta): # 抽象方法 @abc.abstractmethod def process(self): pass class Foo(Base): pass Foo() -
通过定制和扩展drf 内置authentication组件，实现用户认证。
-
在restful api中实现api/版本/认证的功能。
-
支持对服务器资产进行批量的导入导出，内部使用xlrd/xlwt模块进行操作。
-
对于公司的服务器资产进行根据业务线做 数据报表的处理。
-
基于rbac实现权限的信息的校验。
-
-
面试题相关
-
cmdb是怎么实现？
cmdb是由三部分组成，其中包含：资产采集的中控机、API、资产管控平台。 1.对于资产采集部分，先会通过requests向api请求今日未采集的服务器ip或者其服务器对应的域名，通过paramiko远程操作服务器（本质SSH）并采集资产信息，然后将资产信息汇报到API，在资产采集部分还继承了可扩展的功能，让我们定制插件时可以更加方便，实现起来也比较简单，参考django中间件的原理、开放封闭原则、工厂模式实现可插拔式的插件。 2.api，基于restful规范和drf组件来实现完成，主要做资产入库以及资产变更处理。 3.资产管控平台，对资产数据进行数据呈现和报表的处理。 -
为什么要开发cmdb？
公司以后想要搭建自动化运维平台，CMDB是搭建平台的基石。 目前而言，公司资产信息不够准确，因为都维护在excel中，维护主要人，通过cmdb可以自动采集资产信息以及做资产变更记录。 -
你们公司有多少台服务器？（物理机）
70台服务器 -
什么是品牌的服务器？
戴尔 -
资产采集都用到了那些命令？
demidecode Megacli board -- sudo dmidecode -t1 cpu -- cat /proc/cpuinfo disk -- sudo MegaCli -PDList -aALL memory -- sudo dmidecode -q -t 17 2>/dev/null nic -- sudo ip link show/sudo ip addr show -
cmdb都用到了那些表？（13张表）
用户表 部门 机房IDC 服务器 硬盘 网卡 内存 变更记录 菜单表 权限 角色表 角色和权限关系 用户和角色的关系表 -
多少人开发？
1个人/2个人 + 运维人员 -
开发了多久？
3个月 ~ 6个月 质疑时间短，开发资产采集很简单；资产管控平台也是有你来开发。 -
为什么公司有ansible还要用paramiko去实现
1.ansible的本质也是基于paramiko去实现的， 2.ansible会使性能降低一些
-