Python之CMDB资产管理系统

最近正好在给公司做CMDB资产管理系统,现在做的也差不多了,现在回头吧思路整理下。

CMDB介绍

CMDB --Configuration Management Database 配置管理数据库, CMDB存储与管理企业IT架构中设备的各种配置信息，它与所有服务支持和服务交付流程都紧密相联，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。

在实际的项目中，CMDB常常被认为是构建其它ITIL流程的基础而优先考虑，ITIL项目的成败与是否成功建立CMDB有非常大的关系。

一、需求分析

• 存储所有IT资产信息

• 数据可手动添加

• 硬件信息可自动收集

• 硬件信息可自动变更

• 可对其它系统灵活开放API

• API接口安全认证

 

• 资产类型：

• 服务器(物理机/虚拟机)

• 网络设备(路由器/交换机/AP)

• 机房设备(机柜/UPS)

• 软件资产(操作系统license)

• 资产属性:

• 品牌、型号、位置、用途、IP

• 供应商、厂商、合同、购买日期

二、架构设计

功能模块

• 资产搜集： 通过salt搜集各minion资产信息并统一汇报至CMDB

• 资产审核： 资产首次汇报需要人工审核

• 资产查询： 可多条件复杂查询

• 对外API：  方便其他系统调用资产接口信息,如运维自动化平台

• 自动变更： 资产变更更新及变更记录

• 自动监控： (计划)

• 告警自愈： (暂无）

 

什么是对外API：

对外API接口就是提供一个可以对外部系统访问的URL,如 http://api.***.com/

外部系统可以通过GET/POST等方法来获取想要的数据。如炫踪运维自动化平台需要展示各机房有多少台主机，这时向API传递指定的参数，API即可反馈给相应的结果。

 

什么时候自动监控：

当cmdb有新主机上线，则自动添加zabbix监控，并根据主机类型关联相应监控模板，如web服务器则关联web监控模板；主机下线，则自动禁用zabbix监控。

 

什么是告警自愈：

当系统发现机器的CPU有异常的时候，需要对 CPU高负载进行故障干预和恢复，这种情况下我们怎么做？我们可以取到告警的信息，告警里会告诉我这台机器的IP地址和告警的值； 通过IP，可以从CMDB中查一下这个机器属于哪个业务，再根据业务信息可以查询到同业务下还有那些机器； 然后我们通过同业务的IP地址把其它机器的当前CPU值都查询出来，得出的平均值再去和告警的CPU值来对比； 最后判断出是否需要系统干预。如果需要修复，系统会根据告警的IP地址到CMDB中去查询相应的恢复策略，再进行处理。通过这种灵活和完整的验证处理闭环，我们就可以构建出各种可靠的自动故障恢复策略。

 三、资产收集/汇报

采集硬件信息，一般有两种模式：主动采集，和被动采集；

• 编写agent,客户端定时执行=>汇报给服务端API接口 (被动)
• salt的grains采集功能主动采集(主动)
• pupppet的report、ansible、zabbix等

之前采用的是第一种方法，写了一个客户端脚本支持linux和windows和linux，然后每天定时汇报给服务端的API接口。agent用salt或者ansible批量推过去就可以了。

后来因考虑到agent版本更新等维护成本高，索性改用第二种方法，用salt自定义了一个grains并分发至所有minion，granis来搜集minion的资产信息，然后调用salt-api定时搜集所有minion返回的granis信息即可。

方法1如图 ：

 方法二，如图：

（后台通过salt-api来获取即可）

def task_update_asset(sapi):
    '''定时更新所有salt资产信息'''
    try:
        jid = sapi.grains_item('*','sysinfo','glob')
        all_data = sapi.get_jid_data(jid)   #拉取最新资产信息
        while not all_data:
            all_data = sapi.get_jid_data(jid)
        else:
           # print all_data
            callback = []
            tag = 0
            if all_data.get('data'):
                all_data = all_data.get('data')
            for line in all_data:
                data =  all_data[line].values()[0]
                if not data:
                    continue
                start_report = report_asset.report(json.loads(data))   #开始汇报
                callback.append({'salt_name':line,'result':start_report})
                tag += 1
            callback.append({u'执行总数':tag})
            return json.dumps(callback)
    except Exception,e:
        print e
        return HttpResponse('The task Faild,please check!')

　　 

采集到的数据，可以用在线json解析一下查看

、

 ok,这样客户端数据就拿到了，发送给Server的API接口来接收就行了。

四、资产汇报流程

资产汇报流程图

以下是资产变更展示 

 

 五、表结构设计

 表结构代码如下：

#!/usr/bin/env python
#encoding:utf-8
from django.db import models

class Status(models.Model):
    name = models.CharField(max_length=64)
    code = models.CharField(max_length=64)
    memo = models.TextField(u'备注', null=True, blank=True)
    def __unicode__(self):
        return self.name
    class Meta:
        verbose_name_plural = "状态"

class DeviceType(models.Model):
    '''设备类型'''
    name = models.CharField(max_length=128)
    code = models.CharField(max_length=64)
    memo = models.CharField(max_length=256,null=True,blank=True)
    create_at = models.DateTimeField(blank=True, auto_now_add=True)
    update_at = models.DateTimeField(blank=True, auto_now=True)
    def __unicode__(self):
        return self.name
    class Meta:
        verbose_name_plural = "设备类型"

class Asset(models.Model):
    '''资产总表'''
    device_type = models.ForeignKey('DeviceType')
    device_status = models.ForeignKey('Status',default=1,null=True, blank=True)
    cabinet_num = models.CharField(u'机柜号', max_length=30, null=True, blank=True)
    cabinet_order = models.CharField(u'机柜中序号', max_length=30, null=True, blank=True)
    memo = models.TextField(u'备注', null=True, blank=True)
    create_at = models.DateTimeField(blank=True, auto_now_add=True)
    update_at = models.DateTimeField(blank=True, auto_now=True)
    idc = models.ForeignKey('IDC', verbose_name=u'IDC机房', null=True, blank=True)
    contract = models.ForeignKey('Contract', verbose_name=u'合同', null=True, blank=True)
    trade_date = models.DateField(u'购买时间',null=True, blank=True)
    expire_date = models.DateField(u'过保修期',null=True, blank=True)
    price = models.FloatField(u'价格',null=True, blank=True)
    business_unit = models.ForeignKey('BusinessUnit', verbose_name=u'属于的业务线', null=True, blank=True)
    manage_user = models.ForeignKey('UserProfile', verbose_name=u'管理员', related_name='+', null=True, blank=True)
    tag = models.ManyToManyField('Tag', null=True, blank=True)
    latest_date = models.DateField(null=True, blank=True)
    class Meta:
        verbose_name = '资产总表'
        verbose_name_plural = "资产总表"
    def __unicode__(self):
        return self.server.sn



class Server_Type(models.Model):
    '''服务器类型'''
    name = models.CharField(max_length=128)
    memo = models.CharField(max_length=256,null=True,blank=True)
    def __unicode__(self):
        return self.name
    class Meta:
        verbose_name_plural = "服务器类型"

class Server(models.Model):
    '''服务器信息'''
    asset = models.OneToOneField('Asset')
    sub_asset_type = models.ForeignKey('Server_Type')
    hostname = models.CharField(max_length=128, blank=True, null=True)      
    salt_name = models.CharField(max_length=128, blank=True, null=True)     
    hosted_on = models.ForeignKey('self',related_name='hosted_on_server',blank=True,null=True,verbose_name=u'宿主机') #虚拟机关联宿主机
    service_sn = models.CharField(u'快速服务编码', max_length=128, blank=True,null=True)  
    sn = models.CharField(u'SN号', max_length=64, blank=True, null=True,unique=True) 
    manufactory = models.CharField(verbose_name=u'制造商', max_length=128, null=True, blank=True)
    model = models.CharField(u'型号', max_length=128, null=True, blank=True)
    manage_ip = models.GenericIPAddressField(u'管理IP',null=True, blank=True)
    business_ip = models.GenericIPAddressField(u'业务IP',null=True, blank=True)
    os_platform = models.CharField(u'系统类型', max_length=64, null=True, blank=True)
    os_distribution = models.CharField(u'OS厂商',max_length=64,blank=True,null=True)
    os_version = models.CharField(u'系统版本', max_length=64, null=True, blank=True)
    cpu_count = models.IntegerField(null=True, blank=True)
    cpu_physical_count = models.IntegerField(null=True, blank=True)
    cpu_model = models.CharField(max_length=128, null=True, blank=True)
    create_at = models.DateTimeField(blank=True, auto_now_add=True)
    update_at = models.DateTimeField(blank=True, auto_now=True)
    class Meta:
        verbose_name = '服务器'
        verbose_name_plural = "服务器"
        index_together = ["sn", "asset"]
    def __unicode__(self):
        return '<id:%s>'%(self.id)

class NetworkDevice(models.Model):
    '''网络设备'''
    asset = models.OneToOneField('Asset')
    sub_assset_type_choices = (
        (0,'路由器'),
        (1,'交换机'),
        (2,'无线AP'),
        (3,'VPN设备'),
    )
    sub_asset_type = models.SmallIntegerField(choices=sub_assset_type_choices,verbose_name="设备类型",default=0)
    management_ip = models.CharField(u'管理IP',max_length=64,blank=True,null=True)
    vlan_ip = models.GenericIPAddressField(u'VlanIP',blank=True,null=True)
    intranet_ip = models.GenericIPAddressField(u'内网IP',blank=True,null=True)
    sn = models.CharField(u'SN号',max_length=128,unique=True)
    manufactory = models.CharField(verbose_name=u'制造商',max_length=128,null=True, blank=True)
    model = models.CharField(u'型号',max_length=128,null=True, blank=True )
    port_num = models.SmallIntegerField(u'端口个数',null=True, blank=True )
    device_detail = models.TextField(u'设置详细配置',null=True, blank=True )
    class Meta:
        verbose_name = '网络设备'
        verbose_name_plural = "网络设备"

class Memory(models.Model):
    slot = models.CharField(u'插槽位',max_length=32,blank=True)
    manufactory = models.CharField(u'制造商', max_length=32,null=True,blank=True)
    model = models.CharField(u'型号', max_length=64,blank=True)
    capacity =  models.FloatField(u'容量MB',blank=True)
    sn = models.CharField(max_length=256,null=True,blank=True,default='')
    memo = models.TextField(u'备注', null=True,blank=True)
    create_at = models.DateTimeField(blank=True, auto_now_add=True)
    update_at = models.DateTimeField(blank=True, auto_now=True)
    server_info = models.ForeignKey('server')
    class Meta:
        verbose_name = '内存部件'
        verbose_name_plural = "内存部件"
    def __unicode__(self):
        return '%s: %sGB '%( self.slot, self.capacity)

class NIC(models.Model):
    name = models.CharField(u'网卡名称',max_length=128,blank=True)
    model =  models.CharField(u'网卡型号', max_length=128, blank=True,null=True)
    hwaddr = models.CharField(u'网卡mac地址', max_length=64)
    up = models.BooleanField(default=False, blank=True)
    netmask = models.CharField(max_length=64,blank=True)
    ipaddrs = models.CharField(u'ip地址',max_length=256,null=True) 
    memo = models.TextField(u'备注', blank=True)
    create_at = models.DateTimeField(blank=True, auto_now_add=True)
    update_at = models.DateTimeField(blank=True, auto_now=True)
    server_info = models.ForeignKey('server')
    speed = models.CharField(max_length=64,null=True,blank=True,default='') 
    class Meta:
        verbose_name = '网卡部件'
        verbose_name_plural = "网卡部件"
    def __unicode__(self):
        return u'网卡%s --> MAC:%s;IP%s;up:%s;netmask:%s' %(self.name,self.hwaddr,self.ipaddrs,self.up,self.netmask)

class Disk(models.Model):
    name = models.CharField(u'磁盘名',max_length=32,blank=True,null=True)
    slot = models.CharField(u'插槽位',max_length=32,blank=True,null=True)
    sn = models.CharField(u'SN号', max_length=128, blank=True,null=True)
    model = models.CharField(u'磁盘型号', max_length=128,blank=True,null=True)
    capacity = models.FloatField(u'磁盘容量GB',blank=True,null=True)
    disk_iface_choice = (
        ('SATA', 'SATA'),
        ('SAS', 'SAS'),
        ('SCSI', 'SCSI'),
        ('SSD', 'SSD'),
    )
    pd_type = models.CharField(u'磁盘类型',choices=disk_iface_choice,max_length=64,blank=True,null=True)
    memo = models.TextField(u'备注', blank=True)
    create_at = models.DateTimeField(blank=True, auto_now_add=True)
    update_at = models.DateTimeField(blank=True, auto_now=True)
    server_info = models.ForeignKey('server')
    def __unicode__(self):
        return 'slot:%s size:%s' % (self.slot,self.capacity)
    class Meta:
        verbose_name_plural = "硬盘"

class IDC(models.Model):
    region = models.CharField(u'区域',max_length=64)
    name = models.CharField(u'机房名称',max_length=32)
    floor = models.IntegerField(u'楼层',default=1)
    display = models.CharField(max_length=128) 
    memo = models.CharField(u'备注',max_length=64)
    def __unicode__(self):
        return 'region:%s idc:%s floor:%s' %(self.region,self.name,self.floor)
    class Meta:
        verbose_name = '机房'
        verbose_name_plural = "机房"

class Contract(models.Model):
    sn = models.CharField(u'合同号', max_length=64,unique=True)
    name = models.CharField(u'合同名称', max_length=64 )
    cost = models.IntegerField(u'合同金额')
    start_date = models.DateTimeField(null=True, blank=True)
    end_date = models.DateTimeField(null=True, blank=True)
    license_num = models.IntegerField(u'license数量',null=True, blank=True)
    memo = models.TextField(u'备注',null=True, blank=True)
    create_at = models.DateTimeField(blank=True, auto_now_add=True)
    update_at = models.DateTimeField(blank=True, auto_now=True)
    class Meta:
        verbose_name = '合同'
        verbose_name_plural = "合同"
    def __unicode__(self):
        return self.name

class BusinessUnit(models.Model):
    name = models.CharField(u'业务线', max_length=64, unique=True)
    contact = models.ForeignKey('UserProfile')
    user_group = models.ForeignKey('UserGroup', null=True, blank=True)
    memo = models.CharField(u'备注', max_length=64, blank=True)
    def __unicode__(self):
        return self.name

    class Meta:
        verbose_name = '业务线'
        verbose_name_plural = "业务线"

class HandleLog(models.Model):
    asset_info = models.ForeignKey('Asset')
    content = models.TextField(null=True, blank=True)
    creator = models.ForeignKey('UserProfile')
    create_at = models.DateTimeField(auto_now_add=True)
    def __unicode__(self):
        return self.content
    class Meta:
        verbose_name_plural = "资产变更日志"

class ErrorLog(models.Model):
    name = models.CharField(max_length=256)


class NewAssetApprovalZone(models.Model):
    '''没有注册的资产，允许自动汇报，但是不入库。放到待批准表里临时存储'''
    sn = models.CharField(u'资产SN号',max_length=128, unique=True) #资产不能重复汇报,一个资产批准前只能汇报一次
    asset_type_choices = (
        ('server', u'服务器'),
        ('switch', u'交换机'),
        ('router', u'路由器'),
        ('firewall', u'防火墙'),
        ('wireless', u'无线AP'),
    )
    device_type = models.CharField(choices=asset_type_choices,max_length=64,blank=True,null=True)
    manufactory = models.CharField(max_length=64,blank=True,null=True) #厂商
    model = models.CharField(max_length=128,blank=True,null=True)
    ram_size = models.IntegerField(blank=True,null=True)
    cpu_model = models.CharField(max_length=128,blank=True,null=True)
    cpu_count = models.IntegerField(blank=True,null=True)
    #cpu_core_count = models.IntegerField(blank=True,null=True)     
    cpu_physical_count = models.IntegerField(blank=True,null=True)
    #os_type = models.CharField(max_length=64,blank=True,null=True)    
    os_platform = models.CharField(u'系统类型',max_length=64,blank=True,null=True)
    os_distribution = models.CharField(u'OS厂商',max_length=64,blank=True,null=True)
    #os_release = models.CharField(max_length=64,blank=True,null=True) 
    os_version = models.CharField(u'系统名称',max_length=64,blank=True,null=True)
    data = models.TextField(u'资产数据')        #这里才是真正详细的数据，批准后存入正式表里面
    date = models.DateTimeField(u'汇报日期',auto_now_add=True)
    approved = models.BooleanField(u'已批准',default=False)
    approved_by = models.ForeignKey('UserProfile',verbose_name=u'批准人',blank=True,null=True)
    approved_date = models.DateTimeField(u'批准日期',blank=True,null=True)

    def __str__(self):
        return self.sn
    class Meta:
        verbose_name = '新上线待批准资产'
        verbose_name_plural = "新上线待批准资产"
        ordering = ['-id']

 六、部分展示

  

未完待续。。。。。。。。。。。