• 18 如何使用go来采集windows的基本硬件信息后发送到CMDB的服务器上


    preface

    之前我使用python写了cmdb采集的脚本,打包成exe的二进制文件后放在windows上执行,也达到了预期的效果。
    但是最近部门要上open-falcon监控体系,每个服务器都要安装一个open-falcon的agent的,那么问题来了:我们可以使用open-falcon来采集服务器的基本硬件信息嘛,不然的话我们还需要维护python版本的采集脚本,这个相当于一个windows机器上跑两个agent,一个是cmdb采集硬件信息的,一个open-falcon监控的。如果不想维护两个agent,那么就需要开发一个go版的cmdb采集脚本,然后嵌入到open-falcon的agent中,反正open-falcon是开源的,你可以随意根据自己的需求改动他的源码。
    好,既然可以开发一个go版的cmdb采集脚本,那么我先就说下吧,点到为止哈,虽然这个代码是我写的,但是代码是属于公司的东东,所以不宜暴露过多。

    用模块什么采集基本硬件信息

    python下采集windows基本信息可以使用wmi模块我记得是,那么go下我们可以使用gopsutil这个模块,模块地址是戳我
    官网里面详细介绍了各个子模块的用法,我这里就不啰嗦了。

    如何执行windows下的交互式命令与字符集编码问题

    1. 采集机器型号
    2. 采集机器制造商
    • 以上两个需要使用systeminfo命令采集。
    1. 机器序列号
    • 以上需要使用 wmic bios get serialnumber

    需要注意的,我这里遇到个棘手的问题就是windows server 2003的系统在采集CPU的信息的时候报错,这就操蛋了,那么我就通过执行windows系统命令来采集CPU信息了,命令是 wmic cpu list brief
    先说下怎么在windows下执行交互式系统命令:
    1.先导入 os/exec 模块,然后我们这么执行 a := exec.Command("wmic")
    2.此时我们拿到了变量a,那么就需要使用变量a的 StdinPipe 的方法传入命令到系统执行,代码如下:

    inpipe, err := a.StdinPipe()
    if err != nil {
    	log.Fatalf("executing command wmic happend a error:", err)
    	return false
    }
    
    go func() {   // 启用一个go routine,设这个函数为匿名函数
    	defer inpipe.Close()
    	io.WriteString(inpipe, cpucmd)  // 把需要的执行的命令放入进去,cpucmd就是需要执行的命令
    }()
    

    3.执行完命令后,我们需要就把结果给取出来了,如下所示:

    out, err := a.CombinedOutput()
    if err != nil {
    	log.Println("collecting CPU info by wmic happend a error", err)
    	return false
    }
    

    4.取出来结果剩下就根据自己的逻辑来处理了。

    full example of how to exec windows cmd

    cpucmd := "cpu list brief
    "
    a := exec.Command("wmic")
    inpipe, err := a.StdinPipe()
    if err != nil {
    	log.Fatalf("executing command wmic happend a error:", err)
    	return false
    }
    
    go func() {
    	defer inpipe.Close()
    	io.WriteString(inpipe, cpucmd)
    }()
    
    out, err := a.CombinedOutput()
    if err != nil {
    	log.Println("collecting CPU info by wmic happend a error", err)
    	return false
    }
    rt := string(out)
    

    想不到的是,这window server 2003依旧是报错啊,哥,没办法,那么就使用 systeminfo 来捕获CPU的颗数信息了,其他的信息没法采集了。
    执行这个命令的代码如下:

    a := exec.Command("systeminfo")
    b, _ := a.Output()
    bb := string(b)
    sb, _ := Gbk2Utf(bb)
    // your login code  剩下你自己去处理取出来的字符串了吧。
    

    需要注意我这里使用了一个Gbk2Utf函数,这个函数是用来转码的,exec.Comand弄出来的结果中文是乱码的,所以我们需要把gbk编码转为UTF8,windows终端好像默认是gbk编码。
    字符集转换代码如下(我也是copy来的):

    import ( // 需要先两个包
        "golang.org/x/text/encoding/simplifiedchinese"
        "golang.org/x/text/transform"
    )
    func Gbk2Utf(s string) (string, error) {
    	/* 由gbk ---> utf8  */
    	bs := []byte(s)
    	reader := transform.NewReader(bytes.NewReader(bs), simplifiedchinese.GBK.NewDecoder())
    	res, err := ioutil.ReadAll(reader)
    	if err != nil {
    		return "", err
    	}
    	return string(res), nil
    }
    
    func Utf2Gbk(s string) (string, error) {
    	/* utf8 ---> gbk  */
    	bs := []byte(s)
    	reader := transform.NewReader(bytes.NewReader(bs), simplifiedchinese.GBK.NewEncoder())
    	res, err := ioutil.ReadAll(reader)
    	if err != nil {
    		return "", err
    	}
    	return string(res), nil
    }
    

    IP地址取出来以后子网掩码的转换

    使用gopsutil取出来的IP发现子网掩码是数字形式的,例如192.168.6.2/32,不是我们常见的255.255.255.0这样的形式,怎么办,肯定要转换啊。使用了math模块,math.Pow这个是求幂函数的。 转换代码如下:

    func calcNetmask(netmask int) (return_netmask string) {
    	/*
    	   计算子网掩码,由数字类型转为xx.xxx.xx.xx
    	   算法是这样的: 得到的数字先除以8,得到的商就是有多少个255,余数就需要再计算,余数等于1,那么最后一位子网眼码就是2**(8-1),8是一段子网眼码长度,
    	   为8个1,1111111,二进制计算。最后一段眼码计算方式如下:
    	   余数为1,即2**7,
    	   余数为2,即2**7+2**6
    	   余数为3,即2**7+2**6+2**5
    	   依次类推
    	   :param netmask: tmp netmask
    	   :return:
    	*/
    	factor := netmask / 8    // 商
    	remainder := netmask % 8 // 余数
    	mi := 8 - remainder      //  计算这个数字的幂
    	var tmp_last_mask float64
    	for mi <= 7 { // 判断掩码长度是否超过了7,超过了长度跳出循环,因为掩码的长度最多是8.
    		tmp_last_mask = math.Pow(float64(2), float64(mi)) + tmp_last_mask
    		mi = mi + 1
    	}
    	last_mask := int(tmp_last_mask)
    	switch {
    	case factor == 1 && last_mask == 0: // 意味着是8位的子网掩码
    		return_netmask = fmt.Sprintf("%s%s", addStr(factor, "255."), "0.0.0")
    	case (factor == 1 && last_mask != 0): //意味着8-24之间的子网掩码
    		return_netmask = fmt.Sprintf("%s%d.%s", addStr(factor, "255."), last_mask, "0.0")
    	case (factor == 2 && last_mask == 0): //意味着16位整的子网掩码
    		return_netmask = fmt.Sprintf("%s0.0", addStr(factor, "255."))
    	case (factor == 3 && last_mask == 0): // 意味着24位整的掩码
    		return_netmask = fmt.Sprintf("%s%s", addStr(factor, "255."), "0")
    	case (factor == 3 && last_mask != 0): // 意味着24-32之间的子网掩码
    		return_netmask = fmt.Sprintf("%s%d", addStr(factor, "255."), last_mask)
    	case (factor == 2 && last_mask != 0): // 意味着16-24位之间子网掩码
    		return_netmask = fmt.Sprintf("%s%d.%s", addStr(factor, "255."), last_mask, "0")
    	case factor == 4: // 意味着4个255
    		return_netmask = fmt.Sprintf("%s255", addStr(factor-1, "255."))
    	case factor == 0: // 小于8位的掩码
    		return_netmask = fmt.Sprintf("%d.0.0.0", last_mask)
    	}
    	return return_netmask
    }
    

    判断存储资产ID的文件在不在

    判断文件在不在,我们可以使用第三方模块,这样就不需要自己来写了,我依稀记得自己写判断文件是否存在的代码花了我10几分钟来弄好,没办法,刚入门的菜鸟不太熟悉模块用法,既然有了别人写好的模块,干嘛不使用呢,节省时间提高工作效率。
    模块地址如下:"github.com/toolkits/file"
    用法如下:

    asset_id = `c:/asset_id`  // windows必须使用反撇号来包裹文件路径,不然乱码!切记。
    if !file.IsExist(asset_id) {
    	errMsg := fmt.Sprintf("not found the asset_id(%s)", asset_id)
    	log.Printf(errMsg)
    	return "", errors.New(errMsg)
    }
    

    读取文件与写入文件

    参考我的另一篇博客,go下如何读取与写入文件

    如何把json格式数据通过HTTP-POST请求发送到服务器

    这个我也踩了几个坑。
    首先说第一个坑:我们设定http的head头部的时候,contentType必须是 application/x-www-form-urlencoded 不然服务器接受不到你的任何内容。
    第二个坑:发送的数据由于是json格式的,通过json.Marshal 函数处理后返回来的是[]byte类型,但是net/http 要求你的数据必须是字符串类型,fuck,静态编译型语言感觉最恶心的就是数据类型的转换与强制性,一但数据类型不合就抛错.
    代码如下:

    
    jsondata, err := json.Marshal(collectInfo) 
    postJsondata := string(jsondata) //[]byte 转为字符串类型
    http.Post(url,
    			"application/x-www-form-urlencoded",
    			strings.NewReader(fmt.Sprintf("asset_data=%s", postJsondata)))  // Sprintf来格式化数据
    

    json反向格式化 收到来自于服务器的数据

    服务器发过来的数据是json格式的map类型,也就是python里面的dict类型数据,那么我们本地收到数据后格式的话,需要预先定义一个map,map格式为map[string]interface{},这样就可以接受返回来的任何数据了只要key为string类型的,value类型为任意

    responseInfo = make(map[string]interface{})
    result := connectCmdbServer(reportAssetWithoutId, method, jsondata)
    json.Unmarshal(result, &responseInfo)
    v, ok := responseInfo["asset_id"]  // 注意这个v是interface类型
    if ok {
    	if saveAssetId(v) {
    		log.Println("already saved asset id :", responseInfo["asset_id"])
    	}
    } else {
    	fmt.Println(string(result))
    }
    

    我们手下saveAssetId里面的这个数据类型,因为我们写入到文件的是字符串类型的,而传入的是interface{}类型的数据,那么怎么办,使用reflect到具体数据类型的转换。

    func saveAssetId(assetId interface{}) bool { 
        // other logic code
        d, ok := assetId.(float64)   // 转为float64后再转为字符串类型。可以使用fmt.Printf("%T") 来查看她的具体类型。
    	if ok == false {
    		log.Println("can't  convert the asset id from interface to float64")
    		return false
    	}
    }
    
    
  • 相关阅读:
    spark SQL之 DataFrame和DataSet
    scala之 保留小数
    spark之 避免数据倾斜之 给名字分区(百家姓)
    hive之 'client_protocol' is unset!
    hive之报错:ls:cannot access '/usr/local/spark/lib/spark-assembly-*.jar':No such file or directory
    hive之 Error: Duplicate key name 'PCS_STATS_IDX' (state=42000,code=1061) ----Hive schematool -initSchema
    Maven中需要注意的点
    spark之 Idea操作
    scala之 一句话打印三角形
    scala 之 BaseDao
  • 原文地址:https://www.cnblogs.com/liaojiafa/p/7545269.html
Copyright © 2020-2023  润新知