python 线程池的使用

使用场景

CMDB 资产采集采用中控机for 循环主机列表挨个针对主机进行远程资产采集并且提交数据到API，此方式为一个一个的数据采集并提交，在主机数量庞大的请况下此方式严重耗时。

再次引入线程池方式，例如建立10个线程，每次10个线程同时采集10个主机信息并且入库，先执行完任务的线程继续采集后面的主机信息，一直保持10线程同时执行任务。

代码

import requests
import json


def task(host):
    info = {'hostname':host,'disk':'100G'}          #采集主机的资产信息
    url = "http://127.0.0.1:8000/api/asset/"
    r1 = requests.post(                               #资产入库
        url=url,
        data=json.dumps(info).encode('utf-8')       # 对于字典等特殊数据格式需要json 对数据格式化处理，再编码才能传输
        )
    print(r1.text)


def ssh():
    r1 = requests.get(url='http://127.0.0.1:8000/api/asset/')   #先获取要采集资产信息的主机列表信息
    host_list = r1.json()
    
    from concurrent.futures import ThreadPoolExecutor   #建立线程池
    pool = ThreadPoolExecutor(10)                         
    for host in host_list:
        pool.submit(task,host)                          #host 作为参数带入task函数中，每次执行10个task 函数任务

总结

在for 循环中执行任务时，根据for 循环的列表元素挨个顺序执行，引入线程池后，将每个循环执行的任务定义成函数task，将for 循环的主机名作为参数带入任务函数task 中，定义了多少线程池数量，就同时执行几个task 任务。

线程池数量不是越多越好，根据任务数量以及主机的cpu 等性能决定