• 嵌入python的c++程序发布(二)最小化抽取需要的模块


        前面介绍了一种最笨的方式,他的缺点就是冗余太多,浪费空间太大。

        今天介绍一种优化方法,仅抽取程序中用到的部分。

        要下班了,先贴上实现代码,改天有空再补上原理。

    #-*- coding:gbk -*-
    
    import sys
    import os
    import shutil
    
    #获得程序中所有模块的路径
    def getModulesPath() :
    	lst = []
    	#sys.modules是一个字典,数据格式如下:
    	#{'site': <module 'site' from 'D:Python27libsite.pyc'>,
    	for v in sys.modules.itervalues() :
    		s = str(v)
    		if "from" in s:
    			data = s.split("'")
    			lst.append(data[-2])
    		else :
    			print "module : ", s
    	return lst
    	
    #抽取文件
    def extractFiles(destDir, files) :
    	destDir.replace("/", "\")
    	if destDir[-1] != '\' :
    		destDir += '\'
    		
    	for f in files :
    		dest = filiterPath(destDir, f)
    		copyF(dest, f)
    		
    #过滤路径 去掉最大绝对路径
    def filiterPath(destDir, srcFile) :
    	dest = destDir
    	maxLen = 0
    	for path in sys.path :
    		lenp = len(path)
    		if lenp < len(srcFile) and path == srcFile[:lenp] :
    			if maxLen < lenp :
    				dest = destDir + srcFile[lenp+1:]
    				maxLen = lenp
    			
    	dest.replace("/", "\")
    	if '.' in dest : #去掉文件名
    		p = dest.rfind('\')
    		if p >= 0 :
    			dest = dest[:p]
    	return dest
    
    #拷贝文件
    #如果目标路径不存在,则创建
    def copyF(destDir, srcFile) :
    	if not os.path.isfile(srcFile) :
    		print "error : file %s not exist!" % srcFile
    		return False
    	if not os.path.isdir(destDir) :
    		os.mkdir(destDir)
    		print "make dir:", destDir
    	try :
    		shutil.copy2(srcFile, destDir)
    		print "copy file : %s to %s" % (srcFile, destDir)
    	except IOError:
    		print "error : copy %s to %s faild" % (srcFile, destDir)
    		return False
    	return True
    
    def test() :
    	a = getModulesPath()
    	extractFiles("testpg\", a) #抽取后的文件会放到testpg目录下


            注意,可在c++程序结束时,调用test()方法执行抽取,则程序用到的所有py都会被抽取出来(包括自己写的和系统的 ^o^ )。然后将抽取出来的py文件,压缩成python27.zip,和python27.dll一起放置到C++程序目录。


    原理也很简单:

           sys.modules存贮了程序运行以来的所有模块,以及模块所在py文件的绝对路径,这也是程序运行时所依赖的所有模块。将这些文件的绝对路径去掉,打包成pythonXX.zip,放置到c++应用程序目录下,则程序可自动搜索到zip文件中的py文件。

            去掉绝对路径,要依据sys.path中python路径,去掉最大长度的路径。如:

    sys.path = ['d:\python27',  'd:\python27\lib',  'd:\python27\lib\lib-tk', ...],某py文件的路径 是 d:python27libaaabbxxx.py,那么他的相对路径应该是aaabb,而不是libaaabb.

           打包后的目录组织截图:



    特别注意:

            这种方法只能抽取程序运行以来所import过的所有模块,对于一些条件触发的import可能会遗漏,比如,if语句中有import,当条件不满足的时候,模块并不会被import。虽然可以搜索所有代码,解析里面的import语句,但是对于使用__import__导入的模块,情况就比较复杂,无法解析。

            就我个人的观点,给大家几点建议:

            1.遍历所有自己写的模块执行import,确保所引用的外部模块全部被导入。

            2.写代码的时候,不要写局部的import语句(如,出现在if语句中,函数体中的import。当然,如果满足条件1,局部import自己的模块是可以的)。

            3.如果python库和第3方库,违反了第二条,那么我这种打包方式会彻底失效。对于这种情况,还有两个办法:

                a) 最安全的方法:把python库、第三方库,以及自定义库的所有模块,全部打包。(一下又回归到了原始社会)

                b) 有一定遗漏的方法:先遵循1、2执行常规打包,抽取出所有的py,然后检查这些抽取出来的py,有没有局部导入的情况存在,如果有,则单独处理这些模块。(检查程序可以这样写,判断所有import语句和__import__语句是否有缩进,——充分发挥了python的特点大笑)然而,存在遗漏在于,有些库以pyc、pyd、内嵌等形式存在,其中存在局部import,会无法做检查。但是我觉得,这种情况的概率很小,good luck to you!


  • 相关阅读:
    linux之ftp命令详解
    ubuntu-18.04 设置开机启动脚本
    web端调起Windows系统应用程序(exe执行文件),全面兼容所有浏览器
    logstash 6.6.0 读取nginx日志 插入到elasticsearch中
    微服务架构中服务注册与发现
    logstash kafka output 日志处理
    filebeat输出到kafka
    nginx优化之request_time 和upstream_response_time差别
    利用ldirectord实现lvs后端realserver健康状态检查
    ELK 架构之 Logstash 和 Filebeat 安装配置
  • 原文地址:https://www.cnblogs.com/ygxsk/p/7694002.html
Copyright © 2020-2023  润新知