• python文件打包/导入 .so 文件


    打包so文件

    准备工作

      环境是可为linux/centos,我Windows10本地是Bash on Ubuntu on Windows,用起来很方便,命令行打bash即进入命令行

      思路是先将py转换为c代码,然后编译c为so文件

      所以要安装以下内容

        python 安装:cython

          pip install cython

        linux 安装:python-devel,gcc

          yum install python-devel

          yum install gcc

    初步编译

      在testing文件夹下有your_file.py文件待编译,内容如下

    #-* -coding: UTF-8 -* -
    __author__ = 'Arvin' class test: def say(self): print 'hello'

      新建setup.py,内容如下

    from distutils.core import setup
    from Cython.Build import cythonize
    
    setup(ext_modules = cythonize(["your_file.py"]))

      在bash中执行

    cd testing
    python setup.py build_ext

      运行后会生成build文件夹,如下,lib.linux-x86_64-2.7下就是我们想要的.so文件

      

      现在so文件就可以像普通py文件一样导入了

    cd build/lib.linux-x86_64-2.7/
    python
    from your_file import test
    test().say()

    集成编译

      最新代码github:https://github.com/ArvinMei/py2so.git

      做了以下内容:

        1.文件夹编译

        2.删除编译出的.c文件

        3.删除编译的temp文件夹

    #-* -coding: UTF-8 -* -
    __author__ = 'Arvin'
    
    import sys, os, shutil, time
    from distutils.core import setup
    from Cython.Build import cythonize
    
    starttime = time.time()
    currdir = os.path.abspath('.')
    parentpath = sys.argv[1] if len(sys.argv)>1 else ""
    setupfile= os.path.join(os.path.abspath('.'), __file__)
    build_dir = "build"
    build_tmp_dir = build_dir + "/temp"
    
    def getpy(basepath=os.path.abspath('.'), parentpath='', name='', excepts=(), copyOther=False,delC=False):
        """
        获取py文件的路径
        :param basepath: 根路径
        :param parentpath: 父路径
        :param name: 文件/夹
        :param excepts: 排除文件
        :param copy: 是否copy其他文件
        :return: py文件的迭代器
        """
        fullpath = os.path.join(basepath, parentpath, name)
        for fname in os.listdir(fullpath):
            ffile = os.path.join(fullpath, fname)
            #print basepath, parentpath, name,file
            if os.path.isdir(ffile) and fname != build_dir and not fname.startswith('.'):
                for f in getpy(basepath, os.path.join(parentpath, name), fname, excepts, copyOther, delC):
                    yield f
            elif os.path.isfile(ffile):
                ext = os.path.splitext(fname)[1]
                if ext == ".c":
                    if delC and os.stat(ffile).st_mtime > starttime:
                        os.remove(ffile)
                elif ffile not in excepts and os.path.splitext(fname)[1] not in('.pyc', '.pyx'):
                    if os.path.splitext(fname)[1] in('.py', '.pyx') and not fname.startswith('__'):
                        yield os.path.join(parentpath, name, fname)
                    elif copyOther:
                            dstdir = os.path.join(basepath, build_dir, parentpath, name)
                            if not os.path.isdir(dstdir): os.makedirs(dstdir)
                            shutil.copyfile(ffile, os.path.join(dstdir, fname))
            else:
                pass
    
    #获取py列表
    module_list = list(getpy(basepath=currdir,parentpath=parentpath, excepts=(setupfile)))
    try:
        setup(ext_modules = cythonize(module_list),script_args=["build_ext", "-b", build_dir, "-t", build_tmp_dir])
    except Exception, ex:
        print "error! ", ex.message
    else:
        module_list = list(getpy(basepath=currdir, parentpath=parentpath, excepts=(setupfile), copyOther=True))
    
    module_list = list(getpy(basepath=currdir, parentpath=parentpath, excepts=(setupfile), delC=True))
    if os.path.exists(build_tmp_dir): shutil.rmtree(build_tmp_dir)
    
    print "complate! time:", time.time()-starttime, 's'

    注意问题

      1.编译后执行需要相同的python版本和编码

      2.py中使用__file__内置变量的文件编译后调用时会出问题,暂时没有解决,还需要使用pyc代替

      3.使用时注意权限控制

    导入so文件

    import sys
    sys.path.append(r'/home/project/python_project/utils')  # 参数为存放so文件的文件夹路径

    from functions import function # functions为utils文件夹下so文件 function为functions文件中的方法
    do soemthing
    ......
  • 相关阅读:
    DENIED Redis is running in protected mode
    Redis接口的调用
    Redis复制
    Redis安全
    Redis持久化
    Redis简单示例
    【T11】提防对等实体的不友好动作
    【T10】记住,TCP__IP不是轮询的
    Python中的with语句
    postgreSQL中timestamp转成date格式
  • 原文地址:https://www.cnblogs.com/lab-zj/p/12091695.html
Copyright © 2020-2023  润新知