• 共享CUDA内存


    共享CUDA内存

    进程间共享

    此功能仅限于Linux。

    将设备阵列导出到另一个进程

    使用CUDA IPC API,可以与同一台计算机上的另一个进程共享设备阵列。为此,请使用.get_ipc_handle()设备阵列上的方法获取一个IpcArrayHandle对象,该对象可以转移到另一个进程。

    DeviceNDArray.get_ipc_handle()

    返回一个IpcArrayHandle对象,该对象可以安全地序列化并传输到另一个进程以共享本地分配。

    注意:此功能仅在Linux上可用。

    numba.cuda.cudadrv.devicearray.IpcArrayHandleipc_handlearray_desc 

    IPC阵列句柄可以序列化并转移到同一台计算机上的另一个进程,以共享GPU分配。

    在目标进程上,使用.open()方法创建一个新的 DeviceNDArray对象,该对象共享来自原始进程的分配。要释放资源,请调用.close()方法。此后,目标将无法再使用共享数组对象。(注意:对资源的底层weakref现在已失效。)

    该对象实现了上下文管理器接口,该接口自动调用 .open().close()方法:

    with the_ipc_array_handle as ipc_array:
        # use ipc_array here as a normal gpu array object
        some_code(ipc_array)
    # ipc_array is dead at this point

    close()

    关闭阵列的IPC句柄。

    open()

    返回一个共享原始进程分配的新DeviceNDArray。不得在原始过程中使用。

    从另一个进程导入IPC内存

    以下函数用于从另一个进程作为设备阵列打开IPC句柄。

    cuda.open_ipc_arrayshapedtypestrides = Noneoffset = 0 

    一个上下文管理器,它打开一个IPC句柄CUipcMemHandle),该句柄表示为一个字节序列(例如,字节,int元组),并将其表示为给定形状步幅dtype的数组,步幅可以省略。在那种情况下,假定它是一维C连续数组。

    产生一个设备阵列。

    上下文管理器退出时,IPC句柄将自动关闭。

    人工智能芯片与自动驾驶
  • 相关阅读:
    Linux下的cut选取命令详解
    Linux下的hostname命令详解
    Linux下的sed流编辑器命令详解
    Linux下的设置静态IP命令详解
    模型评估方法
    模型验证方法
    超参数优化方法
    数据集划分方法
    数据预处理:标称型特征的编码和缺失值处理
    数据预处理:规范化(Normalize)和二值化(Binarize)
  • 原文地址:https://www.cnblogs.com/wujianming-110117/p/14192764.html
Copyright © 2020-2023  润新知