• PointNet++


    PointNet++

    标签(空格分隔): 论文


    点云应用

    AR VR RobotPerception ShapeDesign FaceID

    点云任务

    • Object classification | 物体分类
    • Parts segmentation | 部件分割
    • Object detection | 物体检测
    • Semantic segmentation | 场景语义分割

    主要存在的挑战

    不规则: 距离激光雷达近的点云数据密集,反之稀疏。

    无结构化: 点与点之间是独立的,点与点之间的距离不是固定的。

    无序:无序带来置换不变性(Invariance to permutations)

    顺序一致但点云结构不同,顺序不一致但点云结构相同、

    3D Representations

    点云: 通过很多的点构成的一个3D图形

    Mesh: 用很多三角形/正方形的面片拼成的一个图形

    Volumetric: 很多栅格去拼成一个3D图形

    Projected View(RGBD):通过图片在不同的角度构成的3D图像。

    thread local 内存泄漏

    RGB VS. RGBD VS. Points Clouds

    RGB: [r,g,b]
    RGBD:2.5D [r,g,b,d]
    Points Clouds:pos[x,y,z] color[r,g,b]

    PointNet和PointNet++

    PointNet: 在将所有的输入数据经过相同的MLPS之后得到抽象的特征, 再将其过一遍最大池化层,得到特征。

    • 很明显PointNet没有考虑到局部上下文信息

    PointNet++: 通过Sampling和Grouping获取局部上下文信息对其做出补充。

    点云数据非常接近原始雷达数据具有丰富的几何信息。在PointNet出现之前,点云数据在fed to神经网络之前需要转化为其他数据表达形式。

    • 例如:使用VoxNet的时候需要将其数据3D栅格化,然后使用3D CNN进行卷积。
    ID Conversion Deep Net 补充
    1 Voxelization 3D CNN 卷积时会丢失信息
    2 Projection 2D CNN 投影得到2D信息, 然后2D CNN
    3 Feature extraction Fully Connected 直接特征抽取、上全连接层

    对于VoxNet网络而言,从输入到输出主要经历一下几步:

    1. 获取到输入的点云网络
    2. 把点云填充的网格当中
    3. 32通道 555的卷积核 步长为5
    4. 32通道 333的卷积核, 之后进行222
    5. 128的全连接层 - n全连接层输出

    对于ID为2的来说,我们使用Multi-view CNN来举例。

    1. 将多视角得到的照片进行CNN
    2. 将上一步得到的信息进行View Pooling
    3. 继续CNN

    PointNet 提出的想法

    • Can we achieve effective feature learing directly on point clouds ?
    • End-to-end learing for scattered, unordered point data
    • Unified frameword for various tasks

    Challenges

    • Unordered point set as input

    • Model needs to be invariant to (N!) permutations

    • Invariance under geometric transformations

    • Point cloud rotations should not alter classification results.

    主要需要解决无序点集作为输入的时候Model 应该对(N!)排列保持不变。在进行几何旋转的时候不应该改变分类结果。这两点。

  • 相关阅读:
    hdu 1201 18岁生日
    线性代数
    关于pymongo的一些说明
    利用数组进行数据处理
    通用函数:快速的元素级数组函数
    IPython:一种交互式计算和开发环境
    关于一道面试题的思考
    wireshark中的抓包过滤器和显示过滤器
    wireshark推荐书籍
    wireshark 找不到网卡的解决办法
  • 原文地址:https://www.cnblogs.com/A-FM/p/15329944.html
Copyright © 2020-2023  润新知