Multi-view Convolutional Neural Networks for 3D Shape Recognition
面对3D 模型, 想要识别3D模型,想要识别该3D模型,将目前最热的CNN使用上去,并且首次提出了识别3D模型的CNN网络。
方法是:将3D模型渲染成为一系列的2D images, 实验证明,使用CNN的时候,一系列的2D images 带来的信息比3D 模型识别的效果更好。
整个模型为:
针对一个3D shape model,利用不同的角度,将其渲染成多张 image,利用多张image,同时传入多个CNN的前部分,即是多个Conv层(Relu), 每一个角度都可以得到一个feature map。
中间的是本paper新增加的一种layer, view-pooling layer,在本paper 中,使用element-wise maximum, 就是对feature map的每一个element,进行pixel级别的取最大操作。 这样多个feature map最终被pooling成一个feature map。View-pooling layers 有点类似max-pooling layers 或maxout layers.
这个算法的精华是: 利用多个Conv(Relu) 层对多个输入的images进行feature selective,选择最active的feature,这样在view-pooling 起来,继续 CNN 的后半部分的网络。
角度选择:
(1), 12个角度,水平对一个物体进行渲染,选择围绕物体,每30度产生一张image;
(2), 利用正二十面体的形状,对每一个点以0,90, 180,270度的角度去渲染,一共可以产生80张image。
总结:
多个角度的image, 提供多个不同的feature。