基于深度学习的2D和3D仿射变换配准

计算机视觉工坊 3天前

 

以下文章来源于AI公园 ，作者ronghuaiyang

AI公园

做一个生产真正有用的AI内容的公众号。

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

---

作者：Sarath Chandra

编译：ronghuaiyang

导读

将配准从2D场景扩展到3D场景。

 

上周我开发了一个基于深度学习的2D可变形图像配准的基本框架，并演示了如何从MNIST数据集中配准手写数字图像。除了损失函数和架构上的细微差别外，该框架本质上与VoxelMorph框架相同。

本周，我的任务是将该实现扩展到3D，并在一个包含150个T1-weighted扫描的小数据集上进行试验。通过对现有代码进行一些细微的更改，我能够实现原始的VoxelMorph模型。我使用一个扫描作为静态图像，其余的作为移动图像(125用于训练，25用于测试)。

样本输出

配准效果不佳的原因是这些volumes没有去掉头骨。会议上有人向我指出，脑提取是配准的一个重要预处理步骤，即去除颅骨和眼睛等非脑组织。

基于深度学习的仿射配准

我想看看像刚性变换和仿射变换这样的简单变换是否有效。所以我很快修改了代码来做无监督的2D仿射配准。这个想法是空间变压器网络的一个简单推论。

2D仿射变换配准的Colab notebook：https://colab.research.google.com/drive/1drp2ny2t-nxddkt4pezn6mtjehnfccw

方法

卷积神经网络以移动图像和静态图像为输入，计算使移动图像弯曲和对齐到静态图像所需的仿射变换参数。在二维配准的情况下，这些参数有6个，控制旋转、缩放、平移和剪切。

训练卷积神经网络输出两幅输入图像之间的仿射变换参数T，空间变压器网络利用这些参数对运动图像进行变换。

空间变压器block取仿射参数和运动图像，执行两项任务：

• 计算采样网格
• 使用采样网格重新采样移动图像

在规则网格上应用仿射变换得到新的采样网格，即运动图像的采样点集。将输出中的每个位置映射到输入中的一个位置，使用如下公式：

由于新的采样位置可以是非积分的，双线性插值用于可微的采样，并允许梯度流回卷积神经网络，使整个框架端到端可微。

训练

MNIST数据集经过筛选，只保留一类图像，而静态图像是从筛选后数据集的测试集中随机选择的。使用归一化交叉相关(NCC)训练网络。数学上是：

S和M分别代表静态图像和运动图像。下标mea和std分别表示图像的均值和标准差。图像中所有像素的求和。该训练在Tesla K80 GPU上大约需要5分钟，在CPU (i5-8250U)上大约需要10分钟。

2D的结果

扩展到3D

我修改了2D配准的代码，使其适用于3D volumes，并在T1-weighted扫描上进行了尝试。AIRNet的工作，与此相似。但与AIRnet不同的是，它是在监督的方式下训练的，并且需要ground-truth仿射变换参数，这是在无监督的方式下训练的，就像VoxelMorph。

3D的结果

 

—END—

英文原文：https://medium.com/@sarathchandra.knv31/deep-learning-based-2d-and-3d-affine-registration-da73df8d2f24

本文仅做学术分享，如有侵权，请联系删文。下载1在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。
下载2在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。
下载3在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：