Hololens配准调研

Hololens配准调研

关键词：hololens，registration

搜索网站：xueshu.baidu.com

搜索结果简单描述

• 2019-HoloLens-Based AR System with a Robust Point Set Registration Algorithm：hololens点云配准算法
• 2019-Preliminary Experiment of the Interactive Registration of a Trocar for Thoracoscopy with HoloLens Headset： 本文利用Microsoft全息头戴式耳机，提出了第一个基于混合现实框架的套管针导引软件原型。外科医生首先使用CT扫描确定插入的位置和方向，以便在插入套管针时尽量减少损伤患者内脏的风险，然后在介入过程中交互式注册可能会帮助他或她。在本文中，我们描述了这种交互式配准的计算步骤序列和首次得到的结果。
• Multicenter Assessment of Augmented Reality Registration Methods for Image-guided Interventions：在将全息三维（3D）模型对准真实环境的过程中，评估手动和自动配准时间以及增强现实的精度。方法：在两个学术中心进行不同阶段临床训练的18名参与者连续3次使用hololens2增强现实耳机在CT网格上注册3D CT模型。比较不同注册方法（手势、Xbox控制器和自动注册）、临床经验水平和连续尝试的注册时间和准确性。配准时间也与之前的hololens1数据进行了比较。没有介绍详细的配准方法。
• Registration made easy -- standalone orthopedic navigation with HoloLens：我们提出一种手术导航方法，包括术中表面数字化注册和直观全息导航椎弓根螺钉放置完全在微软全息透镜上运行。模型实验的初步结果表明，该方法可以满足临床精度要求。
• 2019-A Marker-Less Registration Approach for Mixed Reality–Aided Maxillofacial Surgery: a Pilot Evaluation：在这项工作中，我们设计了一个应用程序，为病人的PET-CT信息无标记注册。该算法结合了从RGB视频流中提取的面部Marker，以及HMD Microsoft HoloLens提供的所谓的空间映射API。
• 2018-Development of a Mixed Reality Platform for Lateral Skull Base Anatomy：
• 2019-Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses：基于点云配准的精度分析
• 2018-Augmenting Microsoft's HoloLens with vuforia tracking for neuronavigation：下面的工作研究了使用专有图像处理SDK Vuforia对全息透镜的增强，允许整合来自其前置RGB相机的数据，以提供更稳定的空间全息图用于神经导航。
• 2019-Joint Point Cloud and Image Based Localization For Efficient Inspection in Mixed Reality：因此，我们提出了一种新的点云和基于图像的联合定位方法（JPIL）。
• 2020-A research of surgical navigation system of mixed reality based on image registration：本文研究了一种更适合使用Microsoft全息镜头作为手术导航仪器的配准方法。手术导航过程中最重要的一步是将虚拟模型与相应的病灶进行配准。我们的配准方法主要是：首先利用vuforia中的三维模型识别进行粗配准，然后提取经过全息透镜扫描的模型和真实场景的点云数据，最后利用法向量几何特征提取点云数据的特征点，然后利用ICP算法进行精细配准。本文提出的配准方法解决了传统ICP算法容易陷入局部最优的问题，在一定程度上提高了配准精度。
• 2018-Augmented Reality-Based Personalized Virtual Operative Anatomy for Neurosurgical Guidance and Training：采用精确的配准方法映射虚拟现实空间信息，将虚拟手术大脑覆盖在工作空间上。？？具体是什么方法呢？
• 2019-Image-based marker tracking and registration for intraoperative 3D image-guided interventions using augmented reality：这里我们描述了一种使用Microsoft Hololens投影CT扫描，然后将投影与一组基准标记对齐的方法。在获取CT扫描之前，将带有独特二维码的无线电不透明贴纸贴在物体上。提取标记在CT扫描中的位置，并将CT扫描转换为三维表面对象。然后用全息透镜将三维物体投影到一张桌子上，上面放着同样的标记。我们设计了一个算法，将三维对象上的标记与表上的标记对齐。
• 2019-Commentary: Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses：配准精度分析；
• 2018-Mixed_Reality_Guided_Radiofrequency_Needle_Placement_A_Pilot_Study: 然后，采用定制的精确配准方法对虚拟现实空间信息进行映射。摘要中没有具体说明。
• 2019-Pattern Recognition and Mixed Reality for Computer-Aided Maxillofacial Surgery and Oncological Assessment：因此采用模式识别算法在目标面部正确放置分段PET-CT扫描。为了记录这种系统的有效性和评价率，医生和工程师小组被要求根据标准ISO-9241/110评估和评估最终的原型。
• 2018-Neurosurgical burr hole placement using the Microsoft HoloLens：基于marker手动配准；
• 2019-HoloInjection: augmented reality support for CT-guided spinal needle injections：开发了一个原型AR应用程序，使用混合现实眼镜Microsoft HoloLens引导针头插入脊柱目标。在一项对比研究中，我们尝试测量系统的配准精度，并评估了三种关于可实现的面内和面外针定向误差的制导可视化概念。结果表明，AR原型具有较高的配准精度，可以有效地减小面外定位误差。
• 2020-Augmented reality improves procedural efficiency and reduces radiation dose for CT-guided lesion targeting: a phantom study using HoloLens 2

配准方法分类

• 基于marker的配准实现：
  • 2019-HoloLens-Based AR System with a Robust Point Set Registration Algorithm：
  • Registration made easy -- standalone orthopedic navigation with HoloLens
  • 重点关注：2019-A Marker-Less Registration Approach for Mixed Reality–Aided Maxillofacial Surgery: a Pilot Evaluation
  • 重点关注：2019-Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses
  • 2019-Joint Point Cloud and Image Based Localization For Efficient Inspection in Mixed Reality
  • 2020-A research of surgical navigation system of mixed reality based on image registration
  • 2018-Augmented Reality-Based Personalized Virtual Operative Anatomy for Neurosurgical Guidance and Training：借助NDI，hololens上面安装marker，实现空间配准；
  • 重点关注：2019-Image-based marker tracking and registration for intraoperative 3D image-guided interventions using augmented reality：基于视觉识别的方法
  • 2018-Mixed_Reality_Guided_Radiofrequency_Needle_Placement_A_Pilot_Study: 利用了NDI
  • 2019-HoloInjection: augmented reality support for CT-guided spinal needle injections：Optical Tracking
  • 重点关注：2020-Augmented reality improves procedural efficiency and reduces radiation dose for CT-guided lesion targeting: a phantom study using HoloLens 2 hololens2 and Vuforia
• 手动配准实现：
  • 2019-Preliminary Experiment of the Interactive Registration of a Trocar for Thoracoscopy with HoloLens Headset：future work：我们继续我们的工作，以便通过使用Unity最近提供的基于标记的功能来简化注册过程（Vuforia library）
  • 2018-Development of a Mixed Reality Platform for Lateral Skull Base Anatomy
  • 2018-Augmenting Microsoft's HoloLens with vuforia tracking for neuronavigation：Vuforia Tracking
  • 2018-Neurosurgical burr hole placement using the Microsoft HoloLens

配准具体实现

重点关注：2019-A Marker-Less Registration Approach for Mixed Reality–Aided Maxillofacial Surgery: a Pilot Evaluation

使用到的软件有：

• MeVisLab，用于重建分割，网格生成；
• OpenCV for Unity
• Dlib FaceLandmarkDetector
• Unity3D, Hololens, VS2017, HoloToolkit

利用 facial landmark detection进行配准。

完整的流程图如下：

详细说明如下：

• hololens利用RGB相机以及Dlib获取facial landmarkers (https://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf)
• 上一步骤获取的是二维的坐标，需要转换成三维的坐标，相机在世界坐标系的位置， Spatial Mapping scene 使用unity raycasting算法 (简单理解就是将相机看到的点，转换到世界坐标系下面，)
• ........看不懂

没看懂获取的facial landmarker怎么用来配准的？就算知道了facial landmarker对应的3D坐标？

重点关注：2019-Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses

基准配准误差（FRE）定义为两点云中对应皮肤基准点之间距离的均方根（RMS）。

因此，我们决定使用手动基准点匹配使用迭代最近点算法。 利用HN(holographic navigation)应用程序进行点匹配，以匹配真实物体上的虚拟全息图。HN应用能够自动计算出FRE。使用到的marker如下：

左边是3D打印出来的结果，当HN识别pointer后，会自动的将全息影像投影到实际物体，显示右边的结果。

具体操作过程如下：

• 在网格数据中选择对应的标记点（MarkersA）；
• 使用实际的pointer指向实际物体的标记点的位置，当HN识别实际pointer之后，会自动的将全息影像投影到实际物体，voice命令（Point），就会在实际标记点出添加虚拟标记点（该识别过程利用了：image-recognition Vuforia Library）。
• 对所有的标记点执行相同的处理过程，添加的所有的标记点为（MarkersB）；
• 执行“an iterative closest point algorithm”，将MarkersA和MarkersB进行配准；
• 完成实际对象和虚拟对象直接的配准过程；

重点关注：2019-Image-based marker tracking and registration for intraoperative 3D image-guided interventions using augmented reality

• 在CT扫描之前，需要将VisiMarker方式到对象的皮肤上；
• 利用ChARUCO和针孔相机模型，标定holollens的内参；
• 其次，为了校正全息图和相应标记之间的错位，对全息图的位置偏移进行测量、建模和校正；
• CT数据中分割出marker（April Tags）；
• 将CT数据中分割出来的marker和看到的marker进行比对，完成配准过程；

最后两部的示意图如下：

重点关注：2020-Augmented reality improves procedural efficiency and reduces radiation dose for CT-guided lesion targeting: a phantom study using HoloLens 2 hololens2 and Vuforia

关键内容如下：

Automated registration of the 3D model to CT grid was performed using computer vision and Vuforia 9.0.12 with the CT grid as the image target. Features on the CT grid can be reliably and quickly detected by Vuforia12, and studies have validated the accuracy of Vuforia on HoloLens。

CT grid如下图：

利用grid完成配准。

others

• optitrack for unity ：https://optitrack.com/support/downloads/plugins.html#unity-plugin