标题：Manipulation Assist for Teleoperation in VR
0. 摘要
由于多种原因，VR接口对机器人技术很有希望，其中包括它们可能适合解决与用于机器人操纵的传统机器人遥操作接口相关的许多人类性能问题。 在这篇以系统为重点的论文中，我们介绍并记录了基于VR的带有操纵辅助控制算法的机器人控制范例的开发，该算法允许人类操作员指定较大的操纵目标，同时将定位，操纵和抓握的底层细节留给 机器人本身。 对于社区，我们还描述了迄今为止我们的系统设计挑战。
1. 简介和先前的工作
机器人能够对大型和小型物体进行快速，重复和精确的操纵，但是对于需要灵活和重新计划的操纵任务，其感知，计划和控制通常会受到限制。 因此，利用机器人优势同时减轻其弊端是远程操作或人类操作人员直接遥控机器人的主要吸引力。 但是，为了使人类能够更好地遥控机器人，他们需要对机器人的执行器进行高保真控制，并对机器人的环境进行准确而丰富的可视化。
虚拟技术功能的进步以及它们在消费者价格点的快速增长，使得将它们集成到现有的机器人框架中变得更加容易[4-6、9、10]。例如，先前的工作表明，使用虚拟现实（VR）界面允许用户使用类似航路点的控制（称为位置控制）对百特机器人的机械手进行遥控操作，可以更快，更准确地完成粗略和精细的电机操纵任务。而不是直接模仿巴克斯特操纵器（称为轨迹控制）[2]的VR界面。 Whitney等人的一项研究[8]显示，与传统的2D键盘和显示器界面相比，VR接口使非专业用户可以远程操作机器人以更快地完成许多灵巧的操作任务，并减少认知工作量。研究人员还发现，与键盘和显示器接口相比，与会人员给VR接口的可用性更高，并且对VR接口的满意度得分更高。 Lipton [3]对使用homunculus控制界面的VR机器人远程操作范例进行了非正式的用户评估。机器人的全息模型实际上将用户嵌入到了机器人“思维”内部的“控制室”中。研究人员要求用户控制机器人进行大量的制造，并使用形状和合规性不同的物体来拾取和放置任务。
由于一些研究人员已经证明了使用消费级VR硬件进行机器人的远程操作控制的前景，因此继续开发和测试基于VR的界面以改善机器人的人为控制模式以及最终实现人机交互具有价值。 因此，我们正在通过创建带有操纵辅助功能的VR机器人控制范例（一种控制辅助算法）来构建类似航路点的界面，从而使操作员可以指定更大的操纵目标，而无需离开飞机。 机器人本身的定位和操作细节。 本文的目的是记录进度并报告操纵辅助VR系统的系统详细信息。 我们还为社区系统设计了迄今为止我们所取得的进步所面临的挑战。
2. 系统总览
由于远程操作的本质，我们的系统具有重要的硬件和软件组件，需要协同工作才能成功执行以下各节中记录的内容。
2.1 硬件
系统的物理组件是：
2.2 软件
该系统的软件组件为：
2.3 对象姿态跟踪
为了使机器人辅助对象操作，它必须首先能够识别对象是什么以及对象在3D空间中相对于机器人本身的位置。 为了满足此要求，我们的系统使用基准标签。 基准标签是高对比度的图案，概念上与QR或条形码相似，但是内置了更多的数据冗余。每个标签都有一个ID，除了相对于检测相机的标签姿势外，识别软件还可以对ID进行解码。 我们的系统使用标签ID词典将标签的相机相对姿势映射到其关联的虚拟对象。
2.4 操纵辅助算法
一旦系统知道了物体在世界上的位置，操纵辅助的过程在概念上就类似于遵循一组路标。 VR控制程序包含所有带有标签的对象的列表，以及每个对象可以提供哪些辅助的列表，并且至关重要的是，相对于对象的质心存储的辅助航路点。
当用户在具有可能辅助对象的范围内按下辅助按钮时，控制程序首先检查以查看许可模式是例外还是许可。 如果是例外情况，程序将为最接近用户手的物体选择第一个有效辅助，并在用户发出中断信号之前开始执行。 如果得到许可，该程序将在用户的视野中创建一个菜单，提示他们从显示的列表中选择有效的帮助。 选择后，机器人开始执行。 在两种情况下，协助的实际过程是相同的。 机器人停止聆听用户的位置命令，然后将其末端执行器依次移至辅助装置中的每个航路点，直到到达所有位置为止。 移至最后一个航路点后，控制权将返回给用户。
2.5 VR环境
当前，大多数VR环境都是硬编码的。 百特模型位于空间中心，灰色框代表真正的百特工作台。 辅助目标存储在硬编码列表中，并为每个目标分配一个ID。 当工作空间中的一台摄像机检测到标签时，便会查找ID，并相对于检测到该摄像机的摄像机将相应的对象放置在场景中。 如果多个摄像机检测到同一物体，则将位置的平均值分配为该物体的位置。 这些对象由相应物理对象的低多边形模型直观地表示。 如果在某个超时值之后仍未检测到标签，则将禁用虚拟对象，直到重新建立跟踪为止。
3. 挑战与未来
尽管我们系统的操纵辅助非常有前途，但我们仍在努力寻找有效跟踪目标姿势的有效方法。 尽管有可用的高性能标签系统，例如LFTag [7]和STag [1]，但ArUco是唯一能够集成到我们系统中的软件包。 将来，我们的目标是使用AI进行目标姿态估计。
4. 总结
VR接口有望使用户能够更有效地遥控机器人，尤其是用于操纵任务。 在本文中，我们介绍了具有操纵辅助功能的基于VR的机器人控制系统的系统细节，该系统允许用户指定高级操纵目标，而将低级目标留给机器人本身。 对于社区，我们详细介绍了系统的各个组件（硬件，软件和算法详细信息），迄今为止其开发的进度和挑战以及计划的未来开发详细信息。