机器人和人工智能（AI）领域的最新进展为远程操作开辟了令人兴奋的新途径，远程控制机器人在遥远的位置完成任务。例如，这可以允许用户从远处参观博物馆，在难以进入的空间中完成维护或技术任务，或者以更具互动性的方式远程参加活动。
大多数现有的远程操作系统都设计为在特定环境中部署并使用特定的机器人。这使得它们难以应用于不同的现实环境，极大地限制了它们的潜力。
NVIDIA和加州大学圣地亚哥分校的研究人员最近创建了AnyTeleop，这是一种基于计算机视觉的远程操作系统，可以应用于更广泛的场景。AnyTeleop在arXiv上预先发表的一篇论文中介绍，使各种机械臂和手的远程操作能够处理不同的手动任务。
“NVIDIA 的一个主要目标是研究人类如何教机器人完成任务，”NVIDIA 机器人研究高级总监、NVIDIA 机器人研究实验室负责人、华盛顿大学保罗 G. Allen 计算机科学与工程学院教授、UW 机器人和状态估计实验室负责人 Dieter Fox， “科技Xplore说。
“之前的工作集中在人类如何远程操作或引导机器人 - 但这种方法有两个障碍。首先，训练最先进的模型需要许多演示。其次，设置通常具有昂贵的设备或传感硬件，并且仅适用于特定的机器人或部署环境，“福克斯说。
福克斯和他的同事最近工作的主要目标是创建一个低成本，易于部署的远程操作系统，并且可以在不同的任务，环境和机器人系统中很好地推广。为了训练他们的系统，研究人员在模拟环境中远程操作虚拟机器人，在物理环境中远程操作真实机器人，因为这减少了购买和组装许多机器人的需求。
“AnyTeleop是一种基于视觉的远程操作系统，允许人类用手控制灵巧的机器人手臂系统，”福克斯解释说。“该系统从单个或多个摄像头跟踪人类的手部姿势，然后重新定位它们以控制多指机器人手的手指。手腕点用于通过 CUDA 驱动的运动规划器控制机器人手臂运动。
与过去研究中引入的大多数其他远程操作系统相比，AnyTeleop可以与不同的机器人手臂，机器人手，相机配置以及不同的模拟或真实世界环境接口。此外，它还可以应用于用户在附近和远处位置的两种方案。
AnyTeleop平台还可以帮助收集人类演示数据（即表示人类在执行特定手动任务时执行的动作和动作的数据）。这些数据反过来可以用来更好地训练机器人自主完成不同的任务。
“AnyTeleop的主要突破是其可推广且易于部署的设计，”福克斯说。“一个潜在的应用是在云中部署虚拟环境和虚拟机器人，允许拥有入门级计算机和摄像头（如iPhone或PC）的边缘用户进行远程操作。这最终可能会彻底改变研究人员和工业开发人员教授机器人新技能的数据管道。
在最初的测试中，发现AnyTeleop的性能优于为特定机器人设计的现有远程操作系统，即使应用于该机器人也是如此。这凸显了其作为增强远程操作应用的工具的价值。
NVIDIA將很快發布AnyTeleop系統的開源版本，允許全球的研究團隊測試它並將其應用到他們的機器人身上。未来，这个有前途的新平台可能有助于扩大远程操作系统的规模，同时也有助于收集机器人操纵器的培训数据。
“我们现在计划使用收集到的数据来探索进一步的机器人学习，”福克斯补充道。“未来一个值得注意的焦点是在将机器人模型从仿真转移到现实世界时如何克服领域差距。