编辑 | X
英伟达（NVIDIA）正与学术钻研职员合作，钻研手术机器人。
NVIDIA 联合多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院和佐治亚理工学院的钻研职员开发了 ORBIT-Surgical，一个训练机器人的仿照框架，可以提高手术团队的技能，同时减少外科医生的认知负担。
受腹腔镜手术（又称微创手术）训练课程的启发，它支持十多种操作，比如抓住像针头这样的小物体，从一只手臂传递到另一只手臂，并高精度地放置它们。
鉴于物理的框架是使用 NVIDIA Isaac Sim 构建的，这是一个用于设计、训练和测试鉴于 AI 的机器人的机器人仿照平台。
钻研职员在 NVIDIA GPU 上训练加强进修和师法进修算法，并使用 NVIDIA Omniverse——一个用于开发和部署鉴于通用场景描述 (OpenUSD) 的高级 3D 应用程序和管道的平台，来实现照片级确实感衬着。
ORBIT-Surgical 将在 IEEE 国际机器人与自动化会议 (ICRA) 2024 上发表。
GitHub 开源代码：https://orbit-surgical.github.io/
论文地址：https://arxiv.org/abs/2404.16027
在下面的视频中，ORBIT-Surgical 钻研团队演示了如何在仿照中训练数字孪生转移到实验室环境中的物理机器人。
ORBIT-Surgical 鉴于 Isaac Orbit，这是一个鉴于 Isaac Sim 构建的机器人进修模块化框架。Orbit 支持各种加强进修和师法进修库，其中人工智能代理经过训练可以师法确实的专家示例。
该手术框架使开发职员能够训练达芬奇钻研套件（da Vinci Research Kit，dVRK）等机器人，使用在 NVIDIA RTX GPU 上运行的加强进修和师法进修框架来操纵刚性和软物体。
ORBIT-Surgical 引入了十多项外科训练基准使命，包括单手使命，例如拿起一块纱布、将分流器拔出血管或将缝合针举到特定位置。它还包括双手使命，例如将针从一只手臂递到另一只手臂，将螺纹针穿过环形杆，以及将两只手臂伸到特定位置，同时避开障碍物。
ORBIT-Surgical 的基准测试之一是拔出分流器（ 左图为现实世界的机器人，右图为仿照图。）
通过开发利用 GPU 加速和并行化的手术仿照器，该团队能够将机器人的进修速度比现有手术框架提高一个数量级。他们发现，经过训练，机器人数字孪生可以在单个 NVIDIA RTX GPU 上在两小时内完成拔出分流器和提起缝合针等使命。
借助 Omniverse 衬着实现的视觉确实感，ORBIT-Surgical 还允许钻研职员生成高保真合成数据，这有助于训练 AI 模型执行感知使命，例如在手术室捕获的确实视频中分割手术工具。
该团队的概念验证表明，将仿照和确实数据相结合显著提高了人工智能模型从图像中分割手术针的准确性，有助于减少训练此类模型时对大型、昂贵的现实数据集的需求。
参考内容：https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/