机械狗在瑜伽球上稳稳当当的行走，平衡力那是相当的好：
各种场景都能拿捏，不管是平坦的人行道、还是充满挑战的草坪都能 hold 住：
甚至是钻研人员踢了一脚瑜伽球，机械狗也不会歪倒：
给气球放气机械狗也能保持平衡：
上述展示都是 1 倍速，没有经过加速处理。
论文地址：https://eureka-research.github.io/dr-eureka/assets/dreureka-paper.pdf
项目主页：https://github.com/eureka-research/DrEureka
论文标题：DrEureka: Language Model Guided Sim-To-Real Transfer
这项钻研由宾夕法尼亚大学、 NVIDIA 、得克萨斯大学奥斯汀分校的钻研者联合打造，并且完全开源。他们提出了 DrEureka（域随机化 Eureka），这是一种利用 LLM 实现嘉奖计划和域随机化参数设置的新型算法，可同时实现仿照到理想的转嫁。该钻研展示了 DrEureka 算法能够解决新颖的机械人恣意，例如四足机械人平衡和在瑜伽球上行走，而无需迭代手动计划。
DrEureka 是基于 Eureka 完成的，后者还被评为 2023 年英伟达十大项目之一。了解 Eureka 更多内容可参考《有了 GPT-4 之后，机械人把转笔、盘核桃都学会了》。
在论文摘要部分，钻研者表示将在仿照中学习到的计谋转嫁到理想世界是一种大规模获取机械人技能的有前途的计谋。然而，仿照到理想的方法通常依赖于恣意嘉奖函数以及仿照物理参数的手动计划和调整，这使得该过程缓慢且耗费人力。本文钻研了使用大型语言模型 (LLM) 来自动化和加速仿照到理想的计划。
论文作者之一、英伟达高级科学家 Jim Fan 也参与了这项钻研。此前英伟达成立 AI 实验室，领队人就是 Jim Fan，专攻具身智能。Jim Fan 表示：
「我们训练了一只机械狗能在瑜伽球上保持平衡并行走，这完全是在仿照中进行的，然后零样本转嫁到理想世界，无需微调，直接运行。
对机械狗来说，走瑜伽球恣意尤其困难，因为我们无法准确仿照弹力球表面。然而，DrEureka 可以轻松搜索大量仿照真实设置，并让机械狗能够在各种地形上操控球，甚至横着走！
一般来讲，从仿照到理想的转嫁是通过域随机化实现的，这是一个繁琐的过程，需要机械人专家盯着每个参数并手动调整。像 GPT-4 这样的前沿 LLM 拥有大量内置的物理直觉，包括摩擦、阻尼、刚度、重力等，借助 GPT-4，DrEureka 可以熟练地调整这些参数并很好地解释其推理。」
论文介绍
DrEureka 流程如下所示，其接受恣意和安全指令以及环境源代码，并运行 Eureka 以生成正则化的嘉奖函数和计谋。然后，它在不同的仿照条件下测试该计谋以构建嘉奖感知物理先验，并将其提供给 LLM 以生成一组域随机化 (DR) 参数。最后，使用合成的嘉奖和 DR 参数训练计谋以进行实际部署。
Eureka 嘉奖计划。嘉奖计划组件基于 Eureka，因为它简单且具有表现力，但本文引入了一些改进，以增强其在仿照到真实环境中的适用性。伪代码如下：
嘉奖感知物理先验（RAPP，reward aware physics prior）。安全嘉奖函数可以规范计谋行为以固定环境选择，但本身不足以实现仿照到理想的转嫁。因此本文引入了一种简单的 RAPP 机制来限制 LLM 的基本范围。
LLM 用于域随机化。给定每个 DR 参数的 RAPP 范围，DrEureka 的最后一步指示 LLM 在 RAPP 范围的限制内生成域随机化设置。具体过程参见图 3：
该钻研使用 Unitree Go1 来实验，Go1 是一个小型四足机械人，四条腿有 12 个自由度。在四足运动恣意中，本文还系统地评估了 DrEureka 计谋在几个理想世界地形上的性能，发现它们仍然具有鲁棒性，并且优于使用人类计划的嘉奖和 DR 设置训练的计谋。
了解更多内容，请参考原论文。