随着人工智能和机器人技术的迅速发展，功能操控（Functional Manipulation）在机器人学中的重要性愈加突出。传统的基准尝试已无法满足目前机器人对简单操控使命的需求，呼吁新的操控基准（Functional Manipulation Benchmark）出现。
概述
机器人操控面临两个主要挑战：机器人如何智能地处理简单的接触动力学以及如何应对环境和物体的多样性。针对这些挑战，机器人进修技术被视为关键的解决手段。因此，该领域需要一个全面易得的框架，供给有挑战性的实际使命、高质量数据、易于复制的设置，集合了基线结果的相关方式，基于该框架，研讨人员可能对所提出使命的尝试发现进行深入分析。
加州大学伯克利分校智能机器人尝试室（RAIL）的研讨团队提出了如上所述的现实世界基准，称为 FMB（Functional Manipulation Benchmark for Generalizable Robotic Learning）。
项目主页：https://functional-manipulation-benchmark.github.io/
论文地址：https://arxiv.org/abs/2401.08553
论文题目：FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning
共同第一作者主页：https://people.eecs.berkeley.edu/~jianlanluo/
https://charlesxu0124.github.io/
FMB 具有以下特点：
创新设计：采用了 3D 打印技术制作使命中的物体，来考验机器人的泛化能力，这种方式也便于其他研讨人员复现。
多样化使命：包含单物体和多物体多阶段操控使命，真实模拟日常环境中的挑战。
大型数据集：通过大量人工演示，为机器人供给了丰富的数据集。
模拟进修基线：使用最先进的机器进修方式，供给了基线结果和模块化组件以供其他研讨者使用。
物体和使命
FMB 中的使命大致分为两类：单物体多步调操控使命和多物体多步调操控使命。这些使命旨在尝试机器人的基本技术，如抓取、重新定位和装置等，这些都是实现整个使命所必需的技术。FMB 中的使命要求机器人不仅能实现繁多的操控技术，还要求机器人可能将这些技术组合起来，实现更为简单的多步调使命。
FMB 的使命设计灵活多变，研讨人员可以根据需要选择专注于繁多技术，深入研讨机器人的操控能力，也可以研讨完整的多步调使命，这需要机器人进行长期规划并具备从失败中恢复的能力。由于涉及选择合适的物体并推理操控物体的顺序，更为简单的多步调使命要求机器人可能做出简单的实时决策。
大型数据集
在机器人进修的过程中，数据的作用不可小觑。为了使机器人更好地理解和掌握简单的使命，研讨团队收集了一个涵盖上述使命的大规模专家人类示范数据集，包含超过两万个操作轨迹。研讨团队采用了四个不同的摄像机记录这些示范数据，其中两个摄像机安装在机器人的腕部，另外两个供给全局视角。这些摄像机捕捉了对于机器人进修解决使命至关重要的 RGB 彩色图像信息、深度信息等数据。
此外，数据集还记录了机器人末端执行器的力 / 扭矩信息，这对于像装置这样需要接触大量物体的的使命非常重要。通过这些丰富的数据，机器人可能深入理解使命的每个细节，更加精确地模拟人类的操作技巧。正是由于数据的深度和广度，为机器人进修供给了坚实的基础。这使得机器人在执行简单使命时，可能更加人性化和更灵巧地对使命作出响应。
模拟进修基线
基线战略的架构图。
基于 Transformer 和 ResNet 的两种模型都使用了共享权重的 ResNet 编码器对每个图像视图进行编码，然后与本体感知信息和可选的物体和相应的机器人技术编码特征结合，以预测 7 自由度的动作。
FMB 的尝试部分对模拟进修系统的功能进行了一系列尝试，比较了不同的进修方式，探究了不同输入模式和设计决策的影响。尝试发现，使用深度信息有助于提高抓取战略的效果，力 / 扭矩信息对于装置使命非常重要。对于多步调使命，传统的 ResNet、Transformer 和 Diffusion 方式均未能奏效，但该论文中提出的分级控制 (hierarchical control) 方式显示出了潜力。
抓取使命
尝试结果显示，纳入深度信息的 ResNet 战略在抓取使命中的功能一致优于仅使用 RGB 信息的战略。通过数据削减研讨，研讨团队探究了不同数量的训练数据对抓取使命功能的影响。结果显示，纳入深度信息的 ResNet 战略在处理已见物体时的功能将随着训练数据量的增加而提升。值得注意的是，该战略对未见过的物体表现出了与已见物体相近的功能，这表明训练对象的多样性极大地促进了机器人的泛化能力。
装置使命
在装置使命中，力 / 扭矩信息的重要性得到了证实。力 / 扭矩信息对于机器人采取的战略判断物体是否已经接触到目标表面，并有效进行搜索等行为非常重要。
然而，当战略在所有物体上进行训练时，机器人并不总是可能成功地实现装置使命。这是因为战略需要首先判断应将物体装置到哪个孔中，然后再生成相应的动作，这大大增加了使命的简单性。为了解决这个问题，研讨团队在战略中添加了一个选取物体机制，帮助战略确定需要装置的物体的形状，从而专注于生成正确的装置动作。
多步调使命
FMB 的框架包含了两项简单使命。这些简单使命要求机器人可能像人类一样连续实现多个步调。此前的方式是让机器人进修整个过程，但这种方式容易因为繁多环节的错误而不断累计误差，最后导致整个使命失败。无论是在单物体还是多物体操控使命中，这种方式的成功率均为 0/10。
针对累积误差问题，研讨团队采用了分层控制战略。分层战略通过将使命分解成若干小块，每实现一块便相当于通过一个决策点，即使出现错误也能迅速纠正，避免影响后续环节。例如，如果机器人在抓取过程中未能稳固抓住物体，它会持续尝试直至成功。
研讨团队尝试了两种分层方式，第一种方式为繁多战略供给指示使命类型的有效向量，而第二种方式则是针对每个操控技术单独训练不同的战略，均采用了操作员的指令作为上层战略，在尝试中，研讨团队发现这两种方式均表现优异。
尝试结果显示了分层方式在处理简单机器人使命中的有效性，并为未来研讨供给了新的研讨方向。
如上图所示，机器人在进修后可能自主进行功能操控。
总的来说，以上尝试展示了研讨团队在机器人进修领域的技术创新，也验证了 FMB 是适合开发先进机器人进修方式的基准。研讨团队研讨期待未来的研讨可以在 FMB 基础上进一步推动机器人进修的边界。