直接承载着人形机器人操作任务的执行能力，通用且灵巧的操作不仅依赖先进的感知与推理决策，而且对复杂的协同规划控制设计提出了极高要求。
任意抓取和操作具有各种几何和物理特性的任意物体是人形双臂机器人系统通用化的技术体现，构建一个通用的感知-规划-控制架构有望能利用双臂系统硬件本体能力并充分发挥其灵巧性和多功能性的特点，弥合AI技术与机器人技术间的鸿沟。近日,机器人领域顶级期刊IEEE Transactions on Robotics上在线出版了长文Enabling Versatility and Dexterity of the Dual-Arm Manipulators: A General Framework toward Universal Cooperative Manipulation。这项研究工作设计并提出了业界首个双臂通用协同灵巧操作架构，该架构在感知层、双手抓取、协同操作规划和底层控制等方面提供了丰富的接口，具有很高的通用性、可扩展性和兼容性。基于该框架研究人员实现了包括协同旋拧、人机物理协同操作、协同倒水、基于物体可供性和意图识别的动态交互、干扰抑制和大体积物体的自主交接等各种显着差异化的任务。
该项研究一作兼通讯作者为任义博士，共同作者包括张正友教授和Martin Buss教授两位IEEE Fellow，人形机器人总师倪风雷教授，郑宇博士以及杨扬教授两位IEEE Senior Member等多位机器人领域权威专家。
双臂系统的通用化过程中需要解决现有研究工作中三个关键的共性问题：1）如何基于视觉感知实现未知物体的双臂协同最优抓取；2） 如何确保工作空间高度重迭的双臂机器人在动态协同过程中的系统安全性；3） 如何将丰富的人类技能转移到仅拥有有限跟踪接口类型的机器人系统中。本项研究工作则很好地解决了以上问题，所设计的双臂通用协同灵巧操作架构能够充分发挥人形双臂系统的灵巧性和多功能性，该架构包含两个相互耦合关联的子架构：1、基于学习的灵巧可达感知子架构采用端到端评估网络和机器人可达性概率化建模，实现对未建模物体的最优协同抓取；2、基于优化的多功能控制子架构采用层级化的多优先级优化框架，并通过嵌入基于学习生成的轻量级距离代理函数和黎曼流形上的速度级跟踪控制技术，同时实现了高精度双臂避自碰和高拟真双臂操作度椭球跟踪，保证了双臂系统的本质安全并开放了操作度椭球跟踪接口。
为实现对未知物体的双臂协同抓取，需要为双臂系统自主生成可执行的灵巧最优抓取对。研究人员从数据集生成，抓取质量评估网络和双臂机器人可达性概率化建模三个层面着手，系统性设计了灵巧-可达感知双臂抓取子架构，实现视觉系统感知到的物体3D点云到灵巧-可达最优的双臂6D抓取位姿对之间的端到端映射。
为建立准确的输入点云与输出双臂抓取质量之间的映射关系并有效训练抓取评估网络，研究人员提出了业界首个大规模灵巧性感知的双臂抓取合成数据集（DA2 Dataset），该数据集包含6327个物体的Mesh和超过900万组抓取对，每一组抓取都采用抓取奇异性-抓取稳定性-抓取力兼容性三个指标做了标注；
实际场景中一般可采用例如启发式采样等技术在感知到的物体3D点云上生成候选抓取对，为实时在线评估这些候选抓取对的质量并输出最优解，研究人员设计了面向双臂协同抓取的质量评估网络Dual-PointNetGPD，并利用DA2数据集进行训练。相较于基于简化接触力模型和依赖精确物体几何特征的传统分析方法而言，基于学习的Dual-PointNetGPD可以直接处理有噪声的3D点云并对候选双臂抓取构型的灵巧性和可靠性进行评估，因而对广泛存在的视觉感知噪声具有更高的鲁棒性；
Dual-PointNetGPD从视觉感知的角度输出抓取对质量评估结构，针对特定的双臂机器人系统，还需要从机器人本体角度考虑候选抓取对在机器人操作空间中的可达性问题和抓取对在双臂之间的分配问题。研究人员采用单位四元数高斯混合模型建模技术对双臂6自由度工作空间进行建模并设计了概率最大化分配策略，实现了双臂抓取可达性与抓取灵巧性评估的融合统一。
具备协同抓取未知物体的能力是实现双臂通用化的第一步，而具备本体安全感知的协同操作运动规划是衔接通用抓取并实现通用操作的第二步。由于人形双臂机器人系统的两条机械臂的工作空间往往高度重迭，对于执行双臂动态任务的机器人本体而言，避自碰撞需要放在运动规划中的最高优先级，在提升避碰精度的同时还需要减小在线计算代价以保证避碰实时性。此外，作为重要的操作性能指标和机器人技能表征之一，双臂协同操作度椭球需要被连续控制以实现对机械臂构型的实时优化，从而提高双臂系统的操作灵巧度，避免因操作奇异性导致的任务失败。研究人员为此设计了一个新型的多功能协同操作控制子架构，该架构基于层级化的多目标多优先级优化框架，将学习得到的轻量级双臂最小距离代理函数和黎曼流形速度跟踪任务以不等式约束的形式嵌入到不同的优先级中，从而实现了双臂操作运动规划的本质安全性与人机技能迁移学习中双臂构型优化的高拟线. 多功能协同操作控制子架构
除避自碰以外，操作度椭球跟踪因其与操作技能和操作构型强相关，也是双臂系统控制中需要重点处理的问题。双臂操作度椭球由对称正定矩阵（SPD）来描述，研究人员通过设计流形空间中的速度前馈项并结合误差控制原理，实现了双臂操作度椭球的实时跟踪以及跟踪误差的全局指数收敛，并给出了完整的理论分析与证明。双臂操作度椭球跟踪任务以等式约束的形式嵌入到了多优先级优化框架中并以双臂操作度椭球跟踪接口的形式呈现。
为验证双臂最优协同抓取，双臂避自碰以及双臂协同操作度椭球跟踪方面的有效性，研究人员就所设计的Dual-PointNetGPD网络、学习生成的双臂最小距离代理函数以及SPD流形跟踪误差进行了定量分析。
为验证自主避自碰能力，研究人员设计了需要极限扭转的协同翻转实验中，在该实验中，双臂系统自主完成了互缠绕无碰轨迹运动规划，在不改变抓握构型的前提下实现了对椅子360°翻转操作，物体的绝对运动在回转方向上始终保持高精度跟踪，在其他自由度上则动态地自主松弛，双臂相对运动误差低于0.003 （m 或rad），避碰安全距离被高效压缩到了2.5 cm，同时整个多功能协同操作控制子架构在采用机械臂高精度网格模型下的典型计算时间为控制在8.318 ms，解决了高精度和高实时性不可同时实现的困境；以上结果也表明各级任务严格按照所给定的优先级执行。
综上所述，该研究中首次系统性解决了基于视觉感知的未知物体双臂协同最优抓取，实现了工作空间高度重迭的双臂机器人本质安全并开放了可用于人机技能迁移学习的双臂协同操作度椭球跟踪接口。近期引发业界热议的Tesla Optimus机器人以及Mobile ALOHA在双臂灵巧操作方面的最新成果均采用基于模仿学习的人-机技能迁移路线，以期望达成双臂灵巧操作技能的泛化。自上而下研究具身智能并至下而上研究机器人操作规划与控制，有助于弥合AI与Robotics之间的技术鸿沟，提升基于AI生成的操作策略在物理世界中执行的稳定性和可靠性，加速双臂系统全自主通用化的到来。
