机器人灵巧操作通过多指手动态建立与脱离接触来实现对于被抓取物体的精细操作。相较于基于学习的灵巧操作方法，基于模型的方法无需针对每项任务进行大量数据收集，提供了一种高效高精度的解决方案。然而，由于物理接触的复杂性，现有基于模型的方法在高效在线规划和处理建模误差方面面临挑战，限制了其实际应用。为解决现有方法的不足，本报告提出一种新型的层次化灵巧操作框架，通过运动-接触联合建模实现了动作与接触的协同优化。大量实验表明，所提出的方法能够兼顾灵巧操作的高精度和高泛化性。

围绕“人形机器人视触融合感知与智能灵巧操作”展开系统研究，重点突破三大核心问题：①多模态视触觉传感装置与数据互联；②具身智能操作学习框架（模仿/强化/仿真到真实迁移）；③操作大模型驱动的通用抓取与工具使用能力。团队研制了高密度柔性触觉手套、磁触指尖与视触觉传感器PaLmTac；提出可插拔弹性体仿真器 Tacchi；构建 RobotGPT 框架。

动态运动原语(Dynamic Movement Primitives,DMP)算法是工业机械手中常见的模仿学习算法,当前DMP算法发展迅速,但是在能源消耗方面优化较少。针对国家绿色环保战略和企业用人用工成本等问题,提出了一种以减少能源消耗和机械手示教快速复现为目的改进DMP的机械手模仿学习算法。该算法在DMP的基础上优化了示教路径并增加了对能源消耗的控制,首先对机械手拖动示教后的轨迹编码进行优化,在示教轨迹中添加机械手抓取的关键点,通过关键点优化DMP的示教编码去除多余动作并计算其中能源消耗最小的机械手电机运行策略和最优路径。最后通过机械手进行复现操作,在 PyBullet仿真平台中搭建了一个7轴冗余机械手和若干抓取物并设定相应的物理规则来实现算法。经目标抓取实验测试:基于改进 DMP 的机械手模仿学习算法与传统DMP模仿学习算法比较,在保证任务成功率的基础上综合降低了42.82%能源的消耗,验证了该方法的有效性。

触觉感知是智能机器人的关键感知模态，触觉感知的硬件基础-触觉传感器是人形机器人的关键核心基础。无论是对智能装配、养老辅助等生产和生活场景，还是空间、深海等特种作业场景，触觉感知都是智能机器人在包含复杂物理接触的任务中能胜任的关键基础。因此，赋予其灵敏的触觉感知能力具有深刻的现实意义和学术价值。本报告将聚焦新型多模态触觉感知的开发与应用，介绍为机器人研发像人手一样具有多模态触觉感知能力，为物理智能的涌现和发展捉供关键触觉数据采集工具，赋能具身操作行业发展。

该报告围绕人工智能中的行为理解问题展开讨论，从机器认知角度：如何让机器看懂行为？——提出人类行为知识引擎等工作；从神经认知角度：机器语义理解与脑神经行为认知的内在关联是什么？——阐释视觉行为理解与其脑神经的内在关联，并建立稳定映射模型；从具身认知角度：如何将行为理解知识迁移到机器人系统？——提出PIE（perception- imagination-execution）方案，其中代表工作GraspNet首次在未知物体抓取问题上达到人类水平。

具身智能很重要的研究目标在于使机器人能够与人类进行交互和协作。近年来，尽管在教授机器人无需人类参与的操作技能方面已取得了重大的技术进展，但在可扩展地学习人机协作技能以应对各种任务和人类行为方面仍存在滞后。现实世界中针对人机协作的机器人训练成本高昂且风险较大，从可扩展性的角度来看，这种训练方法在实际应用中并不实际。因此，在将机器人部署到现实世界之前，有必要在虚拟环境中模拟人类行为并对机器人进行训练。在本次报告中，我将讨论我们近期在采集大规模人物交互数据集、模拟能够推广到新环境和任务的逼真人类行为、以及利用可扩展的人物仿真实现可泛化人机协作方面所做的努力。通过在多样化的场景中模拟人类交互，我们创建了以人为中心的机器人仿真器。通过采用动态任务和动作规划来生成高质量的示例，我们可以训练可泛化的人机协作技能。我们相信，这种方法为推进真实世界的人机协作提供了一种强大的范式。