编者寄语

随着虚拟现实技术的成熟,虚拟环境已不仅是沉浸体验的工具,也成为研究人机混合增强智能的新平台。与此同时,具身智能的理念逐渐被重视,它强调智能体必须通过“身体”与环境进行感知与动作的循环,才能实现灵活学习和自然交互。虚拟现实提供了低成本、可控且安全的实验环境,使得人类与智能体的协作能够在模拟场景中被训练、验证与优化。在这一背景下,“具身交互”成为虚拟现实研究的重要方向。它不仅关注信息传递和界面操作,更强调动作、空间和意图的双向理解,让人机协作更加自然和高效。

本期聚焦虚拟环境中的具身交互探索与实践,精选了六个前沿研究。内容涵盖从人机共生理念、智能体协作与学习,到具身智能高质量数据构建、多模态交互等。通过这些资源,读者可以从不同角度了解虚拟环境如何为具身智能提供实验平台、人机协作如何被训练与优化,以及虚拟交互技术的最新发展趋势。这些案例展示了具身智能在虚拟环境中的多样化实践,也为后续的研究和应用提供了启发和参考。

编委主任:苏金树 CCF会士 军事科学院教授

本期主编:汪    淼 CCF虚拟现实与可视化技术专委秘书长 北京航空航天大学计算机学院教授

共身智能

本文提出并阐释了“共身智能”的概念与特征。共身智能的核心在于“双脑融合”与“人机共(具)身”,即强调人类智能与人工智能在同一环境中的协同感知、决策与执行。在这一过程中,人工智能能够基于人类和环境的双重反馈不断学习和进化。这种理念推动人工智能从“替代人类”的传统思路,走向“融入人类”的新范式,为未来人机共生式的发展模式提供了重要理论支撑。

格式:
文章
具身协同与交互学习

近年来,多机器人协同受到越来越多的关注,并在仓储物流、工业制造和探索等场景中广泛应用。本报告从具身协同感知出发,介绍了在任务分解、分配和调度等方面的最新进展。同时,进一步探讨了如何通过智能体与环境的交互提升学习性能。智能体能够在探索中不断更新自身知识,实现从环境中学习的循环。这种方式不仅提升了多智能体的协同效率,也为未来更复杂的应用场景提供了新的研究方向。

格式:
视频
基于人类行为仿真的可泛化人机协作-具身智能与通用操作

具身智能的重要目标是使机器人能够与人类交互和协作。虽然近年来在无需人类参与的机器人技能学习方面已有突破,但在泛化的人机协作上仍存在不足。本报告介绍了一种新的思路:在虚拟环境中大规模采集和模拟人类交互行为,建立以人为中心的仿真器,从而训练可扩展的人机协作技能。通过动态任务和动作规划生成高质量示例,机器人能够在虚拟场景中习得可迁移的能力,为真实世界中的人机协作提供了强有力的范式支持。

格式:
视频
基于预训练大模型的三维场景生成与交互

本报告介绍了预训练大模型在三维场景生成与交互中的最新应用。大模型在内容生成与语义理解方面展现出巨大潜力,突破了固定数据集和标签的限制,能够支持基于文本描述的场景生成、图像属性迁移的场景编辑,以及语言指令驱动的物体抓取等操作。特别是在复杂室内场景中,该技术可以处理多物体与空间关系问题,为虚拟现实和具身智能的结合提供了更加开放和高效的研究平台。

格式:
视频
生成式大模型驱动的具身智能大规模高质量数据合成开源平台

本报告介绍RoboTwin 2.0开源平台—基于生成式大模型构建“仿真→合成→训练→迁移”闭环的具身智能数据引擎。平台通过多模态大模型自动生成任务代码(闭环迭代优化成功率提升50%),结合五维域随机化方案(覆盖物体分布、动态光照、多模态背景、桌面位姿及语义指令扰动)合成高保真仿真数据,并开放包含147类731个精细标注物体的标准化资产库,为学界与工业界提供可扩展的合成数据基础设施,推动具身智能研究范式革新。

格式:
视频
多模态交互:从人机协同迈向人智协同

本文梳理了多模态交互技术的发展脉络:从语音、手势、眼动等传统方式,到融合大模型的人智交互新范式。研究重点关注交互情境感知与用户意图理解,结合70篇相关文献,展示了医疗、教育、日常生活中的典型应用案例。结论指出,多模态交互正朝着智能化方向演进,但仍存在缺失补偿、意图模糊处理等挑战。未来研究应聚焦于优化机制、提升理解精度并引入具身化设计,从而更好地支持不同任务并推动规模化落地。

格式:
文章

本期编委成员