CNCC | 具身智能

蒋树强

CCF多媒体技术专业委员会秘书长

中国科学院计算技术研究所研究员/博导

国家杰出青年科学基金获得者，国际期刊ACM ToMM编委，研究方向为多媒体内容分析与多模态智能技术，主持承担科技创新2030-“新一代人工智能”重大项目、国家自然科学基金等项目20余项，共在IEEE/ACM汇刊和CCF-A类会议上发表论文80余篇，获授权专利20项，先后获CCF科学技术奖、中国图象图形学会自然科学二等奖、吴文俊人工智能自然科学一等奖和北京市科技进步二等奖。

杨易

浙江大学教授

浙江大学求是讲席教授（二级教授）/博导、计算机学院副院长、微软-教育部视觉感知重点实验室主任，人工智能省部共建协同创新中心副主任。主要研究方向为人工智能及其应用。所发论文Google Scholar引用5万7千余次，H-index 112，近5年连续入Clarivate Analytics全球高被引学者，CSRanking AI贡献指数全球第六。曾获教育部全国优博、澳大利亚科研终身成就奖、澳大利亚计算机学会颠覆创新金奖、谷歌学者研究奖，浙江省自然科学一等奖等20余次AI领域国际奖项。国际科研竞赛中累计获得40余次奖项（含20余次世界冠军）。

知识与大模型驱动的具身智能

以大模型为代表的最新人工智能技术成为引领世界新一代产业变革的核心驱动力，将极大推动智能机器的社会化应用，也为强调身心一体的具身智能研究带来了广阔的发展空间。然而，当前的具身智能体，虽然建立在神经网络强大的表达和学习能力基础之上，却面临着缺乏知识推理、难以与人沟通交互、无法解释决策机理等瓶颈。在人工智能领域新变革与大模型时代的背景之下，本次讲座围绕“知识与大模型驱动”的全新具身智能范式，介绍本团队近期开展的研究工作，介绍如何将人类逻辑知识以及大模型与具身智能体结合，提高具身智能体在感知、推理等方面的智能水平，以及与人类沟通、协作的能力。

卢策吾 

上海交通大学教授/博导

2016年海外高层次青年引进人才，2018年被《麻省理工科技评论》评为35位35岁以下中国科技精英，2019年获求是杰出青年学者，2020年获上海市科技进步特等奖，2022年获教育部青年科学奖，IROS最佳论文之一，2023年获机器人顶会RSS最佳系统论文提名奖，科学探索奖。以通讯作者或第一作者在《自然》，《自然·机器智能》，TPAMI等高水平期刊和会议发表论文100多篇；担任Science正刊，Nature子刊，Cell子刊等期刊审稿人，NeurIPS，CVPR，ICCV，ECCV，IROS，ICRA领域主席。研究兴趣包括具身智能，计算机视觉。

具身智能-感知(P), 想象(I), 执行(E), PIE方案与具身大模型探索

该讲座介绍讲者具身智能PIE方案。P（Perception）介绍讲者机器人全感知与交互感知工作。I（Imagination）介绍讲者的物理世界概念驱动仿真推理框架。E（Execution）介绍讲者的通用元操作技能设想与工作。基于上述三个模块，介绍具身PIE大模型探索与初步成果。最后介绍具身认知智能工作，如何验证脑神经行为与身体行为稳定隐射关系。

王鹤

北京大学教授

王鹤博士是北京大学计算机学院前沿计算研究中心的助理教授和博士生导师。他创立并领导了北大具身感知与交互实验室(EPIC Lab),重点关注具身机器人在三维复杂环境中的可泛化感知和交互问题。他于CVPR、ICCV、ECCV、ICRA等顶级会议和刊物发表40余篇工作，获得世界人工智能大会优秀青年论文奖，ICRA 2023杰出操作论文提名奖，Eurographics 2019最佳论文提名等。他于2021年从斯坦福大学获得博士学位，师从美国三院院士Leonidas. J Guibas教授，于2014年从清华大学获得学士学位。

面向家用服务机器人的具身智能探索

具身智能（Embodied AI）是当下计算机视觉、机器人学等的前沿交叉领域，致力于发展可以与真实世界进行物理交互的机器人智能体。在众多具身智能的应用中，智能家用服务机器人是其终极梦想之一，将提升人们的生活水平、有助于解决养老等重大社会需求。本次报告我将结合通用服务机器人技术最新进展，探讨基于三维视觉的可持续扩增具身智能发展道路。报告围绕构成通用家用机器人的关键任务和技术，包括材质无关的通用物体抓取学习、可泛化物体操纵学习、灵巧手操作以及基于三维感知的寻物导航策略学习。

孔涛 

字节跳动人工智能实验室研究员

博士，字节跳动人工智能实验室研究员，机器人研究负责人。致力于研究可交互可操作的下一代智能机器人。在机器人和人工智能领域发表国际会议和期刊论文40余篇，获得超过8000次的谷歌学术引用。获得2020中国人工智能学会优秀博士学位论文提名奖、2016年IROS机器人抓取与操作竞赛冠军、2022年Habitat机器人主动语义导航挑战赛冠军等荣誉。担任国际会议NeurIPS 2023领域主席，以及多个顶会的审稿人、程序委员。

让机器人更聪明：从感知到操作

近一两年基础模型在自然语言处理、计算机视觉等AI领域取得了比较大的成功。一个自然的问题是，基础模型是否会对机器人领域产生大的变革呢？本次报告将从感知、交互和操作的角度，介绍在机器人基础模型的最新研究工作。进一步介绍如何利用大数据、自监督基础模型来大幅度提升机器人的智能化程度，使机器人具备多种任务，尤其是抓取操作上的泛化性。

宋新航

中国科学院计算技术研究所副研究员

于2017年博士毕业于中国科学院大学，获2017中科院院长特别奖，2019中国图象图形学学会优博，也曾获2022北京市杰青、2017博新计划支持。主要研究方向为多模态场景理解与视觉导航，曾在IEEE TPAMI, TIP, CVPR, ICCV, NeurIPS等ACM\IEEE汇刊与CCF-A类会议发表论文20余篇。曾获2020中国图象图形学学会自然科学二等奖、2021北京市科技进步二等奖，也曾获CVPR21视觉导航竞赛冠军。曾任软件学报客座编委，CVPR、ICCV、NeurIPs、ICML等多个学术会议审稿人。

开放场景具身导航

具身导航任务要求智能体在不同环境中找到给定的目标。传统方法一般对于更开放环境效率不佳。面向开放场景视觉导航的新环境、新目标泛化，以及多目标探索等问题，提出了场景知识引导具身导航模型，包括场景知识图的构建与在线更新技术、场景与行为的因果分析，以及基于场景知识的长短期自适应策略等技术，并在新环境、新目标、多目标等开放场景导航任务中验证了方法有效性。