YEF2025 | 大模型关键技术分析—理论、架构、推理与应用

中国人民大学高瓴人工智能学院，长聘副教授，博士生导师，国家级高层次青年人才，YOCSEF总部AC。长期从事机器学习基础理论研究，共发表论文100余篇，其中以第一作者/通讯作者发表顶级期刊和会议论文近50篇，涵盖机器学习领域顶级期刊JMLR、IEEE TPAMI、Artificial Intelligence和顶级会议ICML、NeurIPS等。主持/参与国家自然科学面上/基金青年、科技部重点研发、北京市科技计划中央引导地方专项、北京市面上等项目。

浙江大学计算机学院副教授，博士生导师，人工智能系副主任，YOCSEF杭州候任主席。主要研究方向为因果推理、因果人工智能和智慧司法。在Cell Patterns, TPAMI, TKDE, ICML, NeurIPS, KDD等相关领域顶级期刊及会议上发表论文100余篇。作为项目/课题负责人承担国家重点研发专项、国家自然科学基金等项目，曾获ACM SIGAI中国新星奖，中国科协青年人才托举工程项目，吴文俊人工智能科技进步一等奖，教育部科技进步一等奖，中国电子学会科技进步一等奖。

清华大学交叉信息研究院长聘教授，博士生导师。研究方向为理论计算机科学、人工智能基础理论、金融科技。在主流国际会议和杂志上发表了100余篇论文，并获得了数据库顶级会议VLDB和欧洲算法年会ESA的最佳论文奖、数据库理论会议ICDT最佳新人奖、多篇论文入选口头报告或亮点论文。入选国家级青年人才计划。曾主持或参与了多项自然科学基金项目及企业合作项目。

题目：通过压缩理解大型语言模型行为：数据生成、知识获取与扩展律

摘要：大型语言模型在众多任务上展现了卓越的能力，但对于其底层机制以及诸如扩展律、幻觉现象、上下文学习等仍缺乏理论解释。基于Kolmogorov复杂性和Shannon信息论，将LLM预测下一个token的过程视为压缩中的二部编码，并基于该视角揭示了模型在规模增长时从句法模式到稀有知识的学习过程。提出了“句法-知识“的语言生成模型，并在贝叶斯框架下证明了压缩导致了LLMs的扩展律、并解释了LLM知识获取过程及产生幻觉的部分原因。

华中科技大学电信学院教授博导，入选国家级青年人才计划，现任Image and Vision Computing期刊共同主编。主要从事基础模型、视觉表征学习、目标检测分割跟踪等领域研究、在IEEE TPAMI、IJCV、CVPR、ICCV、NeurIPS等顶级期刊会议发表学术论文80余篇，谷歌学术引用4万余次。入选了中国科协青年人才托举工程，获湖北青年五四奖章、CSIG青年科学家奖，吴文俊人工智能优秀青年奖，CVMJ 2021最佳论文奖，湖北省自然科学二等奖等。

题目：基于线性架构的多模态理解与生成模型研究

摘要：多模态大模型是通往通用人工智能的一个关键路径，如何打造轻量化高效率的多模态大模型是一个关键问题。近期，状态空间模型（SSM） 、门控线性注意力（GLA）的等线性模型为打造轻量化多模态大模型提供了一个十分可行的路径。本次报告将介绍线性模型的发展脉络，并探讨如何基于线性模型来构建性能领先的视觉理解模型、视觉生成模型、生成理解一体化模型和原生多模态模型。

华为诺亚决策推理实验室主任，天津大学智算学部教授。主要研究方向为强化学习、具身智能。发表人工智能领域CCF-A类国际会议和期刊论文100余篇，专著2部。 获得国家自然科学基金委优青、国家科技部2030人工智能重大课题、基金委人工智能重大培育等项目资助10余项，研究成果荣获国际会议最佳论文奖3次，NeurIPS 20-22大会竞赛冠军4次。相关成果在国产工业基础软件智能化、自动驾驶、游戏AI、广告及推荐、5G优化、物流调度等领域落地应用。

题目：具身智能大模型Scaling Law

摘要：在人工智能技术高速迭代的时代浪潮中，本报告将首先深入解读语言和多模态大模型的发展背景与核心基础，剖析其底层技术逻辑。而后，聚焦于具身智能大模型领域，探讨其在环境感知、行动决策等方面面临的挑战，阐述适用的学习范式，并分享大模型技术推动具身智能发展的前沿成果与未来挑战。

浙江大学研究员，聚焦大模型推理、AI智能体、大小模型协同等研究。近年在国际顶级会议发表近40篇论文，谷歌学术引用2400余次。于国际学术竞赛夺冠1次，GitHub开源项目星标超2万5千次。首创 HuggingGPT智能体系统，设计大小模型协同框架。成果被广泛引用，揽获世界人工智能大会青年优秀论文奖等多项荣誉。担任ACL等国际会议领域主席，获优秀博士学位论文奖等。负责国家重点研发计划课题，参与多项重大科研项目。

题目：从推理到行动：大模型驱动的智能体探索与实践

摘要：随着大语言模型技术的迅猛发展，推理能力已成为智能体构建的核心挑战。本报告将系统介绍推理大模型的发展历程与前沿进展，从思维链与后训练技术的演进，到构建高效推理模型的方法。介绍首创的大小模型协同的HuggingGPT智能体系统，创新地以大模型为控制器，调度专业模型完成复杂推理任务，有效解决了单一模型能力有限的问题。报告还将探讨数据集和评测基准的演进以及多种场景下自主决策的智能体系统，为大模型智能体在实际应用场景中的应用提供理论与实践指导。

西湖大学教授，工学院副院长。2003年获得清华大学计算机科学本科学位，2009年获得牛津大学计算机科学博士学位，2010~2012在剑桥大学从事博士后研究工作。主要研究领域为自然语言处理、语言模型、可信赖的人工智能等。著有剑桥大学出版社《自然语言处理—机器学习视角》，编写牛津参考文献自然语言处理。担任国内外顶级会议CCL 2020、EMNLP 2022程序委员会主席，以及TACL、TASLP等期刊编委。获ACL 2018 (提名)、COLING 2018、IALP 2017、SemEval 2020、ACL 2023(提名)等国际会议的最佳论文奖。入选斯坦福全球2%科学家、爱思唯尔中国高被引学者等榜单。

题目：大模型自动科研

摘要：大模型的推理和思考能力使之成为AI科学家的潜在基础。在本次报告中，将探讨使用大模型完成文献调研、设计和论文写作的自动科研系统。我将首先汇报如何使用语言模型进行相关论文的自动搜索，以及使用大模型做自动文献综述的研究。在此之后，我将介绍使用智能体实现整理古籍著作，通过检索和翻译达到中医药信息标准化国际化的系统。最后，将汇报使用大模型进行科研全流程，形成计算机科学家的尝试。