返回首页
基础模型时代下的自监督学习：核心方法、理论原理与前沿方向｜CNCC Tutorial
CNCC2026将于10月21—24日在成都举办。今年将继续推出Tutorial，本篇介绍的Tutorial是——基础模型时代下的自监督学习：核心方法、理论原理与前沿方向
Tutorial是由领域内专家主讲，面向全体参会者开放的专题讲座或教学环节，旨在介绍研究领域的最新进展或基础知识，内容涵盖原理、挑战、方法等。可以帮助刚进入该方向的博士生、青年学者快速补齐知识短板，以便更好地参会后续的前沿报告理解与未来方向思辨。
今年Tutorial共设置11大主题板块：AI基础模型、机器学习理论与机理、强化学习与推理、视觉多模态与世界模型、AI安全与治理、数据科学与数据空间、机器人与具身智能、Agent智能体、新型计算与网络架构、AI4Science、AI+行业。
（扫码报名）
模块 | 时长 | 内容 |
1. 基础模型与自监督学习概览 | 45min | 介绍基础模型在视觉、语言、多模态和等领域的发展，以及自监督学习在基础模型预训练中的核心作用。回顾从传统深度学习、无监督学习、到基础模型范式的转变，并说明其对机器学习理论的挑战。 |
2. 自监督学习的理论原理 | 45min | 介绍联合嵌入式方法与生成式方法。联合嵌入式方法包括对比学习、非对比学习和正则化方法，如SimCLR、CLIP、BYOL、DINO、Barlow Twins、VICReg 等；生成式方法包括 BERT、MAE、BEiT、GPT等。 |
3. 自监督学习的理论原理 | 45min | 介绍信息论视角和谱图理论视角。信息论部分包括InfoNCE、InfoMax、等；谱图理论部分介绍 数据增广图框架，并说明如何统一分析联合嵌入式和生成式自监督学习方法。 |
4. 基础模型时代的自监督学习前沿 | 45min | 介绍基础模型时代自监督学习的前沿方向，重点围绕后训练中的自监督范式转化、世界模型中的动态表征学习，以及特征可解释性、单语义性与可控表示等问题展开。 |
5. 技术问答与开放讨论 | 30min | 回答参与者关于方法、理论和未来方向中的问题。 |
Tutorial简介
近年来，基础模型正在快速改变机器学习的发展范式，并在自然语言处理、计算机视觉、多模态学习等领域取得了显著进展。自监督学习是支撑这一变革的核心技术：模型通过在海量无标注数据上进行预训练，学习通用表示与基础能力，再通过微调或指令调优适配具体任务。这一“预训练—微调”范式不同于传统机器学习中基于同分布假设的经验风险最小化框架，也带来了新的理论问题和方法挑战。本Tutorial将围绕“基础模型时代下的自监督学习”展开，系统介绍自监督学习的代表性方法、理论基础与前沿方向。
Tutorial目标
参与者将能够：
系统理解基础模型时代自监督学习的基本范式
掌握预训练—微调范式与传统监督学习/经验风险最小化框架之间的差异。
掌握基础模型中常用的自监督学习方法
包括对比学习、非对比学习、正则化式联合嵌入方法、掩码重建方法和自回归生成式方法。
理解自监督学习的主要理论分析工具
包括信息论、谱图理论和数据增广图框架，并能够用这些视角分析不同自监督学习方法之间的联系。
了解基础模型时代自监督学习的前沿问题
包括世界模型、上下文学习、特征可解释性与表示学习的未来发展方向。
讲者介绍
北京大学助理教授
王奕森，北京大学助理教授，研究方向主要包括表示学习、自监督学习、可信机器学习。他曾获得 ECML-PKDD 2021 Best Paper Award 和 ICML 2021 Workshop Silver Best Paper Award，并担任 NeurIPS Senior Area Chair。他曾在USC、UCSD、NYU、CMU、JHU、UC Berkeley等高校进行关于自监督学习理论理解的邀请报告，并具有丰富教学经验，曾讲授本科生课程《可信机器学习》和研究生课程《高级机器学习》。
演讲题目：自监督学习的理论机制
摘要：本报告将聚焦自监督学习的理论基础，介绍如何从信息论、谱图理论和泛化分析等角度理解现代自监督学习方法。报告首先讨论自监督学习为何能够从无标注数据中学习可迁移表示，并介绍信息最大化、InfoNCE、InfoMax、MINE等信息论视角下的核心概念。随后，报告将介绍数据增广图和谱图理论框架，说明其如何统一解释对比学习与生成式自监督学习方法。在此基础上，报告还将结合掩码建模和多模态对齐等代表性方法，讨论自监督学习的泛化机制、表示结构和理论挑战，帮助听众建立对基础模型预训练原理的系统理解。
北京大学博士生
章祺，北京大学博士生，研究方向聚焦自监督学习的理论机制与方法设计，主要关注如何通过理论分析揭示自监督学习的工作原理，并基于理论洞察设计新的自监督学习方法。他已在NeurIPS、ICLR、ICML、JMLR等机器学习顶级会议和期刊上发表并展示12篇论文，相关工作建立了掩码自编码器和多模态对比学习泛化性的首个理论保证。他曾担任 NeurIPS、ICLR、ICML 等会议审稿人。同时，他是IJCAI-25 Tutorial “Principles of Self-supervised Learning in the Foundation Model Era”的讲者之一。
演讲题目：基础模型时代自监督学习的前沿方向与未来展望
摘要：本报告将面向基础模型时代自监督学习的前沿方向与未来发展展开讨论。在前序报告介绍自监督学习的方法体系与理论基础之后，本报告将进一步分析自监督学习在基础模型研究中的开放问题，包括基础模型后训练阶段中的自监督范式转化、自监督学习在世界模型发展中的关键作用，以及自监督模型在特征表示、可解释性方面的新挑战。报告将重点讨论：在大模型后训练过程中，如何从传统的无标注预训练扩展到经验反馈、自我改进和持续学习等新型自监督信号；在世界模型中，如何通过自监督学习建模环境动态、长期依赖和可规划的潜在表示；以及在基础模型表征分析中，如何理解特征单语义性、表示解耦和鲁棒泛化之间的关系。
欢迎参加CNCC2026 CNCC是一个宏观论述技术趋势的大会，具有规格高、规模大、内容丰富等特点，会议形式包括大会特邀报告、大会论坛、专题论坛、特色活动及展览。大会汇聚两院院士、国内外顶尖学者、知名企业家等亲临大会，展望前沿趋势，分享创新成果。ACM、IEEE CS、IPSJ、KIISE等国际计算机组织的代表也多次获邀现场参加这一盛会。CNCC2026将于10月21-24日在四川省成都市举办，大会主题是“数聚驱动，智算未来”，欢迎各界前来参会。
京公网安备 11010802032778号
