联邦大模型与持续学习 | CNCC Tutorial

杨强教授，现为加拿大工程院（CAE）及加拿大皇家学院（RSC）院士、香港理工大学人工智能高等研究院及香港理工大学联邦学习研究院院长、中国人工智能学会（CAAI）副理事长，也是 CAAI、AAAI、ACM、IEEE、AAAS 等多个国际学会的 Fellow。他是国际顶级期刊《ACM TIST》和《IEEE TRANS on BIG DATA》的创始主编。其研究领域聚焦于迁移学习与联邦学习的研究及应用，著有《迁移学习》《联邦学习》《隐私计算》等。他此前曾任香港科技大学教授（荣休）、微众银行首席人工智能官（荣休），还曾担任 AAAI-2021 大会主席、国际人工智能联合会（IJCAI）理事会主席，并先后荣获 2017 年“ACM SIGKDD”杰出服务奖与 2023 年“IJCAI Donald E.Walker”杰出服务奖。

演讲题目：联邦学习与联邦大模型

摘要：随着大模型的发展，人工智能（AI）进入了一个新时代。大模型在具体应用时的一个挑战是如何把通用大模型的知识迁移到本地化的小模型上，同时保护各方的隐私和数据安全。本报告将讨论如何在大模型的背景下使用“联邦大模型”的框架进行大模型的本地化。首先回顾 AI 的发展和联邦学习的概念，然后讨论如何把联邦学习、迁移学习和大模型有机地结合，使得大模型的落地应用更加顺畅和便捷。

童咏昕，北京航空航天大学教授，博士生导师，国家杰出青年科学基金、优秀青年科学基金获得者，现任计算机学院副院长、中国人工智能学会（CAAI）智能服务专委会副主任、中国计算机学会（CCF）会员与分部工委副主任、杰出讲者和 CCF 走进高校工作组组长。2014 年于香港科技大学获计算机科学与工程学博士学位，2015 年入选北京航空航天大学“卓越百人计划”。主要研究方向包括：联邦学习、大模型智能体、大模型的数据引擎、向量数据库系统等。近年先后发表 TODS、VLDBJ、TKDE、SIGMOD、SIGKDD、VLDB 等大数据与人工智能领域国际顶级会议/期刊论文 100 余篇，谷歌学术引用 1.7 万余次；主持国家自然科学基金青年 A 类（原杰青）项目、B 类（原优青）项目、重点项目、国家重点研发计划课题等。获中国电子学会自然科学一等奖（排名 1）和青年科学家奖、首届阿里巴巴达摩院“青橙奖”、国际基础科学大会前沿科学奖、ACM KDD China 青年科学家奖和多个国际一流学术会议/竞赛的最佳论文与冠军等奖励，入选“2022 年度高校计算机专业优秀教师奖励计划”；担任中国科技期刊卓越行动计划领军期刊《Frontiers of Computer Science》的执行编委、大数据领域 CCF-A 类期刊《IEEE TKDE》与《PVLDB》的编委、大数据领域重要国际会议 DASFAA 2024 会议的程序委员会主席（PC Chair）。

演讲题目：联邦智能计算——从大数据到大模型

摘要：在互联网公域数据的支撑下，GPT、DeepSeek 等大模型快速发展。然而，如何激活互联网中占比 90%以上的私域大数据，构建可发挥跨域大数据价值的联邦大模型，是进一步突破大模型数据瓶颈的关键。本报告关注联邦计算的发展历程：首先，回顾数据联邦与联邦学习技术；然后，聚焦于联邦计算从大数据到大模型时代的范式转变，从大模型可采用的训练信号类型出发，介绍联邦大模型的指令微调（Instruction Tuning）、适配学习（Adapter Learning）、知识蒸馏（Knowledge Distillation）等关键技术；最后，报告将剖析联邦大模型技术在智慧医疗、工业软件等行业的应用示范，并对该领域的未来发展进行展望。

叶芒，武汉大学计算机学院教授、国家高层次青年人才，科睿唯安全球高被引科学家。长期从事多模态计算、联邦学习等领域研究，以第一/通讯作者发表 CCF-A 类论文 100 余篇，谷歌学术引用 2 万余次。担任 CCF-A 类 IEEE TIP、IEEE TIFS 等期刊编委，CVPR、ICLR、ICML 等顶级会议领域主席等学术职务。主持国家重点研发计划、国自科-香港联合基金等科研项目。牵头获中国图像图形学会科技进步一等奖、吴文俊人工智能自然科学二等奖。

演讲题目：领域自适应联邦大模型微调

摘要：大模型应用面临“公域有算无数、私域有数无算”瓶颈，联邦大模型微调为垂域大模型应用突破“数据受限”与“隐私合规”困局提供了一种新的学习范式。联邦大模型微调主要面临两大挑战：一是如何在保护数据隐私的前提下实现高效的知识更新和领域自适应微调，二是如何在分布式环境中保证模型的可信泛化能力，有效应对数据异构与噪声干扰等问题。本次报告首先概述联邦大模型微调背景，然后分享我们团队在联邦大模型微调的最新进展，探索领域可泛化、模态可对齐、噪声可平衡、任务可持续的自适应联邦大模型高效微调方法，最后进行未来展望。

杨新，西南财经大学计算机与人工智能学院副院长、教授、博士生导师，互联网金融创新及监管四川省协同创新中心主任，长期从事机器学习、数据挖掘与金融科技等研究，聚焦人工智能理论和方法在金融风控、合规审查、财务监管等场景的研发应用，入选“全球前 2% 顶尖科学家榜单”和“天府青城计划”科技创新领军人才，成都市科技青年联合会副主席，中国计算机学会（CCF）杰出会员和杰出传播者，CCF成都代表处副主任（执行），YOCSEF 成都学术委员会（22-23）主席，CCF 数字金融分会常务委员，CCF 大数据专委会执行委员，CCF 大模型论坛执行委员，中国人工智能学会（CAAI）高级会员和粒计算与知识发现专委会常务委员，四川省人工智能学会常务理事等，主持国家自然科学基金、教育部和省科技厅等科研项目 10 余项，在 IEEE TPAMI、IEEE TKDE、CVPR、KDD、ICLR、ACL、WWW、AAAI、MM、IJCAI 和中国科学：信息科学、计算机学报、软件学报等 CCF 推荐高水平期刊/会议发表论文 100 余篇，主编教材/专著/译著 7 部，授权国家发明专利 20 余项，担任国际杂志 Human-Centric Intelligent Systems（EI 检索）执行主编和 10 余个国际会议主席、程序委员会主席等，自主研发并发布了国内首个会计教育垂直领域大语言模型 AccMind 和数智会计教育平台“智会”，相关成果曾获四川省科技进步二等奖/三等奖、吴文俊人工智能科技进步二等奖和CCF科技进步三等奖等。

演讲题目：联邦持续学习

摘要：联邦学习采用“数据不动、模型动”的模式，实现隐私保护下的空间维度协同建模；持续学习侧重模型在时间维度的知识累积、迁移和校正以及灾难性遗忘等难题。报告将剖析两类范式各自的特点优势与局限，引出“联邦持续学习”这一融合时空维度的新型群智协同机器学习范式，梳理联邦持续学习的理论框架、核心算法与前沿研究进展，介绍其在金融风控、合规审查、财务监管等行业场景的落地应用，最后谈谈该方向现存挑战和未来技术发展路径。