CNCC | 大小模型端云协同智能计算

吴帆

上海交通大学教授/博导

现为上海交通大学计算机科学与工程系特聘教授、博导、系主任，2020年国家自然科学基金杰出青年科学基金获得者。在移动计算、端智能、大数据管理、智能博弈等领域取得了一系列科研成果，已发表学术论文200余篇，论文发表在JSAC、TON、TMC、TPDS、TOC、TKDE等国际著名期刊，以及MOBICOM、MobiHoc、CoNEXT、INFOCOM、ICDE、VLDB、KDD等重要国际会议，并出版英文专著一部。先后担任IEEE Transactions on Mobile Computing、ACM Transactions on Sensor Networks、IEEE Transactions on Network Science and Engineering、Elsevier Computer Networks编委，以及Journal of Computer Science and Technology青年编委和CCCF专题编委。曾获教育部自然科学奖一等奖2项、ACM中国新星奖、CCF-IEEE青年科学家奖、仲英青年学者、CCF-腾讯犀牛鸟卓越奖、CCF-Intel青年学者提升计划、上海市浦江人才，以及包括IEEE/ACM IWQoS 2020在内的7次国际学术会议论文奖。先后担任ACM中国理事会副主席、CCF上海分部秘书长、CCF YOCSEF上海主席等。作为项目/课题负责人承担科技创新2030“新一代人工智能”重大项目、国家重点研发计划、国家自然科学基金、上海市科委项目20余项。

吴飞

浙江大学教授/博导

现为浙江大学求是特聘教授，博士生导师。主要研究领域为人工智能、多媒体分析与检索。浙江大学上海高等研究院常务副院长、浙江大学人工智能研究所所长。国家杰出青年科学基金获得者（2016年），科技部科技创新2030“新一代人工智能”重大项目管理专家组成员和指南编制专家、教育部人工智能科技创新专家组工作组组长（2018.8-2020.12）、中国工程院院刊《Engineering》信息与电子工程学科执行主编。著有《人工智能导论：模型与算法》和《走进人工智能》（高等教育出版社）。

吴飞

浙江大学教授/博导

端云协同下分布式模型学习与进化

基于深度学习和迁移学习等技术，以“涌现”和“同质化”为特点的大模型或基石模型取得了突出成效。在 “泛在互联、端云协同、AI赋能”时代背景下，将云侧泛化能力与端侧个性化能力结合起来，形成端云协同机器学习计算范式，体现“须弥纳于芥子”的哲学思想，是人工智能成为普惠化能力要解决的关键问题。本报告介绍人工智能历史沿革和端云协同分布式机器学习研究等内容，以不断提升云端协同模式下认知推理能力。

周伯文

清华大学教授/博导

现为清华大学惠妍讲席教授、清华大学电子工程系长聘教授、清华大学电子系协同交互智能研究中心主任、衔远科技创始人，IEEE/CAAI Fellow。周伯文拥有丰富的前沿研究经历与业界经验，他曾任IBM Research人工智能基础研究院院长、IBM Watson Group首席科学家、IBM杰出工程师、京东集团高级副总裁、集团技术委员会主席、云与AI总裁，2022年从产业界回到学术圈。其研究领域包括语音和自然语言处理、多模态与知识表征、理解、生成、推理、人机对话、可信赖AI等，已发表论文百余篇，总引用超16000次，并被授予数十项国内和国际专利。他提出的自注意力融合多头机制的自然语言表征机理后来成为Transformer架构的核心思想之一，被Transformer、GAT等论文引用超2000多次；他提出的在AIGC领域的两个自然语言生成模型架构与算法，被引用3000余次。

迈向以大模型为中心的模型间协同交互学习范式

随着ChatGPT、GPT-4等大型语言模型的广泛应用，AI 正经历由与人竞争向与人协同交互的转变。在AI的协同交互时代，模型间的协同交互成为数据和人类反馈之外的第三种学习范式，有望解决大模型的高效学习、隐私保护以及目标模型在复杂场景中能力不足与缺失等问题。本报告将聚焦大模型的模型间协同交互学习，探讨相关技术在大模型时代的研究范畴，进一步介绍基于网络参数和自然语言进行模型间知识传递的研究工作。前者，我们将重点关注基础模型与下游数据的双向隐私保护问题，通过神经网络相似度分析，提出一种训练无关的模型压缩策略以促进参数迁移。后者，我们通过程序代码解耦大模型的知识和推理能力，实现大模型与小模型间能力专业化迁移，提高小模型在特定任务上性能。最后，我们将展望未来研究方向，讨论以大模型为中心的模型间协同交互学习发展趋势，实现更加智能和高效的人工智能应用。

吴帆

上海交通大学教授/博导

大小模型端云协同智能计算

人工智能的快速发展与广泛应用已成为经济社会发展的强大引擎。大小模型端云协同进化作为人工智能关键前沿技术，可有效克服云侧集中式学习范式在可扩展性、实时性、个性化、负载成本、隐私安全等方面的不足，已成为产学研的焦点，并被Gartner和阿里巴巴达摩院等国内外知名机构预测为革新智能计算范式的科技趋势。本报告将会追寻端智能技术的发展脉络，分享我们团队在端侧智能推理、大规模联合学习以及端云协同分布式智能支撑系统等方面的研究进展。

吕承飞

阿里巴巴淘宝天猫集团资深技术专家

现为大淘宝技术Meta技术负责人，目前负责面向消费场景构建3D/XR基础技术和应用探索。曾参与主导手淘超级App架构升级和演化完整过程，及从0到1构建淘宝端智能技术体系，并在OSDI、MLSys等发表多篇论文。

端云协同机器学习系统的规模化应用实践

移动互联网经过10多年的发展，目前手机已成为覆盖用户最多的消费设备，手机上各类智能化应用涵盖娱乐、社交、电商等不同领域，极大的方便了人们的日常生活。随着手机算力提升及模型小型化等技术逐步成熟，目前手机上智能化应用正从基于云侧的集中式机器学习架构向端云协同机器学习架构演化。本次分享主要介绍淘宝在端云协同机器学习方向的探索，以及在手机淘宝的搜索推荐、直播内容理解等场景的应用示例。

丁瑞全

壁仞科技系统架构副总裁

现为壁仞科技系统架构副总裁，负责AI软件架构相关工作。曾担任百度主任系统架构师，获得过百度技术最高奖和中国国家专利优秀奖。参与主导AI加速基础架构国际标准OAI & OAM。业界首创利用GPU架构解决广告推荐场景10TB级稀疏模型训练挑战，相关成果发表在机器学习与系统领域顶会MLSys上，该工作目前引领了互联网广告推荐领域训练框架技术发展趋势。

壁仞科技大算力通用GPU助力国产大模型创新落地

ChatGPT的成功是工程与算法的协同创新，也是系统级的产品创新。GPT作为ChatGPT的基座，其大规模分布式训练在模型的参数规模、算力规模和训练性能等维度都存在巨大的挑战，大模型的应用落地也存在成本高、延时大的难题。本次报告主要介绍GPT大模型的分布式并行训练策略、如何基于国产大算力通用GPU打造大模型训练系统及低延时高性能的大模型推理引擎，最后分享壁仞在大模型领域的产学研用生态进展。