数智时代“承上启下者”：大模型基础软件的挑战与展望 | CNCC

CCF开源发展技术委员会委员，开源鸿蒙项目群技术指导委员会主席，上海交通大学特聘教授、国家杰出青年基金获得者，ACM & IEEE Fellow，ACM SIGOPS主席。主要研究领域为操作系统、分布式系统与系统安全，研究成果通过产学研深度结合被应用到数十亿设备，产生了广泛的学术与产业影响。曾获中国计算机学会科技进步特等奖、陈嘉庚青年科学奖（信息技术科学奖）、中国青年科技奖、教育部技术发明一等奖、全国优秀博士学位论文奖等。目前担任ACM SIGOPS首位非北美学者主席、ACM旗舰杂志Communications of the ACM首位中国学者编委与领域共同主席、ACM EuroSys 2025程序委员会共同主席。研究工作还获得了华为卓越贡献个人奖，SOSP、ASPLOS、EuroSys、VEE等最佳论文奖以及DSN“时间检验奖”、CACM研究亮点奖等。按照csrankings.org的统计，其近十年在操作系统领域顶会SOSP/OSDI上发表的论文数居世界第一。主持撰写的《现代操作系统：原理与实现》获得了2020年度“最受读者喜爱的IT图书奖”与2022年上海交通大学优秀本科生教材奖（新版更名为《操作系统：原理与实现》）、以及机工科技--2023年度计算机领域十大好书，被高校、科研机构与企业广泛采用。他也是华为公司Fellow、基础软件首席科学家、公司软件总专家组长、中央软件院副总裁。

报告题目：端侧高效智能：模型与系统的协同之道

摘要：大模型入端正成为智能计算的重要趋势，在隐私保护、响应时延和运行成本等方面展现出显著优势。然而，端侧设备受限于存储带宽低、算力弱、功耗严苛等现实约束，端侧智能面临“螺蛳壳里做道场”的困境——如何在极有限的资源下实现高效能与高智能的统一，成为核心挑战。本报告将系统剖析大模型端侧智能（如推理，Agent等）的关键瓶颈，提出以算力-模型协同为核心的设计理念。通过打破传统“模型优先、算力适从”的思维定式，从模型训练、推理框架、芯片结构等层面重构数据流动、内存访问与计算调度的协同机制，在软硬件交界面实现深度优化。该方法旨在构建资源感知、动态适应的端侧推理架构，为模型原生操作系统的设计与实现提供可行路径。

复旦大学先进计算系统研究院院长，北京大学计算机学院软件科学与工程系主任，上海开放计算系统研究院院长，上海开放处理器产业创新中心秘书长，北京开源芯片研究院首席科学家，国家高等学校学科创新引智基地负责人。曾任美国伊利诺伊大学香槟分校（UIUC）计算机系正教授。当选欧洲科学院外籍院士、国际计算机学会（ACM）会士、电气电子工程师学会（IEEE）会士、美国科学促进会（AAAS）会士、中国电子学会会士。曾获科学探索奖，海外杰出青年科学基金，美国国家自然科学基金青年职业奖，国际计算机学会软件工程领域（ACM SIGSOFT）三大国际奖项中的两项（有影响力教育工作者奖、杰出服务奖；每个奖项全球通常只有一名年度获奖人），IEEE软件工程领域（TCSE）杰出服务奖，软件仓库挖掘奠基性贡献奖，软件工程顶级国际会议ASE 2021最有影响力论文奖等。担任RISC-V+AI算力生态（RACE）委员会主席，RISC-V国际基金会人工智能与机器学习专委会（AI/ML SIG）主席，2020年中国计算机大会程序委员会主席，软件工程顶级国际会议ICSE 2021程序委员会共同主席，2024年RISC-V中国峰会大会共同主席等。

报告题目：面向大模型的分布式版本控制基础软件

摘要：近年来，大模型在研究界和产业界引起了广泛关注，并逐渐成为各行业数字化转型的核心技术。作为一种全新的智能软件形态，大模型的协同开发与版本管理对基础软件提出了前所未有的挑战。传统软件开发中，版本控制基础软件为大型复杂软件系统的分布式协同开发提供了重要支撑，使得多个开发团队能够并行工作、有效管理版本和解决冲突。然而，大模型开发仍然缺乏类似的基础软件支撑，主要依赖孤岛式的单点训练模式。本报告将介绍我们在面向大模型分布式版本控制基础软件方面的探索，包括针对大模型参数空间的智能合并机制、多团队协作开发的冲突检测与解决策略，以及支撑大规模模型版本管理的分布式架构设计。报告还将探讨大模型开发与传统软件开发的异同，讨论如何构建支撑大模型"协作智能"开发模式的基础软件生态，以及这一基础设施对推动AI技术民主化和产业化的重要意义。

北京大学博雅特聘教授、计算机学院长聘教授、人工智能研究院双聘教授，国家杰出青年科学基金获得者，ACM杰出科学家。主要研究方向为系统软件，近年来主要研究兴趣是大规模分布式智能计算系统，包括大模型系统、泛在智能体系统、云计算系统等。在SOSP/OSDI/ASPLOS，SIGCOMM/NSDI/MobiCom/MobiSys，ICSE/FSE，WWW/IMC/SIGMETRICS等发表论文100余篇，获国际万维网大会WWW最佳论文奖（Best Paper Award，中国首个）、《Science China Information Science》5年高影响力论文奖（Five-Year High Impact Paper Award）、ICSOC杰出论文奖（Distinguished Paper Award）等10余次国际期刊/会议优秀论文荣誉。

报告题目：高效能大模型推理服务系统的研究与实践

摘要：随着大模型开始逐渐进入到各个行业，如何保障不同场景下大模型推理的服务水平目标（SLO）的同时提高吞吐量是大模型服务系统构造的核心关键问题。本报告将从大模型推理服务的特点出发，介绍高效能的大模型推理服务系统--泛睿及其关键技术，包括：（1）面向多LoRA大模型的动态编排技术，通过动态编排请求和LoRA适配器，提升LoRA大模型推断服务的效率；（2）预填充与解码计算解耦分离技术，旨在通过为两个阶段动态调整资源分配与并行策略，优化LLM推断服务的性能；（3）可变长度窗口弹性序列并行技术，以弹性适应不同对话窗口长度请求和阶段之间的变化性。实验结果表明，泛睿系统可以有效地提升GPU资源利用率，降低推理服务延迟，相对vLLM等基线系统吞吐量提升1个数量级。

清华大学计算机系长聘教授、博士生导师、高性能计算所所长。兼青海大学计算机技术与应用学院院长。国家杰出青年科学基金获得者。新一代人工智能国家科技重大专项指南组副组长、CCF高性能计算专委副主任、CCF杰出会员。主要研究领域包括并行计算、编程模型与编译器。主持国家重点研发计划、国家自然科学基金重点等科研项目。发表学术论文100余篇，出版专著1部。研究成果获IEEE TPDS 2021最佳论文奖、IEEE CLUSTER 2021最佳论文奖、ACM ICS 2021最佳学生论文奖等。担任《计算》专栏主编、IEEE Transactions on Computers等多个国际学术期刊编委。担任清华大学学生超算团队教练，指导的团队十五次获得世界冠军。获教育部科技进步一等奖、中国计算机学会自然科学一等奖、CCF-IEEE CS青年科学家奖、青海省昆仑英才高端创新创业人才、高校计算机专业优秀教师奖励计划，大川基金。

报告题目：大模型推理系统加速技术

摘要：大模型赋能千行百业，其推理系统作为支撑引擎，面临着推理成本高的挑战。本报告将从内存管理、编译优化、模型量化和并行策略四个关键维度，深入剖析大模型推理系统的关键技术。本报告将探讨高效的内存管理方法、编译优化、模型压缩与量化，以及并行推理策略，为构建高效、低成本的大模型推理系统提供参考。同时，我们针对国产智能算力研制了“赤兔”大模型推理引擎，有效提升国产算力上大模型的推理效率。

CNCC2025将于10月22-25日在哈尔滨举办。专题论坛将在往年多样化主题的基础上，首次通过“基础-前沿-未来”的一体化设计，满足不同背景参会者的需求，构建从知识获取到创新激发的完整路径，打造系统化、进阶式的参会体验。重点设置9大主题板块，每个主题板块的专题论坛由三大核心模块组成：面向前沿领域的体系性Tutorial、聚焦前沿突破的专题论坛以及探讨未来发展路径的思辨论坛。