第二届编译系统前沿技术与应用——大模型时代的编译系统及其应用 | CNCC

在新南威尔士大学悉尼分校领导编程语言和编译器研究组，IEEE会士。于1984年和1987年分别在清华大学获得计算机科学与工程学士和硕士学位，并于1992年在爱丁堡大学获得博士学位。薛教授的研究方向为编程语言、编译器技术和程序分析，其研究工作得到了澳大利亚研究委员会、英特尔、华为、甲骨文和支付宝的支持。薛教授发表了近300篇涵盖基础研究和应用研究的出版物，为编译器优化和程序分析做出了重要贡献。薛教授关于循环分块等专著至今仍是该领域的权威参考书。在其领导下，研究团队开发了SVF——如今已成为C/C++静态分析的基石开源框架，并被广泛应用于编译器优化、漏洞检测和安全应用。研究成果荣获众多殊荣，包括在顶级会议（CGO、ECOOP、ICSE、ASE和ISSTA）上获得最佳论文奖，以及在CGO2021上荣获最具影响力的论文奖。曾担任LCTES'13、CC'18、CGO'20和CGO'24等会议的程序主席，并担任200多个会议的程序委员会成员，其中包括 PLDI、POPL、OOPSLA、ECOOP、CGO和CC。已指导33名博士生毕业，目前指导8名博士生和4名博士后研究员。

报告题目：全同态加密(FHE)下加速加密机器学习推理的编译器技术

摘要：全同态加密(FHE)通过对加密数据进行计算，实现了隐私保护的机器学习。然而，其巨大的计算开销仍然是实际应用的主要障碍。本次演讲详细介绍了我们最近在新南威尔士大学与蚂蚁集团等机构合作开展的、用于在FHE下加速加密机器学习推理的编译器技术方面的工作。我将首先概述核心优化挑战，包括性能瓶颈和可编程性限制。然后，我将探讨最先进的解决方案，并介绍我们的编译器优化：数据布局转换、重新缩放和引导支持，以及它们与ANT-ACE（蚂蚁集团的开源FHE编译器框架）的集成。最后，我将讨论使基于FHE的机器学习推理在实际部署中切实可行的关键挑战。

北京邮电大学计算机学院(国家示范性软件学院)拔尖人才教授，博士生导师，IEEE高级会员，入选国家高层次青年人才计划，获评CCF高性能计算“卓越青年”，获华为“火花奖”。研究方向为高性能计算与大模型系统，多次获得顶级学术会议最佳论文提名(SC'21-大模型双向流水线并行系统Chimera、SC'22-张量核心上高性能稀疏矩阵计算Magicube、PPoPP'20-同步松弛全局归约并行训练算法Eager-SGD、HPDC'13-混合存储架构上高性能MPI通信库等), 获MLSys'21杰出论文奖，SC'22最佳结果复现奖，CACM研究亮点工作，多项成果在企业应用。担任SC、PPoPP、IPDPS、ICPP等重要学术会议TPC委员40余次。指导学生参加2025 ASC世界大学生超级计算机竞赛，总决赛第3名，获一等奖。

报告题目：Hypertron: 大模型高效可扩展高维并行训练系统

摘要：大模型的多样化架构和长上下文处理对并行训练提出巨大挑战，现有并行策略由于维度受限往往难以高效扩展。为此，我们提出Hypertron，一个高效可扩展的大模型并行训练框架。Hypertron创新性地提出大模型7维并行化空间，结合维度融合方案和性能预测模型，实现对高维并行空间的探索与挖掘，从而大幅降低内存与通信开销，提升并行可扩展性。在昇腾CloudMatrix 384超节点机器上的实验测试表明，在2048个NPU加速芯片上，Hypertron千亿规模大模型训练实际计算效率MFU可达56.7%，相比SOTA框架实现1.33x加速。Hypertron已被SC 2025录用。

中科院计算所编译团队的负责人，她的研究方向为面向人工智能和异构体系结构的编译技术，先后在PLDI、ASPLOS、OSDI、MICRO、PPoPP、SC等国际会议和期刊上发表论文三十余篇，先后承担2030新一代人工智能重大专项项目、国家自然科学基金、科技部重点研发计划等项目及课题。

报告题目：异构编译技术与AI的双向奔赴

摘要：充分发挥芯片的性能是编译器长久以来的追求，并在AI时代显得更加重要。本报告将汇报一系列结合AI编译和传统编译的优化技术，探索如何利用跨越多个层次的编译优化技术构建高效的针对AI应用的基础设施。

主导编译器与芯片协同设计战略与技术规划，实现鲲鹏、麒麟等多款自研芯片的编译器与体系结构新特性的联合设计创新与开发，支撑华为公司的终端与计算多款产品商业成功。多次获得华为公司最高荣誉金牌个人与金牌团队奖。加入华为公司前在德国亚琛工业大学从事嵌入式系统ESL工具，体系结构建模，编译器工具链自动生成等研究。曾在DAC，DATE等多个顶级国际学术会议与期刊发表论文，并持有多项国际专利。

报告题目：LLM编译器：突破传统编译优化的极限

摘要：本报告将探讨大模型赋能编译优化的前沿进展和实践，探讨从“AI辅助编译优化”，如自动调参，启动式建议等到“AI原生融合编译优化”，如优化代码自动生成、动态自适应优化等的技术演进路径，并展望其在突破传统编译优化极限的革命性价值。

北京大学计算机学院副研究员，博士生导师、国家高层次青年人才。主要研究方向为深度学习模型的分布式并行、计算优化、算法和系统设计。在OSDI、ATC、EuroSys、SIGMOD、VLDB等高水平国际学术会议上发表论文50多篇，获得过VLDB 2022 最佳论文奖、WWW 2022最佳学生论文奖、高校科学研究优秀成果奖、湖北省科技进步一等奖、中国电子学会科技进步一等奖、北京大学黄廷方/信和青年杰出学者奖等。

报告题目：TileLang：一种支持精细控制的神经网络算子编程框架

摘要：现代深度学习编译系统在性能可控性与开发效率之间难以兼存，阻碍了对新硬件及复杂算子的快速适配。我们提出 TileLang，一种可编程性与性能控制兼具的 DSL（领域特定语言），用于神经网络内核的高效生成。TileLang 基于 tile 抽象，提供统一的中间表示（Tile-IR）以显式表达算子图、调度策略与内存布局，并配套构建了一个 tile 粒度的 cost model，支持快速性能预测与自动推荐。系统同时支持 autotuning 与专家调优，兼容分布式扩展，显著提升开发效率与内核执行效率。实验结果表明，TileLang 在多个深度学习基准上获得更优的性能，具备面向下一代 AI 系统的实践潜力。

教育部高效能计算学科创新引智基地负责人、高性能计算应用软件技术教育部工程研究中心主任。国家超级计算创新联盟副理事长、新一代人工智能产业技术创新联盟专家委员会委员、高性能计算国家重点研发计划总体专家组成员、IEEE高级会员、湖南省计算机学会副理事长、IEEE-TC/TSUSC/TII副编辑、《计算机研究与发展》编委。主持国家重点研发计划、基金委重大仪器项目、基金委重点项目、JWKJW重点项目等国家和省部级项目40余项。获国家科技进步一等奖创新团队奖(排名13)等奖励4项。主要研究领域为并行与分布式处理、超级计算与云计算、面向大数据和人工智能的高效能计算等。

IEEE Fellow，国家杰出青年科学基金获得者。担任教育部创新团队学术带头人，973计划首席科学家，享受国务院特殊津贴。长期从事并行与分布式系统和云计算的研究，在各种学术期刊、会议上发表了450多篇论文，著述英文著作4部。主持国家杰出青年科学基金、973计划项目、国家自然科学基金重点项目、863项目等。曾获国家技术发明二等奖和省部级科技一等奖多项。现任IEEE Transactions on Sustainable Computing主编并长期担任包括IEEE Transactions on Parallel and Distributed Systems，Journal of Parallel and Distributed Computing，IEEE Transactions on Cloud Computing等国际著名期刊的编委。

国防科技大学计算机学院教授、并行与分布计算全国重点实验室副主任。国家杰出青年基金、首批国家优秀青年基金、全国优秀博士学位论文获得者，入选教育部新世纪优秀人才计划。兼任CCF大数据专委会委员等职。主要从事并行与分布式计算、高性能数据中心、数据智能处理等方面研究工作，在《中国科学》、IEEE/ACM Transactions等学术期刊和会议上发表学术论文100余篇，主持研制的系统在国家重要领域得到应用。获国家科技进步二等奖、军事科技进步一等奖、湖南省自然科学一等奖、湖南省教学成果特等奖、中国青年科技奖、国务院政府特殊津贴等。

CNCC2025将于10月22-25日在哈尔滨举办。专题论坛将在往年多样化主题的基础上，首次通过“基础-前沿-未来”的一体化设计，满足不同背景参会者的需求，构建从知识获取到创新激发的完整路径，打造系统化、进阶式的参会体验。重点设置9大主题板块，每个主题板块的专题论坛由三大核心模块组成：面向前沿领域的体系性Tutorial、聚焦前沿突破的专题论坛以及探讨未来发展路径的思辨论坛。