CNCC | 与翟季冬、东昱晓等教授探讨——国产算力和软件如何支撑大模型系统

翟季冬

清华大学计算机系长聘教授/博导

国家杰出青年科学基金获得者。主要研究方向包括高性能计算、编译优化和性能评测等。研究成果获IEEE TPDS 2021最佳论文奖、IEEE CLUSTER 2021最佳论文奖、ACM ICS 2021最佳学生论文奖等。担任NPC 2018程序委员会主席、IEEE Cluster 2021领域主席、SC 2022领域副主席等。担任IEEE TC、IEEE TCC等多个国际学术期刊编委。担任清华大学学生超算团队教练，指导的团队十三次获得世界冠军。获2021年CCF自然科学一等奖、2020年CCF-IEEE CS青年科学家奖。

刘鑫

CCF高性能计算专委副秘书长

国家并行计算机工程技术研究中心研究员/博导

长期从事超级计算机体系结构、并行算法及应用支撑软件的研究，在科学计算和人工智能领域的并行算法、应用支撑软件和软硬件协同设计工作中成效显著。带领团队研发的神威量子模拟器，获得2021年度“戈登·贝尔奖”。曾获省部级科技进步一等奖两项、二等奖三项、“清华大学-浪潮集团计算地球青年人才”，“CCF-IEEE CS青年科学家奖”，获国防科技创新卓越青年项目资助。

神威系列超算对大模型支持的考虑

2022年底OpenAI公司发布的ChatGPT系统基于大型语言模型和强化学习训练技术，浓缩了互联网上绝大部分人类公开知识，实现自然语言对话的人机交互，是全球人工智能科技领域的重大技术突破。神威系列超算系统自2020年开始，密切关注大模型发展趋势，并针对大模型计算需求，从处理器、网络架构和基础软件方面开展针对性设计，已支持万亿参数大模型的训练和微调。报告介绍了神威系列超算软硬件系统对大模型支持的考虑以及基于神威系列超算的大模型应用情况。

孟祥飞

国家超级计算天津中心应用研发首席科学家

CCF高性能计算专委执行委员，教授级高工，长期负责我国重大自主创新成果“天河”系列超级计算机应用技术研发与开拓，推动了“计算驱动创新发展”的新阶段。先后主持参与国家重点研发计划和省部级重点重大项目超过二十项，积极投身我国新一代百亿亿次超级计算机研制与算力赋能创新发展。2019年荣获第23届中国五四青年奖章，并荣获新中国成立70周年“最美奋斗者”荣誉称号；2020年，荣获第十六届中国青年科技奖、全国先进工作者；以第一第二完成人获多项省部级科技进步特等奖、一等奖。

从天河AIGC到专业模型

信息技术已经成为新一轮科技革命和产业变革的核心驱动，而生成式智能作为具有战略意义的领域，对我们人类生产力、生产关系、思想认知等将带来前所未有的变革。为抢抓生成式人工智能发展机遇，推动国产自主超算系统的智能生态建设，天津超算立足国产超级算力和智能算力，先后打造智能计算开放创新平台，研发“天河天元大模型”。报告将分享国家超级计算天津中心在基于自主超算的生成式人工智能模型研发及应用中的探索实践，并持续聚焦“模型-知识-场景”融合，深入开展行业专业模型的研发落地，推进生成式大模型落地转化为现实生产力。

崔慧敏

中国科学院计算所研究员/博导

崔慧敏是中科院计算所编译团队的负责人，她的研究方向为面向人工智能和异构体系结构的编译技术，先后在PLDI、ASPLOS、OSDI、MICRO、PPoPP、SC等国际会议和期刊上发表论文三十余篇，先后承担2030新一代人工智能重大专项项目、国家自然科学基金、科技部重点研发计划等项目及课题。

面向新型应用范式与新型体系结构的编译技术探索

人工智能应用的发展对算力需求的多样性和处理能力都有了巨大的需求，也促进了体系结构方面的一系列创新，由此对上层的软件生态造成了诸多的挑战。编译器作为软件生态中的底层环节，在解决当前软件生态碎片化的问题上有广阔的前景和潜力。在崔慧敏的报告中，她将分享团队在编译器方向上围绕着性能分析与优化、软硬件协同设计等方面的研究和探索。

郑亮

国家超级计算成都中心（成都超算中心运营管理有限公司）副总经理

CCF高性能计算专委会执委，国家超级计算成都中心（成都超算中心运营管理有限公司）副总经理、副研究员，高性能计算部和创新应用部部长。拥有丰富的高性能计算应用经验，主要方向为并行计算框架和并行线性代数求解器开发，一直从事并行代码自动生成系统软件及其支撑环境（高性能计算与大数据融合应用平台）的研制和应用，致力于国产计算软件和国产计算硬件的自主可控适配。

算力互联绕不开的脏活累活 - 国产软件与国产硬件的适配

算力互联首先需要实现应用对各种硬件架构的兼容，传统面向特定架构的定制化软件开发难以应对，需要开发适配不同架构的共性基础软件。本报告将从国产科学计算软件的发展历史讲起，重点讨论90年代诞生的代码自动生成技术在大模型时代的新机会。同时，我们将介绍一个自研性能可移植编程模型ChipSum，给出用于科学计算和人工智能的应用案例，并探讨对各类国产异构设备的应用移植前景。

苏腾

华为MindSpore超大规模AI系统架构师

浙江大学博士，近两年孵化了20+大模型，其中6个千亿参数规模以上的大模型。加入华为10年，长期从事大规模分布式并行系统软件研发，现主导MindSpore大模型训练推理系统构建。曾主导华为自研的分布式任务计算框架、分布式强一致性K-V存储框架、容器化资源管理与调度框架、Actor模型编程框架的设计开发，并在多个产品落地应用，在大规模分布式系统方向有丰富的实践经验。

昇思MindSpore千亿模型千卡集群训推实践

大模型正成为下一代人工智能的突破口，也是迈向通用强人工智能最有潜力的技术方向。昇思MindSpore构建了多维度混合并行、多维度内存优化等关键技术，大量实践了千亿模型千卡昇腾集群的训练。并从2021年开始，孵化了20+大模型，6个千亿参数规模以上的大模型。联合知名高校及科研院所协同创新，发布了鹏城实验室NLP大模型、中科院紫东太初图文音多模态大模型、鹏程神农蛋白质结构大模型、武大珞珈遥感大模型等。本次分享将从MindSpore千亿模型千卡集群训练实践出发，介绍大模型大集群训练的挑战，介绍MindSpore超大规模AI关键技术，以及如何使用这些关键技术解决大模型大集群的训练难题。