CNCC 2023｜并行科技为大模型训练提供高质量、高性能、高性价比的超算架构算力

10月27日，并行科技举办“百模大战之算力、算法、落地场景”技术论坛，同业内众多专家、高校师生就人工智能、大模型算力、网络安全等相关技术与挑战做了深入探讨与交流。

据陈健博士在开幕式主题报告中介绍，超算算力分为4类：尖端超算、通用超算、智能超算和业务超算。其中，智能算力以GPU算力为主，可满足大模型训练需求，计算量极度密集。随着ChatGPT引爆大模型浪潮，智能算力的需求迎来爆发式增长，智能算力成为大模型产业发展的核心动力。

 并行科技董事长陈健博士在开幕式中发表特邀报告

由于大模型训练是典型的超算应用场景，对算力、算法、数据三方面技术均有一定要求，需要专用的高速互联计算网络、高性能文件存储和强劲的GPU算力共同完成训练任务。假如为大模型训练自建计算资源，企业需要投入上亿乃至数十亿、上百亿的资金。相比之下，租用算力能够让企业风险更低、现金流更充裕。

作为超算架构大模型算力网络先行者，并行科技打造的并行智算云就是针对人工智能和高性能计算场景的算力服务平台，提供专业、海量的GPU算力云，为企业提供高质量、高性能、高性价比的超算架构大模型训练算力。

其中，“高质量”指确保企业正确地、不中断地完成计算；“高性能”主要解决速度问题，让企业以最快的速度进行大模型训练；“高性价比”满足大模型训练时多机、多卡并行的需求，有效降低训练成本。据陈健博士介绍，并行科技不仅提供专业、海量的GPU算力云，更有专家团队为企业提供7×24小时在线服务，面向模型框架的安装、部署、优化以及长时间运行的保障诉求等提供在线技术支持，为大模型训练保驾护航。

大会第二天，多位专家学者来到并行科技主办的“百模大战之算力、算法、落地场景”技术论坛，聚焦当前人工智能、算力网络的热点、难点问题，进行思想碰撞与创新策源。本论坛由并行科技AI云事业部总经理赵鸿冰担任主席，并行科技董事长陈健博士、清华大学计算机系副研究员苏航、东北大学教授肖桐、百川智能联合创始人茹立云、潞晨科技AI项目负责人贾桐、面壁智能商业化副总裁缪钧玮依次在论坛中发表主题报告。

并行科技AI云事业部总经理赵鸿冰担任论坛主席

 并行科技董事长陈健博士做主题报告

清华大学计算机系副研究员苏航在《安全可信的扩散模型和应用》的演讲中表示：“扩散概率模型逐步地对先验分布去噪恢复数据分布，已经在数据合成质量、采样的多样性等指标下取得了超越传统VAE、GAN、FLOW等经典深度生成模型的结果，已经成为图像、视频和3D素材等相关视觉生成应用的算法首选。”但是如何降低模型的推理复杂度，提升用户体验的流畅性，并在此基础上探索与语言模型进行深度融合，使其生成内容更加符合人类的语义理解，确保所得内容与用户的需求和期望相符，同时避免生成有害的言论或图像，都是亟需考虑的问题。

清华大学计算机系副研究员苏航做主题报告

目前，市场上已经有很多优秀的神经机器翻译系统和开放的机器翻译平台，机器翻译质量大幅提升。但由于语言的多样性和复杂的应用环境，机器翻译仍然面临着许多挑战。东北大学教授肖桐在《大语言模型与多语言机器翻译》主题报告中介绍，以ChatGPT为代表的大语言模型具有十分出色的多语言理解和生成能力，同时表现出惊人的翻译能力。是否这类模型可以潜在地建模不同语言间的通用规律？是否可以将多种语言映射到同一语义空间进行理解和处理？这些研究方向有着巨大的潜力。

东北大学教授肖桐做主题报告

百川智能联合创始人茹立云博士认为，大模型将掀起一场逆工业革命，从连接彼此、提供信息的工具，变为陪伴用户、分享知识、总结经验、提供服务的伙伴。他在《展望AI大模型时代》中介绍：百川智能自成立以来，五个月发布六款大模型，平均28天一款，研发速度远超行业水平，并针对大模型局限性，通过对话、搜索、垂域增强实现体验的超越。这将为行业提供商业化方案，助力企业、开发者更快融入人工智能时代。

百川智能联合创始人茹立云博士做主题报告

过去18个月里，大模型参数规模增长340倍，但GPU资源增长速度相对有限。在主题为《Colossal-AI：AI大模型的挑战与系统优化》的演讲中，潞晨科技AI项目负责人贾桐表示，为促进AI大模型时代行业标准化进程，潞晨科技研发了面向AI大模型时代的高效深度学习系统Colossal-AI，提供一体化的最佳大模型解决方案，解决AI大模型全流程痛点，实现从头预训练成本降低50%。继续预训练方案实现效果打平从头预训练SOTA模型，费用从百万降低至万元以下，硬件需求成本和基础设施成本降低几十倍，迭代时间也缩短超过10倍。

潞晨科技AI项目负责人贾桐做主题报告

面壁智能商业化副总裁缪钧玮在《智周万物：迈向通用人工智能》中指出，通用人工智能（AGI）是人类历史进程的全新范式，将带来工业革命级的人类社会效率提高和底层逻辑重构。面壁智能近期先后发布可以实现自主解决复杂任务的全新AI智能体XAgent和大模型驱动的全流程自动化软件开发框架ChatDev。前者能力全面超越 AutoGPT，展示出惊人的自主性和复杂任务的求解能力，将AI智能体的智能水平提升到全新高度；后者包含多个AI Agent，分担不同的角色和任务，形成完整的软件开发流程。基于此，面壁智能将加速迈向通用人工智能。

面壁智能商业化副总裁缪钧玮做主题报告

在论坛最后的讨论环节，与会嘉宾围绕大模型产业未来发展进行了学术畅谈。并行科技陈健博士指出，成本将是未来大模型竞争的关键；面壁智能商业化副总裁缪钧玮坦言，相比只需少许食物转化成的能量就能运行的人类大脑，大模型仍有巨大的发展空间；潞晨科技AI项目负责人贾桐表示，在个性化需求场景中，通用大模型表现一般，需要进一步深挖潜力；东北大学肖桐教授认为，通用大模型发展到一定程度，将出现更多能力，因此继续“炼丹”非常必要。

参加本次论坛讨论环节的嘉宾

大会期间，并行科技旗下智算云、超算云、超算行业云三大产品线在新世界博览馆T3展厅悉数亮相，是本次展会规模最大的展台之一。其领先的算力产品吸引了多位专家学者、政府领导、行业领袖的关注。

  并行科技展台现场

随着百模大战日趋激烈，算力需求将成为长期主题。并行科技将持续为大模型训练提供高质量、高性能、高性价比的智能算力及服务，加速大模型产业创新发展。