英国利兹大学徐洁教授作特邀报告，内容先揭秘 | CNCC

徐洁

英国利兹大学计算机学院讲席教授

报告题目

A System for Training Massive-Scale Models with Billions of Parameters

报告摘要

此次报告将分享近期我们在大语言模型训练优化方面的最新研究工作 ─ STRONGHOLD系统。该系统可用于训练数十亿参数的大语言模型。报告将重点介绍一种动态卸载机制，可有效地在GPU内存、CPU RAM和二级存储之间高效传输数据。随着深度学习技术的快速发展，基础模型的规模呈现指数级增长。然而，基础模型训练需要大量的GPU资源和能耗，设备的购置和维护成本极高，对于许多学术和行业研究团队可能是难以承受的。针对上述问题，STRONGHOLD可将模型参数和状态动态卸载至CPU RAM或其他二级存储，在使用时按需重新加载，因而可最大限度地减少GPU内存需求。STRONGHOLD还实现了GPU计算和数据传输通信的高效层叠，以降低数据卸载引入的额外开销。实验表明，与当前最新基于卸载的解决方案相比，STRONGHOLD可在32GB V100 GPU上将可训练模型大小提升1.9- 6.5倍，训练吞吐量可提高1.2-3.7倍。STRONGHOLD已在工业场景中部署应用，广泛用于大规模DNN的训练。