陈红阳：大模型：新时代的“智能生产者” | CNCC专家谈

近年来，传统的“不同任务不同模型”的模型构建模式逐渐向“一个大规模的多任务预训练模型（AI大模型）”进行转变，从产业角度看，大模型是连接人工智能技术和产业生态的桥梁，带动基础软件和硬件的发展，支持各种智能应用。从技术角度看，大模型是一个在大规模非标记数据集上预先训练了大量参数的深度神经网络。

大模型发挥着“智能生产者”的基础性作用，促进产业新范式的形成，在海量计算能力的支撑下，能够产生高质量的智能力量，服务于各种AI应用，并处理各特定领域的任务。

在通用领域，大模型被广泛应用于自然语言处理、计算机视觉等任务。BERT、GPT等模型通过“预训练+微调”的模式，在多个自然语言处理任务上取得了令人瞩目的成绩。OpenAI开发的人工智能聊天机器人ChatGPT更是展现了大模型在语言理解和生成任务方面的巨大潜力。作为生成式AI中里程碑式的存在，它的成功对AI技术的发展具有重要意义，推动了很多其他细分领域的研究。 

随着计算能力的提升和数据的广泛积累，利用大模型进行科学计算和问题求解的方法也越来越受到研究者的关注。科学问题普遍都非常复杂，涉及大量的数据和计算。使用大模型可以有效地应对这些复杂性，在加速数据处理分析的同时，还能提供准确的预测结果，从而加速科学研究的发展和进步。

大模型在物理、化学、生物、医药、材料等领域都取得了非常不错的成果。例如，生物医药领域的Alphafold2。蛋白质的功能和相应的生物过程和其三维结构有非常紧密的关联。然而，通过实验解析蛋白质结构耗时耗力，并且非常困难。Alphafold2结合AI与大模型，能在短时间内预测蛋白质的三维结构，不仅为医药领域带来了革命性的变化，同时也将加速生物医学的发展和进步。

大模型基于“预训练+下游微调”的工业化AI开发模式，拥有泛化能力强、小样本学习和模型高精度三大特性，一个模型就可适用大量复杂的行业场景，即使少量样本也能达到高精度。目前，大模型能力已经在包括能源、零售、金融、工业等领域得到验证。同时通过迁移学习实现少样本学习的目标，将一些最新的技术融入到模型的微调框架中，并通过庞大的行业知识库进行训练，其结果将更适合在复杂场景下的应用。

从具体场景来看，在电力领域，药物分子大模型的成药性预测，实时海浪预测,自然语言处理和视觉任务等场景下，大模型可以极大减少了模型维护成本，并提供预测精度，开发成本也将大大降低,具有出色的表现，已经成为解决人类复杂问题的一种范式，也有望在AI4SCI的领域发挥出巨大的作用。

不过，大模型目前还面临着许多的问题：模型存在灾难性遗忘的问题（拓展性）；数据量巨大引起算力需求的增长（便捷部署）；模型训练和推理时间越来越长（计算性能优化）等。通过大量的参数记录学习到的数据表征以及相互关系，但是随着数据的不断更新扩充以及变化，大模型会逐渐漂移，可能产生遗忘过去已经学习的内容的情况，形成灾难性遗忘；针对大模型的算力问题，我们首先需要解决“怎么算”的问题，也就是如何在对服务器硬件透明的情况下，将模型便捷的部署到服务器上；解决了“怎么算”的问题之后，就需要解决怎样“算的更快更好”的问题。如何充分发挥算力效率，提升大模型的训练和推理的吞吐量，降低延时。

针对上述问题可行的解决思路：更改大模型结构，例如现在混合专家模型(Mixture-of-Expert, MoE)，已经被证明可以缓解灾难性遗忘的问题；用编译的思路构建软硬件协同中间层，实现对多种深度学习框架的支持，以及对底层硬件的映射；通过软硬件融合的技术，在算法层面进行硬件感知的优化，在硬件层面提供符合算法特性的资源调度。

未来，大模型将大规模应用于科学计算领域，包括生物学、癌症、大气科学、天文学、高分子化学等多个领域。

本年度CNCC大会拟举办“大模型与科学计算论坛”, 聚焦大模型在科学计算领域面临的机遇与挑战。本次论坛将邀请大模型及AI4SCI领域的专家学者进行学术报告演讲，共同探讨大模型在物理、化学、生物等领域的应用和问题，分享最新的研究成果和应用案例。希望通过本次论坛，促进大模型和科学计算领域的交流与合作，推动相关领域的发展和创新，敬请关注。

CNCC参会报名