YEF2024专题论坛 | OPPO与青年学者大研讨：大模型时代的端云智能演进

5月16日上午，由CCF主办的2024青年精英大会（YEF2024）在宁波盛大开幕！本届大会以“智启新局”为主题，邀请到了160余位来自高校、科研院所、企业的学者、专家及从业者，呈上包括9个特邀报告、5个思想秀报告、2场大会论坛、1场大学生学术秀和23场专题论坛的科技盛宴，为计算领域提供交流机会，促进青年精英人才的成长。

其中，“端云智能之大小模型协同”论坛旨在与学界、业界共同探讨端云协同目前的发展现状，针对突出的多元设备、数据井喷与异构的多重问题，探索如何更高效、更安全地满足大模型算法下对数据和计算资源的需求。论坛执行主席、OPPO数据智能部部长、高级专家王俊致欢迎辞，论坛联合主席、浙江大学计算机科学与技术学院特聘研究员、博士生导师陈超超，OPPO云数能力中心GM邓华荣，南京理工大学计算机学院副教授曾悦，中国科学院计算技术研究所副研究员敖翔，同济大学电子与信息工程学院教授、博导胡亮分别从不同维度围绕端云智能作报告，剖析大模型时代端云与数据面临的挑战并给出了相应的解决方案。

据互联网数据中心（IDC）预测，2025年全球平均每人每天产生的数据高达1.5GB，海量数据的异构特性变得越来越明显。

王俊在欢迎辞中提到，海量数据、数据来源多样化让数据的价值挖掘变得更加复杂。大模型基于其较强的表征和学习能力，对海量异构数据的学习会更加有效。端侧设备受限于较弱的计算和连接能力，大模型训练和推理任务挑战巨大，而云侧具备较强的计算能力，可以高效执行较大规模的模型训练和推理任务。因此探索协同端云两侧的大小模型，对海量异构数据进行价值挖掘，找到学术界和行业最前沿的研究和应用，对于未来的发展至关重要。

OPPO云数能力中心GM邓华荣从云、数视角给出了他的观点，“工业界端云大小模型协同范式正从云训练端推理向端云协同优化演进，端云协同优化可以更好保护端侧数据安全，并在端云两侧提高模型预测能力”。在现场最受关注的工业界应用环节上，OPPO也带来了应用于实际落地场景的端云协同框架DCC及大规模设备仿真系统的介绍：DCC框架由云侧机器学习平台、云侧数据中心、端侧机器学习框架和端侧数据中心等四模块组成，支持云训练端推理和端云协同优化两种范式；大规模设备仿真系统则支持真机仿真及混合仿真，已支持十万级设备的并行仿真。

当数据来到千亿量级、质量参差不齐、分布来源多种多样的时候，数据协同就十分必要了，而数据协同又要求保证数据隐私、模型隐私、参数隐私，以满足隐私安全。论坛联合主席、浙江大学计算机科学与技术学院特聘研究员、博士生导师陈超超从技术视角，分享了不同的隐私保护技术与跨域智能推荐算法，应对异构数据带来的种种麻烦。在隐私保护技术中，常用的算法如联邦学习、多方安全计算、差分隐私，陈老师在报告中重点介绍了如何将不同的隐私计算技术与跨域智能推荐相结合，更好地做到精准的表征提取、有效的信息迁移，并采用分布对齐的方法，避免负迁移。

边缘智能近年来已成为了学术界的研究热点。边缘计算与人工智能的结合催生了边缘智能，它融合了网络、计算、存储、应用核心能力的新兴技术，通过将智能算法部署在更贴近用户的边缘设备，能够更高效地为用户提供高质量的智能服务。南京理工大学副教授曾悦在《边缘智能与协同计算》的报告中指出，相比云端人工智能计算与处理模式，边缘智能具备低功耗性、低时延性、更隐私安全性和贴近用户等优势，报告聚焦边缘智能与协同计算的前沿及进展，并介绍我们在边缘智能及其协同技术的一些初步探索。

GPT-4o发布再一次大大拓展了关于大模型的想象空间。探讨大小模型协同与端云应用，已经成为学术界与工业界的共识。在大模型作为预测器、大模型作为增强器都存在缺陷的情况下，中国科学院计算技术研究所副研究员敖翔在《大小模型协同：知识蒸馏与意见咨询》报告中分享了以大模型作为顾问的新范式，将小模型预测不确定的样本咨询LLM，并用LLM反馈改进小模型。报告介绍了从知识蒸馏和意见咨询两个角度介绍了大模型指导小模型算法优化上的新思路，并做了最新的研究进展分享，引发了现场学者的热烈讨论。其中，知识蒸馏方面的进展以大模型回答与解释之间的一致性为指导，优化小模型在问答任务上的表现；意见咨询方面的进展主要表现为以样本咨询的方式通过LLM模型的反馈，提升GNN在数据集上的预测能力。

同济大学电子与信息工程学院胡亮分享了他十多年间科研的故事。在《十年的回眸：从协同服务计算到智能大小模型的可信协同》的报告中，胡亮回顾了针对可信协同研究的演进之路：从攻读硕士和博士初期研究服务协同计算讲起，一直到如今大模型盛行下的大小模型智能协同，告诉我们他十年间关于智能协同的研究经历仿佛是一个圈，从起点出发，又回到了起点。报告首先为我们描述了Web服务的协同：它涉及到多个不同功能的服务之间进行合作与协调，以完成一个复杂的任务，同时回顾了传统服务协同计算在服务发现、服务组合、安全性和隐私保护等问题上所面临的难点和挑战。当前，我们拥有了可以进行对话、绘图、语音等各种大小模型，如何协调这些不同功能的大小模型，成为了前沿的研究方向。其中一个方法便是通过多智能体建立起协作机制，以大语言模型作为大脑，使得智能体具备感知、记忆、规划和使用工具的能力，从而使得多个智能体能够根据环境变化灵活调整行为，进行协作，从而自动化实现用户复杂的目标。报告最后探讨了人在大小模型协同中所扮演的角色，以人机协同混合智能的生成式医学平台为例，将人类智慧与人工智能进行协同，增强决策的可靠性，并展现了“大小模型与人协同发展”的未来蓝图。

以GPT系列为代表的大模型正在刷新每一个人的认知。然而，近来针对大模型本身的研究似乎已遇到了一定的瓶颈，使人们重新开始思考是否“越大”意味着“越好”。在OPPO看来，隐私安全与智能体验一样，是大众的基本权利。未来，OPPO将携手更多的产学研专家与学者，针对大小模型与人之间如何进行可信协同，发挥群体智能的优势，加速推进端云智能，为保护隐私这一社会问题贡献力量，同时为用户打造更为安全高效的智能体验。