返回首页

CCF东莞理工学院学生分会举办“Toward Scalable Generative AI via Mixture of Experts in Mobile Edge Networks”学术讲座

阅读量:6 2025-11-19 收藏本文

CCF东莞理工学院学生分会于2025年11月14日上午10点30分在东莞理工学院计算机楼 9A206成功举办了一场聚焦生成式 AI 前沿技术的学术讲座。本次讲座特邀Dusit Niyato教授担任主讲人,Dusit Niyato是新加坡南洋理工大学计算机科学与工程学院校长讲席教授、IEEE Fellow及IET Fellow,本次会议以 “Toward Scalable Generative AI via Mixture of Experts in Mobile Edge Networks” 为主题,深入解析混合专家模型(MoE)在生成式 AI(GAI)与移动边缘网络中的技术突破与落地应用。


讲座介绍及开场


在正式进入主题前,Dusit Niyato 教授深入浅出的介绍了生成式AI以及当前面临的挑战,随后引入混合专家模型(MoE)主题。

介绍MOE背景


Dusit Niyato 教授指出,虽然混合专家模型凭借 “分工协作” 架构在效率上优势显著,但 GenAI 部署到本地用户设备时,仍面临资源利用率不足的核心挑战。传统大模型的 “大一统” 模式难以适配移动设备的算力、存储约束,而这正是 MoE 与移动边缘网络结合的价值所在 —— 通过将计算任务拆解并分发至边缘设备的专家子模型,既能保留 GenAI 的生成能力,又能突破单设备资源限制。

“传统大模型需激活全部参数,而 MoE 仅需调用部分专家子模型即可完成任务。” 教授以 DeepSeekMoE 为例(如图3),其通过 “细粒度专家分割” 与 “共享专家隔离” 策略,让专家子模型聚焦细分领域,如处理 “网络设计” 需求时,可拆解为 “UAV 基站选型”“用户数量匹配”“性能指标优化” 等子任务,由对应专家并行处理,大幅降低 GPU 算力消耗,较 GPT-3 等模型推理能耗减少 1/3、计算量降低 50%。

探讨DeepSeekMoe


基于 MoE 架构的优势,Dusit Niyato 教授团队提出 “移动边缘网络支持的 MoE 生成式 AI 框架”(图4)。该框架将专家子模型部署在移动边缘网络的多个设备上,不仅减少数据传输 latency—— 因边缘设备靠近用户,通信延迟显著降低,还能提升服务可靠性:即便某一设备故障,其他承载专家子模型的设备可继续工作,保障生成式 AI 服务不中断。


介绍移动边缘网络支持的 MoE 生成式 AI 框架


教授团队进一步将 MoE 与大型语言模型(LLMs)、深度强化学习(DRL)结合:LLM 作为 “智能管理者”,既承担门控网络职责监督专家模型,又能凭借推理能力分析用户目标与优化约束,筛选适配的 DRL 专家子模型;同时,LLM 还可统筹专家输出,实现更优联合决策,让技术能灵活应对文本创作、视频生成、Wi-Fi 信号优化等多场景需求。


介绍MOE决策优化


Dusit Niyato 教授通过视频生成专家案例与元宇宙服务架构的深度解析,进一步展现了混合专家模型(MoE)的技术穿透力与场景适配性。

在元宇宙服务架构中(如图 6),MoE 通过 GAN、VAE、扩散模型等不同专家子模型的协同,覆盖了信号处理、内容生成、行为分析等十余类任务,最终支撑起元宇宙的自动化创作、服务定制、隐私保护等七大核心服务。这种 “模型 - 任务 - 服务” 的三层映射,体现了 MoE 在复杂系统中的模块化优势 —— 不同领域的专家子模型可根据需求灵活组合,为元宇宙的规模化落地提供了技术基座。

总结生成式AI专家混合模型


而在视频生成案例中(如图 7),团队针对 “学生进教室后老师授课” 的时序任务和 “学生与老师同时在教室” 的空间任务,对比了 MoE 架构与单设备方案的性能差异。通过成像质量、背景一致性、主体一致性、整体一致性四大维度等关键指标上显著优于单设备,证明其在复杂视频生成场景中能兼顾效率与质量。技术框架上(如图 8),大语言模型(LLM)承担门控网络角色,将文本提示拆解为 “学生行走”“老师授课” 等子任务,分发至不同边缘设备的专家子模型并行处理,最终通过时序或空间融合生成符合需求的视频内容,这一流程完美契合移动边缘网络的资源分布特性。

讲解视频生成专家混合模型


讲解视频生成专家系统技术框架


讲座结尾的互动环节(图9),针对 “AI 发展是否会取代程序员” 的提问,教授回应:MoE 等 AI 技术的核心是 “辅助提升效率”,而非替代人类;技术的应用将推动程序员聚焦更复杂的创新设计,未来人类与 AI 的协作将更紧密,程序员的专业价值仍不可或缺。

同学提问环节


在东莞理工学院 CCF 学生分会的全力保障下,这场前沿学术讲座圆满落幕。现场同学不仅近距离领略了国际顶尖学者的研究风采,更深入了解了混合专家模型与生成式 AI 的融合应用前景,收获了宝贵的学术视野与研究思路。教授团队分享的技术方向、开放的研究资源,为同学们后续的学术探索提供了清晰指引,有力助力大家在人工智能与网络技术交叉领域的深入钻研,为相关领域的创新发展提供帮助。