CNCC | 面向开源大模型的“安全风控”能否跑赢“安全风险”？邀你探讨大模型时代的新型安全攻防与共生之道

梁广泰

华为云软件分析Lab负责人，软件分析领域高级技术专家

CCF会员，CCF软工专委常委，CCF开源发展委员会供应链安全工作组秘书。14年初获得北京大学计算系博士学位，之后入职IBM中国研究院担任研究员职位。16年5月加入华为工作至今，带领团队先后围绕代码缺陷检测与修复、开源成分分析与治理、代码智能同步/重构/移植等方向成功孵化多项智能化开发服务并规模化落地。至今已发表技术专利50+及学术论文30+（含ICSE/FSE/ASE/OOPSLA等），曾获FSE最佳论文奖/ISSTA最佳论文奖等，先后担任一系列软工Top国际会议PC Member/Chair等角色（含ICSE/OOPSLA/WWW/ISSRE等）。

王浩宇

华中科技大学网络空间安全学院教授/博导

CCF系统软件专委会执行委员，Security PRIDE团队负责人，华科网安-烽火通信网络安全联合研究中心主任，华中科技大学OpenHarmony技术俱乐部主任。研究方向为新兴软件系统安全，近年共发表论文100余篇，包括CCF-A类论文和CSRankings顶会论文70余篇。曾三次获得CCF A类顶会最佳/杰出论文奖，2021年度北京市科技进步一等奖，2021年度中国通信学会科技进步二等奖，2022年度中国电子学会科技进步二等奖等奖励。

大模型时代的软件系统安全

大模型的发展给系统软件安全带来新的机遇和挑战。一方面，针对传统的软件分析技术，大模型能够提升现有技术的能力和扩展其边界。另一方面，基于大模型的新兴软件系统中引入了更多新的攻击面，例如大模型提示注入攻击、大模型越狱、大模型缓存攻击等。此外，新兴软件生态中也出现了众多基于大模型的新型攻击手段和欺诈方式，给软件安全防护带来了新的挑战。本次报告将从：（1）大模型增强的软件安全技术，（2）大模型软件系统的安全风险分析，（3）新兴软件生态中大模型恶意滥用，这三个维度重新思考大模型时代的软件系统安全。

邱寒

清华大学网络研究院助理教授

2017年博士毕业于巴黎高等电信大学，2021年入职清华大学网络研究院、吴建平院士团队，任助理教授、博士生导师。专业方向为机器学习安全、边缘计算系统与数据安全等，共发表40余篇领域内高水平论文，4次获得国际学术会议最佳论文奖，获2022年IEEE智能计算技术委员会(IEEE Smart Computing STC)数据安全青年研究奖。

大语言模型的新型安全问题思考

随着以ChatGPT为代表的新型大语言模型的飞速发展，近年来各种大语言模型展现了惊人的能力，然而新型大语言模型的安全问题也成为关注的热点。除了会继承现有的深度学习模型的主要安全问题（如对抗样本、后门攻击等）以外，以自回归模型为基础的新型大语言模型也面临着诸多新型安全挑战。本报告基于大语言模型的发展和关键技术，主要介绍与探索其面临的新型安全问题。

梁广泰

华为云软件分析Lab负责人，软件分析领域高级技术专家

面向代码大模型的安全风控实践与探索

随着微软GitHub Copilot、华为云CodeArts Snap等基于代码大模型的代码编程助手推出，代码大模型在软件工程场景得到越来越广泛地应用。然而，代码大模型及其服务的落地也存在一系列新的安全风险和挑战。

第一，其生成结果可能存在虚假信息、危害成分（如安全漏洞、license违规、恶意成分）等问题；第二，大模型以云服务方式提供使用，其云服务本身可能存在Prompt攻击、模型窃取、数据投毒等特有安全风险；第三，业界开源代码大模型（如StarCoder）及LLM开发框架(LangChain)逐步增多并成为越来越多企业的大模型服务技术底座，这些开源框架或模型自身存在的安全问题将会引发越来越严峻的开源供应链安全风险。本报告将围绕上述场景，介绍华为云相关的智能风控技术实践与探索。

王莹

东北大学软件学院副教授

CCF开源发展委员会委员，CCF女工委委员，荣获CCF优秀博士论文提名奖（2020）、微软研究院铸星计划访问学者（2020）、辽宁省优秀博士论文奖（2021）、ACM SIGSOFT杰出论文奖(ICSE 2021)。主要研究方向为开源软件生态治理技术、软件供应链分析等。在多种程序语言软件生态（包括Java/C#/Python/Go/JavaScript/Android/Rust等）治理方面发表系列学术成果，形成系列工具平台“英雄联盟”LOL自动化监控开源软件生态的依赖缺陷。多项技术落地于华为、微软等企业平台。担任SANER 2023 Tool Track联合主席，“计算之美”2021博士生论坛主席等，热衷参与学术活动以鼓励计算机领域女性“研究媛”和“程序媛”坚持科研梦想。

AIGC时代的软件供应链安全挑战

ChatGPT类大模型通过强大的AIGC(人工智能生产内容)能力带来了AI和软件工程领域的颠覆性拐点，也可能会影响软件供应链的“形态”。伴随AI代码生成工具Copilot和CodeArts的广泛使用，AIGC在软件开发中重要性逐渐提高，AIGC或将成为大模型时代的“新型软件供应链”。报告将从“传统AI软件供应链”(即机器学习相关第三方库)和“新型软件供应链”(AIGC)两个角度出发，讨论其各自的安全挑战：(1) 在传统AI软件供应链方面，通过实证研究揭示不同版本的机器学习软件库组合方式对模型性能的影响；以AI竞赛类的pipeline为例，在不改变任何参数、代码的情况下，仅通过改变软件库的版本组合方式，参赛模型的排名便会发生“陡然变化”。(2) 在新型软件供应链方面，我们追溯其生成代码内容的来源，以探讨其安全、合规性，以及对软件质量的影响。

李锭

北京大学研究员/博导

CCF系统软件专委执行委员，博雅青年学者。北京大学本科，南加州大学博士毕业。主要研究软件工程和系统安全，在IEEE S&P，CCS，Usenix Security，NDSS，ICSE，FSE，ISSTA，ASE等顶会上发表论文40余篇。主持国家面上基金、科技部2030重大项目课题、以及横向项目9项。获得奖励包括ISSTA 2023 ACM SIGSOFT Distinguished Paper Award，ISSTA 2023 Impact Paper Award和腾讯犀牛鸟2021卓创奖等。

基于可信执行环境的模型部署安全性保障研究

当前以生成式大模型为代表的深度学习模型会在端侧或者公有云等不可靠环境中部署，使得攻击者有机会对模型进行白盒分析，从而使得模型窃取和成员推理等攻击变得容易发生。可信执行环境可在一定程度上避免攻击者对模型整体进行白盒分析，但近年来相关工作发现在充分利用预训练模型的情况下，攻击者仍然可以对处于可信执行环境的模型进行近似于白盒的攻击。本次报告会介绍我们团队针对该问题所提出的一种全新的“先划分，后训练”的模型可信执行环境部署方案，充分防止攻击者对模型进行白盒攻击。