人工智能安全：风险、挑战与应对｜CNCC Tutorial

Tutorial简介

Tutorial日程

讲者介绍

浙江大学求是特聘教授/长聘教授

浙江大学计算机科学与技术学院求是特聘教授/长聘教授、博士生导师，可信人工智能研究中心主任，获佐治亚理工学院电子与计算机工程博士学位、佐治亚州立大学计算机科学博士学位，入选国家高层次人才。主要研究方向为人工智能安全、软件与系统安全，主持国家重点研发计划项目、国家自然科学基金联合重点项目等多项，发表CCF A类论文100余篇，研制的多个系统在大型平台上获得部署应用。获IEEE S&P 2025杰出论文奖、ACM CCS 2021最佳论文奖等10项最佳/优秀论文奖、全球黑客大会Pwnie Awards最具创新研究奖提名等。

演讲题目：可解释大模型安全与评测平台

摘要：近年来，以大模型为代表的人工智能技术迅猛发展，相关应用不断深化。在大模型蓬勃发展的同时，其安全、隐私、伦理等挑战也越来越引起人们的重视。保障大模型系统的安全隐私，发展可信赖、负责任的人工智能技术，成为其应用深化与产业发展的基础前提与必需保障。本报告将围绕大模型系统安全，探讨可解释的大模型安全增强技术，并展示研制的大模型安全评测平台。

哈尔滨工业大学（深圳）教授

哈尔滨工业大学（深圳）网络空间安全研究院/计算机科学与技术学院教授，博士生导师，广东省珠江人才计划领军人才，广东省安全智能新技术重点实验室副主任；本科和博士均毕业于中国科学技术大学计算机科学与技术系。作为项目负责人承担了国家重点研发计划项目课题、国家自然科学基金面上项目等多项国家级项目。目前担任Information Sciences、Journal of Information Security and Application等期刊的副编辑或编委。主要研究方向为人工智能与安全，在国内外重要学术期刊和会议上发表论文200多篇，其中IEEE/ACM Transactions和JCR一区期刊论文及CCF A类会议论文60多篇。

演讲题目：深度学习模型的训练数据逆向工程原理和方法

摘要：随着人工智能技术，特别是深度学习模型的广泛应用，隐私数据的泄露风险已从传统的数据存储环节向模型的训练与推理环节迁移。以深度神经网络为代表的先进架构在强化数据特征提取能力的同时，也加剧了模型对训练数据的记忆效应，为隐私数据泄露埋下隐患。本报告将深入探讨逆向工程技术在深度学习模型训练及推理阶段所引发的隐私威胁，剖析分布式训练场景下的梯度逆向攻击，以及推理阶段的模型逆向攻击。同时，本报告将探讨如何结合进化算法等优化方法提升逆向攻击的性能，揭示其对模型的训练数据隐私安全的深层次影响，旨在为构建更鲁棒的隐私保护机制提供参考。

西安交通大学二级教授

西安交通大学二级教授、软件学院院长。入选国家级领军人才。主持国家重点研发计划首个Web3.0共性关键技术项目，并主持包括国家自然科学基金联合基金重点项目、专项项目等项目30余项。申请发明专利70余项，联合编制国际、国家或行业标准20余项。在USENIX Security、CCS、TIFS、TSE、KDD等会议和期刊上发表论文100余篇。连续入选爱思唯尔“中国高被引学者”。中国计算机学会区块链专委副主任、杰出演讲者。ACM SIGSAC中国区副主席。中国科协中国科学家精神宣讲团成员。担任领域顶级期刊IEEE Transactions on Dependable and Secure Computing和Computers & Security等期刊编委。获中国自动化学会科技进步一等奖1项（排名1）及其他省部级科技进步二等奖3项，获ACM CCS 2023 杰出论文奖。

演讲题目：人工智能系统全周期安全挑战及防御策略

摘要：近年来，以大模型为代表的人工智能技术持续演进，广泛赋能于政务、医疗、金融、交通等关键领域。与此同时，人工智能系统在构建和应用过程中暴露出愈加复杂的安全隐患，涵盖模型训练数据的污染、参数窃取、后门攻击，以及推理环节中的幻觉输出、输入操纵等问题，给系统稳定性与用户信任带来严峻挑战。本报告聚焦人工智能系统的两个关键阶段——模型构建与系统应用，系统梳理其面临的主要安全威胁，并结合典型攻击场景分析相应的防御技术路径，进一步探讨实现可信人工智能的技术趋势与治理策略。

奇安信科技集团股份有限公司安全研究员

现任奇安信技术研究院安全研究员。2013年硕士毕业于东南大学自动化学院，同年在Citrix从事静态代码分析工作，2016年到2023年在Trend Micro从事AI算法在安全领域研发工作，目前从事基于大模型的智能化漏洞挖掘系统研发工作。其主要研究方向为AI在安全领域的算法研发，在该领域有9年研发经验，曾获多项自研AI算法专利与竞赛获奖，多项自研AI算法检测到恶意软件与CVE授权，并获得Github的Arctic Code Vault Contributor。Datacon漏洞分析赛道出题人，2024年看雪安全开发者峰会上发表“大模型恶意代码检测”技术演讲。

演讲题目：基于大模型的漏挖挖掘实践

摘要：本次报告主要介绍基于大模型的漏洞挖掘技术的最新进展，以及基于大模型的漏洞挖掘技术的落地实践，通过融合大模型技术（提示词、智能体、大模型微调）与静态代码分析、模糊测试、反编译代码优化等技术，提升漏洞挖掘的效率和准确性。并围绕技术融合与系统设计思路，从数据层、模型层、功能层等方面，呈现完整的智能化漏洞挖掘系统落地框架。

CNCC2025将于10月23-25日在哈尔滨举办。学术专题论坛将在往年多样化主题的基础上，首次通过“基础-前沿-未来”的一体化设计，满足不同背景参会者的需求，构建从知识获取到创新激发的完整路径，打造系统化、进阶式的参会体验。重点设置9大主题板块，每个主题板块的专题论坛由三大核心模块组成：面向前沿领域的体系性Tutorial、聚焦前沿突破的专题论坛以及探讨未来发展路径的思辨论坛。Tutorial作为这一设计的起点，为参会者构建坚实的共同知识基础，能够深度参与后续的前沿报告理解与未来方向思辨。同时面向青年学者、行业新锐等人群，通过系统性教学，助力赋能青年人才发展。