YEF2026在四川绵阳圆满闭幕。大会以“智创未来”为主题，汇聚计算领域青年精英与知名专家，聚焦人工智能、智能体、智能安全等前沿方向，深化产学研交流，激发青年创新活力。
“AI的黑暗森林：欺骗、失控与可信防线”专题论坛也精彩落幕。随着生成式AI、多模态大模型与智能体技术快速发展，人工智能正从内容生成工具演进为能够感知环境、调用工具、执行任务并影响现实世界的智能系统。能力跃迁的同时，AI系统也暴露出更加复杂的安全风险：模型可能出现策略性欺骗，智能体可能产生越权操作与工具滥用，多模态系统也可能在开放世界中遭遇物理攻击、对齐偏差与错误泛化。
本论坛围绕“欺骗、失控与可信防线”三条主线，尝试从感知、认知、决策、执行与治理的完整链路出发，讨论AI安全从“模型输出安全”走向“系统行为可信”的关键路径。论坛由CCF YOCSEF厦门学术候任AC、厦门大学刘弘副教授和CCF YOCSEF合肥学术AC、合肥工业大学胡文波副教授共同担任主席。
论坛报告
本环节围绕“智能体失控、物理世界攻击、多模态可信、移动智能体安全”四个方向展开，帮助参会者建立AI安全的全栈认知地图。
清华大学董胤蓬助理教授作题为《智能体失控风险研究》的报告，指出前沿大模型正在从服从人类指令的工具走向可能具备策略性欺骗和抗拒关闭倾向的自主智能体。
南开大学郭青教授作题为《生成式物理攻击：从2D到3D的感知鲁棒性测试》的报告，指出生成式物理攻击是检验自动驾驶、安防监控和具身智能系统真实世界可靠性的重要压力测试方法。
南京大学吉炜副教授作题为《多模态智能的安全与可信：从对齐到开放世界》的报告，指出多模态可信学习需要从消除伪相关、量化不确定性，进一步走向开放世界中的可靠决策。
vivo AI安全专家王凯作题为《移动智能体的安全体系构建》的报告，指出移动智能体安全必须覆盖输入、规划、执行、接入、隐私与审计等全链路环节。
四场报告从前沿大模型失控、多模态感知攻击、开放世界可靠决策，一直延伸到移动智能体系统安全，展示了AI安全问题正在从单点模型风险演化为覆盖感知、认知、决策、执行与审计的系统挑战。
思辨交流
本环节围绕四个核心思辨议题展开，与会嘉宾和现场观众进行了充分交流。
思辨议题一：欺骗——AI是在理解人类意图，还是在学习通过测试？
本议题主要讨论AI是否真正理解人类意图，还是仅仅在优化奖励、迎合评测与通过测试；同时探讨普通错误、幻觉、对齐失败与策略性欺骗之间如何区分。
思辨议题二：失控——当AI拥有“手脚”，人类还能否及时按下停止键？
本议题主要讨论智能体从回答问题走向调用工具、操作设备和影响现实世界之后，如何定义失控边界，以及是否需要权限沙箱、安全熔断和紧急终止机制。
思辨议题三：可信防线——AI安全是模型问题，还是系统工程问题？
本议题主要讨论AI安全的研究对象是否应从单一模型输出扩展到完整行为链路，以及未来可信AI更依赖更强的安全模型，还是可观察、可审计、可追踪、可终止的系统架构。
思辨议题四：治理与责任——可信AI的终点是不犯错，还是可追责？
本议题主要讨论现实世界中的AI系统是否应以“永不犯错”为目标，还是应更强调风险可控、责任可查、过程透明和后果可追溯。
论坛总结
本次论坛围绕“欺骗、失控与可信防线”展开，从四场技术报告到四轮思辨交流，形成了对AI安全问题的系统性认识：AI安全已不再只是有害输出检测或模型对齐问题，而是覆盖感知鲁棒性、多模态可靠性、智能体行为控制、移动端权限治理、隐私透明、审计追责和社会治理的综合系统工程。
论坛进一步指出，未来可信AI需要完成三个重要转变：
第一，从“输出安全”走向“行为安全”。AI是否可信，不仅取决于它说了什么，更取决于它如何感知、如何推理、如何调用工具、如何执行任务。
第二，从“单模型防御”走向“全链路防线”。面对物理攻击、多模态对齐偏差、开放世界泛化、移动端权限滥用等复杂风险，单点防御远远不够。
第三，从“避免犯错”走向“风险可控与责任可追”。真实世界中的AI系统不可能永远正确，但必须在出错时能够被发现、被阻断、被解释、被追责、被纠正。
面向“智创未来”，AI安全不是创新的阻碍，而是智能系统真正走向现实世界、服务社会发展的基础设施。只有在欺骗可识别、失控可阻断、行为可审计、责任可追溯的前提下，人工智能才能从强大走向可信，从可用走向可托付。
京公网安备 11010802032778号