【YEF2020专家特稿】人工智能时代，计算如何可信？

年度盛事特邀陈纯院士，YEF2020青年精英大会启动报名！（点击了解YEF2020大会详情） 

论坛举办时间：2020年6月7日 13:30-17:30 

“要加人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控”。

——《人工智能发展现状和趋势举行第九次集体学习》

人工智能已经成为新一轮科技革命和产业变革的核心驱动力，正在对世界经济、社会进步和人类生活产生极其深刻的影响。在云计算、大数据、移动互联网、物联网等新理论新技术的驱动下，智能计算加速发展，呈现出深度学习、跨界融合、人机协同、群智开放、自主演化等新特征。智能计算技术及其产品已深入到社会生产和人民生活的各个方面，并已在某些应用场景中逐步替代甚至超越人类工作。智能计算已被应用在众多安全攸关领域承担关键任务。从精准医疗手术系统到新型轨道交通系统，从无人驾驶到航空航天，从智慧城市到智能制造，无处不见智能计算的身影。

虽然智能计算部件作为核心在智能系统中扮演着越来越重要的角色，但是由于缺乏相关的方法、技术与工具，其可信性难以保证，成为了智能系统设计中最令人担忧的部分。由于人工智能系统的失败和故障，造成了多起严重的经济损失和人员伤亡事件。例如，由于人工智能未能识别道路障碍物导致的多起特斯拉“自动驾驶”致死事故；由于被黑客教会种族主义，聊天机器人“懂得”了黑人与白人之间的差别；由于血溅到了摄像头上，导致机器人“失明”，感知系统无法正常工作，造成达芬奇手术机器人事故。

除了设计过程中可能产生的缺陷，智能计算系统也受到越来越多来自外部的攻击。中国计算机学会在《2017-2018中国计算机科学技术发展报告》中指出，人工智能系统在应对外部攻击和干扰方面表现薄弱。只要在机器学习模型的输入上加载一点点噪声，机器学习模型的输出就会被极大改变。这种噪声可以小到人类根本无法察觉的程度。并且这种错误的输出并不是因为模型的准度不够高，即使是识别准度达到百分之九十九点几的机器学习模型，攻击者也可以百分之一百地生成这种噪声任意控制其输出。比如能够通过改变单一像素使智能系统对图像的识别产生严重错误；通过刻意编码的音频文件导致智能系统识别出错误的语音指令等。掌握对抗样本技术的攻击者可能在未来支持无人驾驶的道路上涂画噪声，误导无人驾驶车的决策模型，导致车毁人亡的事故。又如，攻击者可以采用人工智能技术误导银行的风险控制模型，使得大量不良贷款获批，最终导致大量坏账，造成国家金融系统紊乱等。

目前，人工智能技术的研发和应用需要投入巨大的资金，然而如果所开发出来的产品的可信性无法保证，再先进的技术也都很难落地。特别是在航空航天、轨道交通、无人驾驶、智能制造、智慧医疗等安全攸关领域，对人工智能系统的正确性、可靠性、安全性、可预测性、可控性等指标方面提出了极高的要求。人们在给予智能计算更广泛的应用空间时，也面临如何理解、规范、控制和优化人工智能系统，使其行为更加可靠可控的挑战。

随着人类生活被人工智能广泛渗透，公众接受人工智能的程度越来越高，人工智能的可信必将越来越受到广泛的关注。过去十年我国在可信计算领域取得了巨大的进步，尤其在面向安全攸关领域的可信软件领域。然而智能计算涉及到“人”、“信息”、“物理”三个要素，相比软件复杂度更高。对于智能计算的可信问题，目前国内外研究尚处于摸索阶段。

在人工智能时代，传统的可信计算概念也被重新诠释。智能计算的“可信性”是在正确性、可靠性、安全性、可预测性、可控性等众多概念的基础上发展起来的一个新概念。值得注意的是，可信不是这些性质的简单叠加，而是在开放、动态环境下对系统行为及其目标需求之间的综合约束。在智能系统中，“可信”是指一个智能实体在开放、动态环境下实现目标需求的动态过程中，其行为及产生结果总是符合人们的预期。它强调目标与实现相符，强调行为和结果的可解释性、可预测性和可控制性。除此之外，可信智能计算还要求在受到诸如环境影响、外部攻击等动态环境干扰时，仍然能够持续提供符合预期的服务。

围绕可信智能计算，CCF青年精英大会(YEF2020)【可信智能计算】技术论坛将从体系架构、硬件芯片、软件算法、道德伦理等多个维度介绍目前最新的可信智能技术与规范，旨在为提高智能计算系统开发效率、改善软硬件设计质量、增强智能计算系统可信等方面提供思路。本次技术论坛的执行主席为来自于华东师范大学的陈铭松教授（现任YOCSEF上海副主席）与石亮教授（候任YOCSEF上海学术秘书）。论坛邀请到了来自于美国杜克大学的陈怡然教授、新加坡南洋理工的刘杨教授、中科院自动化研究所的曾毅研究员、以及来自于中科院信工所的候锐研究员。同时论坛还邀请了来自于工业界如蚂蚁金服与广州恒创智能有限公司的专家参与Panel讨论。论坛将在介绍学术界与产业界高水平研究成果的同时，开展相关的技术思辨讨论。