近年来，以深度学习为代表的人工智能取得突破性进展,然而海量的参数与复杂的处理机制, 使得人类很难追溯与理解其推理过程,造成“知其然,不知其所以然” ，引发人们对算法可信性、公平性产生质疑，一定程度上影响了其在无人驾驶、精准医疗、智能交通等高风险决策工程中的大规模应用．因此探究深度学习的可解释性成为当前人工智能领域研究的新课题。
可解释性相关的研究及应用有所涌现，多个期刊不约而同发表了深度学习可解释性的相关综述，角度和侧重有所差异，本期专题将他们进行汇总，以便读者辨析阅读。利用可解释推理机制对知识图谱进行推断已受到广泛关注，本期专题包含了2位学者的报告视频。同时，专题中还包含AI的可解释探讨及其在安全领域中的应用介绍。
不同于基于大规模监督的深度学习方法，小样本学习旨在从极少的几个样本中学习这类样本的特性，其更符合人脑的视觉认知机制.近年来，小样本学习受到很多学者关注，他们联合元学习训练模式与度量学习理论，挖掘查询集(无标记样本)和支持集(少量标记样本)在特征空间的语义相似距离，取得不错的小样本分类性能.然而，这些方法的可解释性偏弱，不能为用户提供一种便于直观理解的小样本推理过程.为此，提出一种基于区域注意力机制的小样本分类网络INT-FSL，旨在揭示小样本分类中的2个关键问题：1)图像哪些关键位置的视觉特征在决策中发挥了重要作用%2)这些关键位置的视觉特征能体现哪些类别的特性.除此之外，尝试在每个小样本元任务中设计全局和局部2种对比学习机制，利用数据内部信息来缓解小样本场景中的监督信息匮乏问题.在3个真实图像数据集上进行了详细的实验分析，结果表明：所提方法INT-FSL不仅能有效提升当前小样本学习方法的分类性能，还具备良好的过程可解释性.
无人驾驶系统综合了软件和硬件复杂的交互过程，在系统设计阶段，形式化方法可以保证系统满足逻辑规约和安全需求%在系统运行阶段，深度强化学习被广泛应用于无人驾驶系统决策中.然而，在面对没有经验的场景和复杂决策任务时，基于黑盒的深度强化学习系统并不能保证系统的安全性和复杂任务奖励函数设置的可解释性.为此提出了一种形式化时空同步约束制导的安全强化学习方法.首先，提出了一种形式化时空同步约束规约语言，接近自然语言的安全需求规约使奖励函数的设置更具有解释性.其次，展示了时空同步自动机和状态-动作空间迁移系统，保证强化学习的状态行为策略更加安全.然后，提出了结合形式化时空约束制导的安全强化学习方法.最后，通过无人驾驶汽车在高速场景变道超车的案例，验证所提方法的有效性.
建立完善的动力电池回收利用体系是我国新能源汽车高质量发展需要突破的瓶颈问题之一，研究和发展智能化、柔性化、精细化的高效拆解技术是其中的重要环节.但由于受非结构化的拆解环境和拆解过程中的不确定性等因素的影响，目前，动力电池拆解还采用人工为主、机器辅助拆解的方式，不仅低效，而且致使工作人员暴露在危险的工作环境中，亟需向自动化、智能化方式转变.研究基于神经符号理论对动态环境中动力电池的拆解任务进行研究，设计并实现了一套任务和运动规划系统.与现有的动力电池拆解系统相比，系统在自主性、可扩展性、可解释性、可学习性4方面具备明显的优势，这4方面的优势相辅相成，可以不断促进系统的完善和提高，为实现动力电池的智能化拆解铺平了道路.基于该系统实现了在复杂多变的拆解工作环境中动力电池连接约束件的智能拆解，验证了系统的可行性.
知识追踪任务通过建模用户的习题作答序列跟踪其认知状态，进而预测其下一时刻的答题情况，实现对用户知识掌握程度的智能评估.当前知识追踪方法多针对知识点建模，忽略了习题信息建模与用户个性化表征，并且对于预测结果缺乏可解释性.针对以上问题，提出了一个可解释的深度知识追踪框架.首先引入习题的上下文信息挖掘习题与知识点间的隐含关系，得到更有表征能力的习题与知识点表示，缓解数据稀疏问题.接着建模用户答题序列获得其当前知识状态，并以此学习个性化注意力，进而得到当前习题基于用户知识状态的个性化表示.最后，对于预测结果，依据个性化注意力选择一条推理路径作为其解释.相较于现有方法，所提模型不仅取得了更好的预测结果，还能为预测结果提供推理路径层面的解释，体现了其优越性.
认知追踪是一种数据驱动的学习主体建模技术，旨在根据学生历史答题数据预测其知识掌握状态或未来答题表现.近年来，在深度学习算法的加持下，深度认知追踪成为当前该领域的研究热点.针对深度认知追踪模型普遍存在黑箱属性，决策过程或结果缺乏可解释性，难以提供学习归因分析、错因追溯等高价值教育服务等问题，提出一种基于多层注意力网络的认知追踪模型.通过挖掘题目之间多维度、深层次的语义关联信息，建立一种包含题目元素、语义和记录等3层注意力的网络结构，利用图注意神经网络和自注意力机制等对题目进行嵌入表示、语义融合和记录检索.特别是在损失函数中引入提升模型可解释性的正则化项与权衡因子，实现对模型预测性能与可解释强度的调控.同时，定义了预测结果可解释性度量指标——保真度，实现对认知追踪模型可解释性的量化评估.最后，在6个领域基准数据集上的实验结果表明：该方法有效提升了模型的可解释性.
深度学习是当前医疗多变量时序数据分析的主流方法.临床辅助决策关乎病人生命健康，因此深度模型需要抽取患者个性化表示，保证较高的分析、预测准确率%同时还需提供足够的可解释性，即能解释模型给出分析、预测结论的依据.而现有工作暂未能匹配医疗领域多变量时间序列数据的特性来进行个性化表示学习，同时源于深度学习的黑盒性质，现有模型大都可解释性不足，难以满足临床应用的需求.在此背景下，提出了基于医疗特征上下文学习的患者健康状态可解释评估方法Dr.Deep，将各变量的时序特征分别编码，利用多头去协同的自注意力机制，学习不同特征之间关联关系%提出了基于压缩激励机制的特征跳连编码，提升模型对最新病情变化的敏感性并针对不同患者情况分析特征重要性.实验表明：Dr.Deep在重症监护患者脓毒症预测、新冠肺炎重症患者出院时间预测等任务中相比业界方法性能提升，且可以针对不同患者的不同指标自适应学习其重要性作为可解释性的关键因素.同时设计并实现了基于医疗多变量时序数据分析的医生临床辅助系统，该系统建立病人的健康表示学习和预后预测模型并可视化患者病情进展以便医生分析.实验代码已开源于https://github.com/Accountable-Machine-Intelligence/Dr.Deep.所设计的智能医生可视化交互系统已发布于http://47.93.42.104/challenge/100049.
当前，基于协同过滤和隐因子模型的大学生就业推荐方法，仅考虑学生对就业单位单向偏好易导致“能力失配”，且一个用户一次就业的历史记录极易致负样本不可信，影响推荐性能，同时忽略了对推荐结果的可解释性需求.针对此，依据多任务学习的思路，设计并构建了基于互惠性约束的可解释就业推荐方法.其中，引入注意力机制与模糊门机制，提取并自适应聚合学生与就业单位双向的偏好与需求，缓解“能力失配”问题%提出面向就业意图和就业特征的推荐解释方法，满足可解释性需求%提出基于相似度的随机负采样方法，克服负样本不置信问题.在某高校5届毕业生就业真实数据集上的实验结果表明：相比于多个经典和同时代的推荐方法，所提方法在AUC指标上提升超6%，并且通过消融实验验证了所提方法中各模块的有效性.
知识图谱问答是人工智能领域的研究热点之一.在该任务中，自然语言问句结构与知识图谱结构之间的语义匹配是一个具有挑战的研究问题.现有工作主要利用深度学习技术对自然语言问句进行序列化编码，然后与知识图谱子图计算语义匹配，这样做法未充分利用复杂问句的结构信息，方法也缺乏可解释性.针对此问题，提出一种基于图匹配网络的知识图谱复杂问答方法TTQA.首先，通过语法分析方法，构建一个与知识图谱无关的未定查询图.然后，依据未定查询图和给定的知识图谱，构建一个与知识图谱相关的已定查询图，在其中，提出一种图匹配网络GMN，通过结合预训练语言模型和图神经网络技术，再利用注意力机制学习查询结构的上下文表示，从而得到更加丰富的结构匹配表示，用于已定查询图预测.在2个复杂问答数据集LC-QuAD 1.0和ComplexWebQuestions 1.1进行实验，结果表明：TTQA超过了现有方法.同时，通过消融实验验证了GMN的有效性.此外，TTQA生成的未定结构图和已定查询图增强了问答系统可解释性.
近年来，机器学习发展迅速，尤其是深度学习在图像、声音、自然语言处理等领域取得卓越成效.机器学习算法的表示能力大幅度提高，但是伴随着模型复杂度的增加，机器学习算法的可解释性越差，至今，机器学习的可解释性依旧是个难题.通过算法训练出的模型被看作成黑盒子，严重阻碍了机器学习在某些特定领域的使用，譬如医学、金融等领域.目前针对机器学习的可解释性综述性的工作极少，因此，将现有的可解释方法进行归类描述和分析比较，一方面对可解释性的定义、度量进行阐述，另一方面针对可解释对象的不同，从模型的解释、预测结果的解释和模仿者模型的解释3个方面，总结和分析各种机器学习可解释技术，并讨论了机器学习可解释方法面临的挑战和机遇以及未来的可能发展方向.
深度学习在很多人工智能应用领域中取得成功的关键原因在于，通过复杂的深层网络模型从海量数据中学习丰富的知识。然而，深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果，造成深度学习模型的不可解释性，从而限制了模型的实际部署。因此，亟需提高深度学习模型的可解释性，使模型透明化，以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研，从可解释性原理的角度对现有方法进行分类，并且结合可解释性方法在人工智能领域的实际应用，分析目前可解释性研究存在的问题，以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。
深度学习的可解释性研究是人工智能、机器学习、认知心理学、逻辑学等众多学科的交叉研究课题，其在信息推送、医疗研究、金融、信息安全等领域具有重要的理论研究意义和实际应用价值.从深度学习可解释性研究起源、研究探索期、模型构建期3方面回顾了深度学习可解释性研究历史，从可视化分析、鲁棒性扰动分析、敏感性分析3方面展现了深度学习现有模型可解释性分析研究现状，从模型代理、逻辑推理、网络节点关联分析、传统机器学习模型改进4方面剖析了可解释性深度学习模型构建研究，同时对当前该领域研究存在的不足作出了分析，展示了可解释性深度学习的典型应用，并对未来可能的研究方向作出了展望.
深度学习技术以数据驱动学习的特点，在自然语言处理、图像处理、语音识别等领域取得了巨大成就。但由于深度学习模型网络过深、参数多、复杂度高等特性，该模型做出的决策及中间过程让人类难以理解，因此探究深度学习的可解释性成为当前人工智能领域研究的新课题。以深度学习模型可解释性为研究对象，对其研究进展进行总结阐述。从自解释模型、特定模型解释、不可知模型解释、因果可解释性四个方面对主要可解释性方法进行总结分析。列举出可解释性相关技术的应用，讨论当前可解释性研究存在的问题并进行展望，以推动深度学习可解释性研究框架的进一步发展。
尽管机器学习在许多领域取得了巨大的成功，但缺乏可解释性严重限制了其在现实任务尤其是安全敏感任务中的广泛应用.为了克服这一弱点，许多学者对如何提高机器学习模型可解释性进行了深入的研究，并提出了大量的解释方法以帮助用户理解模型内部的工作机制.然而，可解释性研究还处于初级阶段，依然还有大量的科学问题尚待解决.并且，不同的学者解决问题的角度不同，对可解释性赋予的含义也不同，所提出的解释方法也各有侧重.迄今为止，学术界对模型可解释性仍缺乏统一的认识，可解释性研究的体系结构尚不明确.在综述中，回顾了机器学习中的可解释性问题，并对现有的研究工作进行了系统的总结和科学的归类.同时，讨论了可解释性相关技术的潜在应用，分析了可解释性与可解释机器学习的安全性之间的关系，并且探讨了可解释性研究当前面临的挑战和未来潜在的研究方向，以期进一步推动可解释性研究的发展和应用.
利用可解释推理机制对知识图谱进行推断是一个非常重要的问题，已受到广泛关注。本报告提出一种新型的知识图谱学习框架 CognitiveGraph, 该框架建立在认知科学dual process 理 论基础上，通过协调内涵抽取模块和外延推理模块迭代构建认知图谱，并且给出了一种可解释推理路径。CognitiveGraph 框架的实现基于 BERT 和图神经网络 GNN, 能够有效的处理超大规模节点网络，已经成功应用于许多领域，包括基于推理的问答系统 ( HotpotQA ) ，表现出相对现有方法最好的性能。
知识图谱表示的向量化使得我们可以实现更易于泛化的可微分推理。然而， 基于表示学习实现的知识图谱推理和链接预测丢失了传统符号计算方法的可解释性，即：模型无去对基于向量计算或神经网络训练后得出的推理结论进行解释，导致只知结果但不知为什么。在很多真实的应用场景下，黑盒模型的可解释性缺乏导致很多应用不得不放弃采用表示学习方法 。本报告尝试探讨知识图谱与表示学习的可解释性之间的关系，具体针对基于表示学习实现的知识图谱推理的可解释性问题提出一些研究思路和解决方法，并结合真实的应用场景介绍相关的一些实践。
《计算机研究与发展》编辑部主任
