联手计算机视觉专业委员会：“电力视觉”术语发布 | CCF术语快线

InfoBox：

中文名：电力视觉

英文名：Computer Vision Technology in Electric Power System

简写：PowerCV

学科：电子信息

背景：

计算机视觉是目前人工智能领域最为活跃的子领域之一，在人脸识别、医学图像识别、无人驾驶等领域取得了大量的研究成果，在自动驾驶、医学、零售、制造、军事、遥感和公共安全等领域得到了广泛应用。随着计算机视觉技术的发展，研究者在电力行业中开展了研究及应用工作。

20世纪出现的大规模电力系统是人类工程科学史上最重要的成就之一，电力工业作为国民经济发展中重要的能源产业，与人们的日常生活、社会稳定密切相关。在电力生产中，设备及作业过程的状态监测对于安全性有着重要的作用，需要及时对电力设备及作业过程进行状态监测。常规的电力设备及作业过程状态监测一般通过人工巡检的方式进行，这种方式简单有效，是电力安全监测必不可少的环节。视觉巡检是日常巡检的主要工作内容，但是常规的人工视觉巡检方式存在许多问题：①巡检人员的安全难以保证。需要进行巡检的电力设备一般都是带电设备，且电压等级比较高。一旦巡检人员发生安全事故，无法进行及时有效的处理。②人工巡检的效率低下。通过人工的方式进行设备巡检，需要对电力设备进行逐步的排查，巡检人员的工作强度较大，如果遇上恶劣天气更加影响工作效率。③巡检故障发现率低，且无法进行实时监测。由于人工视觉巡检主要通过肉眼来判断，主观性较强，容易出现漏检问题；同时户外环境恶劣，设备随时有故障隐患的发生，日常定时巡视会导致缺陷无法及时发现。因此，人工视觉巡检方式的信息化智能化程度低，工作量繁重，需要采用人工智能技术进行辅助或替代工作。

概述：

电力人工智能是人工智能的相关理论、技术和方法与电力系统的物理规律、技术与知识融合创新形成的电力“专用人工智能”。在电力人工智能的框架下，提出电力视觉技术概念。电力视觉是一种利用机器学习、模式识别、数字图像处理等方法，结合电力行业领域知识解决电力系统各环节中视觉问题的电力人工智能技术。

电力视觉是计算机视觉技术在电力行业中的研究及应用，主要研究如何将计算机视觉技术与电力工业特点相结合，研究如何将人工肉眼进行的视觉检查方式用计算机视觉技术进行辅助或替代工作，并进行实际的算法实现与系统应用。电力视觉针对电力工业的应用场景，面向新一代电力系统发展的需求，涵盖“发输变配用”各个环节；结合电力行业领域知识，探索将计算机视觉用于电力工业场景的方法，形成与行业领域相结合的专用计算机视觉技术；从模型设计、算法选择、场景应用几个方面进行研究与实践，以解决电力系统各环节中视觉问题。电力视觉技术框架如图1所示。重点场景包括架空输配电线路、变电站、开关站、光伏电站、风电场、火力发电厂、核电厂、水电站、垃圾电站等。电力视觉涉及到多种关键技术，包括目标识别、目标检测、目标分割、目标跟踪、模型压缩、边缘计算等。

图1 电力视觉技术框架

任务划分：

电力视觉具体的研究内容主要包括：图像\视频获取，预处理，数据库与知识库构建，目标识别、检测、分割，缺陷分析与解释等，实现对电力设备表面缺陷的视觉检测及作业过程的风险辨识，保障电力生产安全运行。电力视觉任务可以按照处理的智能强度从低到高进行层次划分。低级处理包括图像\视频的获取和预处理，中级处理包括目标识别、检测、分割，高级处理包括缺陷分析与解释。图2为电力视觉技术的任务层次划分。

图2 电力视觉技术的任务层次划分

电力视觉研究的核心为巡检（或监控）图像（或视频）构成的数据库，以及专家知识构成的知识库。采集到的图像（或视频）经过预处理之后进行目标识别、检测、分割，得到部件及缺陷的检测结果，并与知识库结合，形成最终的缺陷分析与解释。

图像\视频获取通过不同的方式进行，包括：输配电线路的无人机巡线、变电站的移动机器人巡检、变电设备的固定视频监控、发电厂移动平台检测、作业过程布控球与执法仪监测、输配线路和变电站的卫星遥感监测等，产生海量多源图像视频大数据；

目标识别、检测、分割，以深度学习算法为主要方法，针对不同的应用场景，选择不同的目标识别、检测和分割模型，实现对部件及缺陷的检测；

缺陷分析与处理：协调数据驱动和模型驱动，并结合先验知识与逻辑推理，形成缺陷分析与解释的最终结果。

常用模型：

早期基于图像处理和特征工程的视觉缺陷检测方法对图像质量的要求较高，无法真正应用于现实复杂的电力行业视觉检测环境；随着深度学习的兴起，基于深度学习的检测模型可以有效地将部件目标及缺陷从复杂的图像中提取出来，既节省了人工设计特征的时间，又在性能上达到了显著提升，因此逐渐成为主流研究方法。

相较于基于数字图像处理的目标检测方法而言，基于深度学习的计算机视觉技术最大的优点在于目标检测准确度高。同时还有许多其他优点：深度学习可以从原始数据中自主提取多层次多角度的特征而不需要人工提取特征；深度学习具有更强的泛化能力和表达能力，即具有平移不变性；深度学习技术能够处理复杂背景下的目标检测，虽然复杂环境对于基于深度学习的目标检测模型有不可忽略的影响，但是依然比传统方法更适应于复杂多变的现实环境。因此，基于深度学习的目标检测模型是目前处理电力巡检图像\视频的最优选择。

研究重点：

目前，电力视觉技术研究中存在以下难点问题，因此也是研究重点：

（1）电力设备所处的室外和室内环境复杂，获取的图像\视频背景复杂，不易分辨视觉研究对象和背景；

（2）无人机、机器人等获取的图像\视频中存在较多干扰因素，如光照、遮挡、尺度及旋转等；

（3）视觉研究对象多种多样，其中存在较难判别的相似目标，同种目标的缺陷由于其不规则性（形状、颜色、纹理或其他属性等）难以进行特征表达；

（4）对于小样本、小尺度缺陷的检测在理论和应用上的研究还远远不够；

（5）目标检测模型只专注直观感知类问题，存在泛化能力弱、解释性差、没有推理能力、过拟合等问题，对电力部件语义及结构关系等知识利用不足；

（6）需要将电力行业知识与现有的检测模型相结合，构建基于数据和知识双驱动的人工智能模型；

（7）电力生产作业过程复杂，安全风险蕴含在作业人员-电力设备-环境等多元交互过程中，如何从复杂的动态作业过程影像中进行风险研判是进一步的研究重点。

技术发展：

（1）从数据预处理层面来看，针对电力视觉检测中缺陷样本不足或出现新的缺陷等问题，少样本或零样本学习方法是一个值得尝试的解决途径；面对训练样本不平衡问题，生成式对抗网络、扩散模型等方法作为样本扩增方式，可以为该问题提供解决思路，具有研究及应用价值。此外，解决缺陷样本不足和样本不平衡的问题，也可以采用平行视觉及平行图像方法。

（2）从视觉检测算法层面来看，只用基于数据的视觉技术不能很好解决电力部件缺陷检测问题。为了应对未来应用中的难点视觉问题，必须结合电力行业的领域知识。比如，把电力领域知识经验形成知识图谱，引入机器学习算法，利用知识、数据和模型同时驱动，以解决电力视觉检测中的难点问题。为了更好地进行缺陷分析与解释，还需要高层常识知识的推理。所以，通过深入研究电力部件与其缺陷的属性、结构、关联、规则、关系和因果等来完成视觉推理，是视觉检测技术能满足电力生产需求的精度与效率的有益尝试。

（3）从电力行业专有知识的提取方面来看，仅仅利用先进通用目标检测算法难以有效解决电力视觉检测的特殊性和突出性问题，这类问题集中在如何有效地对部件间复杂关系的建模上。电力设备各部件存在大量复杂的专业性知识，并决定其缺陷的判断，常常表现为部件与背景的关系、部件与部件的关系、缺陷与背景的关系、缺陷与部件的关系。可以通过对部件间关系建模来构建出符合电网实际故障判定标准的缺陷检测模型，从模型自动知识学习和外部专家知识指导两种思想开展研究，主要涉及缺陷知识的自动提取、各部件位置和标签之间的关系聚类、构建输电线路部件缺陷知识图谱等方法。

（4）从本地工程应用层面来看，电力视觉和边缘智能彼此赋能催生出电力视觉边缘智能新范式，即是通过边缘智能对电力视觉影像进行处理，在更靠近感知终端处完成视觉影像的分析和计算，是一种新型的电力视觉计算模式。具体而言是通过在无人机、机器人和摄像头等智能感知终端上搭载边缘计算装置，或者利用附近的边缘服务器计算资源，对智能终端感知的视觉影像数据进行实时地分析和处理，从而快速检测出巡检视觉影像中存在的设备缺陷，对识别出缺陷的电力设备及时报警，并将识别的结果和部分视觉影像上传至云计算中心。

（5）从场景落地应用角度来看，以电力生产中无人机、机器人、固定视频监控、安全管控球、执法仪、智慧安全帽多源影像为基础，通过机器视觉、图表示学习和风险性分析等技术手段，挖掘工业生产中人、工器具、设备、环境和专业性作业等之间的关联关系，借助面向生产安全知识的知识图谱及高层图像理解技术，揭示和描述工业生产外在安全风险的特征属性，实现对电力生产运维过程中输变电设备、作业安全风险及潜在隐患的存在性分析及智能化解译。并依据电力领域的场景特殊性，制定电力视觉场景专用的算法性能评价体系，开发标准的算法性能测试工具，将会是其落地应用的关键。

参考文献

[15]Deng X, Zhang Z. Graph-free knowledge distillation for graph neural networks[C]// Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, 2021.

作者介绍