图1 红外图像及其高低频分量
Fig.1 Infrared image and its high and low frequency components
摘要 针对现有红外图像分辨率低、清晰度差，易影响基于红外图像的电气设备故障检测效果的缺点，提出一种基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法。该文构建了基于多尺度协作模型的电气设备红外图像超分辨率重建网络，该网络以生成对抗网络为基础，通过引入多尺度协作模型和双通道结构，改善了超分辨率重建网络对红外图像的适应性，并优化了图像特征提取效果。在实现红外图像超分辨率重建基础上，结合深度学习目标检测方法，建立电气设备红外图像超分辨率故障辨识模型。针对所提方法进行了实验验证，实验结果表明：经该文所提超分辨率重建网络后，红外图像质量可明显提升，峰值信噪比（PSNR）、结构相似性（SSIM）值可分别提高至27.26dB、0.828 3；采用该文所提红外图像超分辨率故障辨识模型可显著提高故障辨识效果，mAP、mAR、mAC和mAIOU值平均相对提高了19.34%、19.14%、11.83%和25.03%。
关键词：超分辨率重建 红外图像 多尺度协作 故障辨识
对电气设备运行状态进行有效监测并对其故障进行准确诊断可有效提高电力系统安全稳定性[1]。红外检测技术因其直观高效、安全非接触等优点在电气设备故障检测及诊断中得到广泛应用[2]。然而，受硬件发展水平制约，现有红外热成像仪捕获的红外图像通常存在空间分辨率低、清晰度差等缺点，使得基于红外图像的电气设备故障检测结果可信度较低。受传输带宽、存储空间及感光元件等诸多限制，直接通过提高硬件水平以提升红外图像分辨率的方法难度较大、成本较高。为提高基于红外图像的电气设备故障检测效果，亟需提出一种切实有效的电气设备红外图像分辨率提升方法，并实现基于红外图像的电气设备故障精准辨识。
随着人工智能技术的发展，基于深度学习的数字图像目标检测算法被广泛应用于电气设备故障检测中[3-4]。白洁音等[5]在FRCNN（faster regions with convolutions neutral networks feature）算法框架下对输电线路多目标故障进行检测，Miao Xiren等[6]利用SSD（single shot multibox detector）算法对绝缘子进行检测，实验证明了上述算法具有较高的准确度。然而，目标检测算法主要由海量数据驱动，图像质量会直接影响模型表达能力，但现有红外图像存在空间分辨率低等问题，严重影响了目标检测模型的泛化能力。
图像超分辨率重建可基于软件方法将低分辨率图像重建为高分辨率图像，该理论的提出为图像质量提升提供了新的低成本解决方案[7]。针对图像超分辨率重建技术，Tong Tong等[8]将密集连接结构应用于超分辨率网络，实现了图像多层特征高效融合；Zhang Yulun[9]等将残差稠密块结构应用于超分辨率网络，实现了图像局部特征的高效提取。但上述方法在提高分辨率的同时丢失了原有图像的细节特征。为此，感知损失函数及生成对抗网络被应用于超分辨率重建中[10-11]，上述方案提高了图像局部清晰度，但却降低了图像整体信噪比。在电力系统中，超分辨率重建技术已开始应用。陈智雨等[12]、白万荣等[13]分别采用超分辨率重建技术实现了电力线路及绝缘子的可视化检测，提高了故障检测效果。然而，上述方法构建的超分辨率重建网络均采用单一尺度卷积核，但是电气设备种类繁多、大小不一，且电气设备红外拍摄角度及拍摄距离多变，使得电气设备红外图像待分析区域尺度多变，采用单一尺度卷积核会影响电气设备红外图像超分辨率重建结果。
据此，本文提出一种基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法。首先，建立一种基于多尺度协作模型（Multi-Scale Collaboration Block，MSCB）的红外图像超分辨率重建网络，该网络以生成对抗网络为核心，通过引入多尺度协作模型及双通道结构，提高超分辨率重建网络对电气设备红外图像适应性，并优化重建效果；然后，在图像超分辨率重建的基础上，结合深度学习目标检测算法，实现电气设备红外图像故障辨识；最后，通过实验验证了该方法的有效性。
为提升电气设备红外图像超分辨率重建效果，本文以生成对抗网络为核心，提出了一种基于多尺度协作模型的红外图像超分辨率重建方法。
生成对抗网络由生成器和判别器组成，是一种典型的无监督型深度学习网络[14]。生成器可提取低分辨率（Low Resolution）图像（简称LR图像）分布特征，并生成超分辨率（Super Resolution）图像（简称SR图像）。判别器可判断SR图像与真实高分辨率（High Resolution）图像（简称HR图像）的差异，并通过训练迭代使SR图像与HR图像无限接近，最终实现了任意图像的超分辨率重建。
此外，考虑到电气设备红外图像中高频分量一般为温度变化较明显区域，低频分量一般为背景区域，红外图像及其高低频分量如图1所示。为充分提取图像特征，本文在生成器中设计了可分别提取高频分量及低频分量的双通道结构，以便优化超分辨率重建效果。
图1 红外图像及其高低频分量
Fig.1 Infrared image and its high and low frequency components
同时，为适应电气设备红外图像拍摄对象、拍摄距离多变等特点，并更好地学习图像特征，本文在超分辨率重建中引入了具备不同尺度卷积核和密集连接结构的多尺度协作模型。
综上所述，本文所提基于多尺度协作模型的电气设备红外图像超分辨率重建方法，其网络结构如图2所示。该网络结构包括生成器和辨别器两个部分。生成器中包括高、低频特征提取通道和像素混合模块，高频通道由17级MSCB组成，低频通道由1级MSCB组成，像素混合模块由1个像素混合层和若干卷积层组成；辨别器由多个卷积层和批量归一化层组成，并由全连接层实现SR图像与HR图像间差异的判定。
图2 基于多尺度协作模型的图像超分辨率重建网络基本结构
Fig.2 Image super-resolution reconstruction network structure based on multi-scale collaboration model
进行网络结构优化训练时，损失函数可选择综合损失函数[15]，该损失函数兼顾了像素损失与感知损失，可使重建后的图像有更锐利的边缘和更丰富的纹理，并提高超分辨率重建效果。
为充分适应电气设备红外图像特点，提高红外图像超分辨重建效果，本文构建了多尺度协作模型，其结构如图3所示。MSCB具备三旁路结构，各旁路均具有三个卷积层，且各旁路卷积层的卷积核尺度分别为5´5、7´7及9´9。此外，MSCB通过残差学习及旁路间密集连接优化卷积层间的协作能力，进一步增强红外图像多尺度特征提取能力，提高超分辨率重建网络对电气设备红外图像的适用性。
图3 多尺度协作模型结构
Fig.3 Multi-scale collaboration block structure
MSCB各旁路特征计算过程如式（1）所示。
（1）式中，
、
、
（i =1, 2, 3; j=1, 2, 3）分别为第i个旁路第j个卷积层权重、卷积层偏差及该卷积层提取的特征图；δ(·)表示ReLU激活函数；Res(·)表示残差学习函数；Mn-1及Mn分别为本级MSCB及上级MSCB最终确定的特征图，且计算方法可表示为
（2）
式中，
及
分别为Mn前置卷积层的权重及偏差。
由MSCB结构及计算方法可知，MSCB的输入和输出具有相同数目的特征映射，故可将多个MSCB串联使用。
为证明本文所提红外图像超分辨率方法有效性，进行了实验验证。软件环境为Python，BatchSize设置为8，优化器为Adam；硬件环境CPU为IntelI7-9700F，内存128GB，GPU为RTX2080ti×2，显存22GB。
数据集采用DIV2K[16]和自制电气设备红外数据集，样本数目共8 000，且尺寸均为128×100。以原样本为HR图像，分别进行4倍下采样操作，可得到尺寸为32×25的LR图像。本文随机选取7 000张图像作为训练集，另1 000张图像作为测试集。
本文选择峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）及结构相似性（Structural Similarity, SSIM）[17]等指标对图像超分辨率重建效果进行综合评价，其中PSNR的单位为分贝（dB），PSNR越大代表重建图像相比真实图像失真越少，SSIM的值在0～1之间，SSIM越大代表重建图像与真实图像的结构相似性越高。
2.2.1 双通道结构有效性验证
本文采用双通道结构分别提取红外图像高频部分及低频部分特征，为验证此方法有效性，分别构建了具备单通道结构和双通道结构的超分辨率重建网络，其中单通道结构仅保留了高频信息通道。图4为两模型超分辨率重建效果评价指标。
图4 双通道及单通道结构超分辨率重建效果评价指标对比
Fig.4 Comparison of image reconstruction indexes between single and dual channel network structure
由图4结果可知，由于双通道兼顾了原始红外图像高频信息及低频信息，故采用双通道结构进行红外图像超分辨率重建，其重建效果评价指标明显优于单通道。因此采用双通道结构可提高红外图像超分辨率重建网络的性能。
2.2.2 多尺度协作模型有效性验证
为适应电气设备图像尺度多变特性，并进一步提高超分辨重建效果，本文引入多尺度协作模型，该模型采用多尺度卷积核和密集连接结构。
图5为采用多尺度卷积核与单尺度卷积核超分辨率重建效果评价指标对比结果，其中单尺度卷积核分别为5´5卷积核及7´7卷积核。
图6为采用密集连接结构与稀疏连接结构超分辨率重建效果评价指标对比结果。其中，在稀疏连接结构中，仅保留了平行卷积块间残差连接。
图5 多尺度卷积核及单尺度卷积核超分辨率重建效果评价指标
Fig.5 Comparison of image reconstruction indexes between single-scale and multi-scale convolution structure
图6 密集连接及稀疏连接超分辨率重建效果评价指标
Fig.6 Comparison of image reconstruction indexes between sparse connection and dense connection structure
由图5及图6结果可知，采用多尺度卷积核及密集连接结构均可提升超分辨率重建效果评价指标。进一步分析可知，利用多尺度卷积核可实现原始低分辨率红外图像在不同粒度上的特征采集，解决红外图像中待检测区域尺度多变对超分辨率重建特征提取过程的不利影响；利用密集连接结构可增加卷积核间信息的共享程度，进一步提高特征提取的效果。同时，多尺度协作模型兼具多尺度卷积核及密集连接结构，故采用多尺度卷积核可有效提升红外图像超分辨率重建效果。
为了进一步验证本文方法的有效性，将本文方法超分辨重建结果与双三次插值（Bicubic）、深度超分辨率（Very Deep Super-Resolution, VDSR）算法[18]、增强型超分辨率生成对抗网络（Enhanced Super-Resolution Generative Adversarial Networks, ESRGAN）[15]等常用方法重建结果进行了对比。Bicubic、VDSR、ESRGAN软硬件环境及样本设置与本文方法保持一致。
表1为各方法对测试样本进行红外图像超分辨率重建后，重建效果评价指标计算结果平均值。图7为各方法对某红外图像测试样本进行超分辨率重建结果局部细节对比。
表1 各方法超分辨率重建效果评价指标平均值
Tab.1 Evaluation index of super-resolution reconstruction effect of each method
指标BicubicVDSRESRGAN本文方法 PSNR/dB23.4126.6927.1127.26 SSIM0.666 10.728 10.819 10.828 3
由表1结果可知，本文方法重建结果的PSNR和SSIM指标分别达到27.26dB和0.828 3，明显较高。且由图7结果可知，采用本文方法对红外图像超分辨率重建，设备边缘处更加清晰，且重建图像清晰度更高。综上所述，本文方法红外图像超分辨率重建效果明显优于其他方法。
图7 红外图像超分辨率重建结果细节对比
Fig.7 Comparison of details of infrared image reconstruction algorithms
利用深度学习目标检测网络可实现红外图像故障辨识，上述方法均基于数据驱动，提高图像质量可有效提升深度学习目标检测网络性能，并提高基于红外图像的故障辨识效果。据此，本文提出了电气设备红外图像超分辨率故障辨识方法，该方法具体结构如图8所示。
图8 电气设备故障超分辨率辨识方法结构
Fig.8 Flowchart of super resolution fault identification method for electrical equipment
具体步骤为：
（1）采用本文所提方法对原始红外图像样本进行超分辨率重建，并由重建结果构建SR数据集。
（2）将SR数据集分为SR训练集和SR测试集，并利用SR训练集训练目标辨识网络，确定网络参数。
（3）利用训练好的网络对SR测试集进行故障辨识，并将故障辨识结果输出。
3.2.1 实验数据集
本文采集了共计1 000张电气设备异常升温红外图像，且包含互感器、穿墙套管、电容器、绝缘子及避雷器共计五种设备[19]，同时红外图像采集时光照强度、环境背景、拍摄角度、拍摄距离等均不相同。表2为样本组成情况，共选取700张图像作为训练集，300张图像作为测试集。各样本图像均仅是单类设备的红外图像，但单张样本中可能存在多处故障区域，如图9中某互感器故障红外图像样本中包含两处故障区域，故测试样本中待检测故障数目高于测试样本总数。
表2 样本种类及数量
Tab.2 Types and quantities of data
设备种类标签样本数量训练集数量测试集数量/待检测故障数 互感器T26818781/114 穿墙套管B22815969/77 电容器C20914663/88 绝缘子I19113457/57 避雷器A1047430/40
图9 互感器故障红外图像
Fig.9 Infrared image of transformer failure
3.2.2 实验结果与分析
目前基于深度学习的目标检测算法主要分为两类[20]；一类是一阶段法，代表算法为SSD[21-22]和YOLOv4[23]；另一类是二阶段法，代表算法为Faster-RCNN[24]。为了证明本文超分辨率故障检测算法的有效性，本文分别选取上述三种目标检测网络，构建电气设备红外故障辨识模型。
此外，为验证本文所提红外图像超分辨率故障辨识方法优越性，本文除对各样本进行超分辨率处理，构建SR数据集（简称S集）外，仍以原始低分辨率样本为基础，构建了LR数据集（简称L集），并分别采用两组数据集对目标检测网络进行训练与测试，完成故障辨识。
本文采用平均准确率（Average Precision, AP）、平均召回率（Average Recall, AR）、平均置信度（Average Confidence, AC）以及平均交并比（Average Intersection over Union, AIOU）[25-26]等指标对故障辨识效果进行评价。其中，AP值越高代表辨识结果中正确辨识的数量越多，即误检率越低；AR值越高代表所有待辨识的故障中被辨识出的故障数量越多，即漏检率越低；AC可反映所有被辨识出的故障的置信度，其值越高说明辨识结果的可信任程度越高；AIOU可反映所有被辨识出的故障的定位精度，其值越高说明故障定位结果越准确。各指标计算公式为
（3）
（4）
（5）
（6）式中，
，M为故障类别总数；Nm为第m类故障类别测试图像总数；
、
、
分别为第m类故障类别下第n张测试图像真正例数（即故障区域成功辨识）、假正例数（即非故障区域误判为故障区域）及假负例数（即故障区域漏判）；
及
为第m类故障类别下第k个真正例置信度及交并比，其中IOU表示真实区域与辨识区域间相交面积与相并面积的比值。最终各方法辨识效果评价指标见表3～表6。
表3 各方法故障辨识平均准确率对比
Tab.3 Comparison of fault identification AP of each method(%)
标签SSDYOLOv4Faster-RCNN L集S集L集S集L集S集 T65.23 80.86 73.87 80.86 75.51 82.10 B43.72 63.53 47.71 69.81 56.52 69.57 C65.61 74.60 71.22 79.10 71.01 83.33 I71.93 87.72 80.70 91.23 82.46 91.23 A68.33 95.83 76.72 91.11 85.56 91.11
表4 各方法故障辨识平均召回率对比
Tab.4 Comparison of fault identification AR of each method(%)
标签SSDYOLOv4Faster-RCNN L集S集L集S集L集S集 T63.37 79.01 73.05 80.25 74.07 81.48 B43.48 64.98 51.45 72.22 57.25 71.74 C62.04 74.47 73.68 78.84 73.28 82.14 I71.93 87.72 80.70 91.23 82.46 91.23 A68.61 96.67 79.72 91.67 87.22 91.67
表5 各方法故障辨识平均置信度对比
Tab.5 Comparison of fault identification AC of each method
标签SSDYOLOv4Faster-RCNN L集S集L集S集L集S集 T0.84 0.95 0.88 0.98 0.93 0.99 B0.74 0.88 0.81 0.93 0.86 0.94 C0.79 0.94 0.84 0.98 0.90 0.97 I0.79 0.91 0.86 0.98 0.88 0.98 A0.88 0.92 0.87 0.97 0.91 0.97
表6 各方法故障辨识平均交并比对比
Tab.6 Comparison of fault identification AIOU of each method
标签SSDYOLOv4Faster-RCNN L集S集L集S集L集S集 T0.61 0.78 0.60 0.77 0.62 0.77 B0.61 0.79 0.59 0.76 0.64 0.76 C0.63 0.81 0.62 0.79 0.64 0.80 I0.69 0.83 0.63 0.78 0.66 0.80 A0.61 0.78 0.60 0.75 0.61 0.77
由表3～表6结果可知，经超分辨率重建后，各深度学习目标检测网络下故障辨识效果指标均显著提升，这表明，本文方法可有效提高红外图像故障辨识效果。
图10给出了采用YOLOv4目标检测网络时，某互感器红外图像测试样本原始图像（LR图像）及其超分辨率图像（SR图像）的故障辨识结果。
图10 某互感器红外图像测试样本超分辨率前后故障辨识结果对比
Fig.10 Comparison of infrared image identification results of a wall bushing
由图10可知，该样本实际有两处故障区域，但LR图像仅能辨识出一处故障区域；相比SR图像，LR图像辨识结果置信度较低，且辨识结果与真实故障区域相比，辨识范围偏大，造成故障定位精度下降。进一步分析可知，LR图像Ⅱ处故障区域及其边缘模糊，且受互感器金具的干扰，故该处故障辨识失败；而经本文方法超分辨率重建后，有效地提高了故障区域及其边缘处的清晰度，故Ⅱ处故障区域被成功辨识，且故障辨识效果有效提升。
为对测试样本整体的辨识效果进行评价，可计算各故障类别下辨识效果评价指标的均值，得到均值平均准确率（mean AP，mAP）、均值平均召回率（mean AR，mAR）、均值平均置信度（mean AC，mAC）以及均值平均交并比（mean AIOU，mAIOU），其结果见表7。
表7 各方法故障辨识效果对比
Tab.7 Comparison of fault identification effect of each method
标签SSDYOLOv4Faster-RCNN L集S集L集S集L集S集 mAP (%)62.9680.5170.0482.4274.2183.47 mAR (%)61.8980.5771.7282.8474.8683.65 mAC0.810.920.850.970.900.97 mAIOU0.630.800.610.770.640.78
由表7结果计算可知，对电气设备红外故障图像经本文所提超分辨率重建后，各方法故障辩识结果的mAP、mAR、mAC和mAIOU值平均相对提高了19.34%、19.14%、11.83%和25.03%。这表明，本文方法可有效减少电气设备红外图像故障辨识的误判率及漏判率，并提高故障辨识结果可信度及定位精度。
本文提出了一种基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法，该方法通过超分辨率重建提升原始红外图像分辨率，结合深度学习目标检测算法实现电气设备红外图像故障辨识。本文主要结论如下：
1）多尺度协作模型可提高对电气设备红外图像的适用性，双通道结构可兼顾红外图像高、低频信息，综合上述方法可改进超分辨率重建网络。实验结果表明：本文方法可有效提高红外图像超分辨率重建效果，且PSNR、SSIM值可分别提高至27.26dB、0.828 3。
2）利用红外图像超分辨率重建结果，结合深度学习目标检测算法，可实现基于电气设备红外图像故障辨识。实验结果表明，利用本文方法进行超分辨率重建后，可降低故障辨识结果的误判率及漏检率，并提高故障辨识结果的置信度及定位精度。经计算，本文方法可使mAP、mAR、mAC和mAIOU值平均相对提高19.34%、19.14%、11.83%和25.03%。
参考文献
[1] Xia Changjie, Ren Ming, Wang Bing, et al. Infrared thermography-based diagnostics on power equipment: state-of-the-art[J]. High Voltage, 2020, DOI:10.1049/ hve2.12023.
[2] 李玉杰, 李洪涛, 宋思齐, 等. 基于红外的GIS内部导体温度检测技术研究[J]. 电力工程技术, 2019, 38(2): 142-146.
Li Yujie, Li Hongtao, Song Siqi, et al. Temperature detection of internal conductor in GIS based on infrared thermal imaging[J]. Electric Power Engineering Technology, 2019, 38(2): 142-146.
[3] 周念成, 廖建权, 王强钢, 等. 深度学习在智能电网中的应用现状分析与展望[J]. 电力系统自动化, 2019, 43(4): 180-191.
Zhou Niancheng, Liao Jianquan, Wang Qianggang, et al. Analysis and prospect of the application of deep learning in smart grid[J]. Automation of Electric Power Systems, 2019, 43(4): 180-191.
[4] 孙曙光, 李勤, 杜太行, 等. 基于一维卷积神经网络的低压万能式断路器附件故障诊断[J]. 电工技术学报, 2020, 35(12): 2562-2573.
Sun Shuguang, Li Qin, Du Taihang, et al. Fault diagnosis of accessories for the low voltage conventional circuit breaker based on one-dimensional convolutional neural network[J]. Transactions of China Electrotechnical Society, 2020, 35(12): 2562-2573.
[5] 白洁音, 赵瑞, 谷丰强, 等. 多目标检测和故障识别图像处理方法[J]. 高电压技术, 2019, 45(11): 3504-3511.
Bai Jieyin, Zhao Rui, Gu Fengqiang, et al. Multi-target detection and fault recognition image processing method[J]. High Voltage Engineering, 2019, 45(11): 3504-3511．
[6] Miao Xiren, Liu Xinyu, Chen Jing, et al. Insulator detection in aerial images for transmission line inspection using single shot multi-box detector[J]. IEEE Access, 2019: 9945-9956．
[7] Chao Dong, Chen Change Loy, He Kaiming, et al. Image Super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.
[8] Tong Tong, Li Gen, Liu Xiejie, et al. Image super-resolution using dense skip connections[C]//IEEE 2017 International Conference on Computer Vision, Venice, Italy, 2017: 4809-4817.
[9] Zhang Yulun, Tian Yapeng, Kong Yu, et al. Residual dense network for image super-resolution[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2018: 2472-2481.
[10] Justin Johnson, Alexandre Alahi, Li Fei-Fei. Perceptual losses for real-time style transfer and super-resolution[C]//European Conference on Computer Vision, Amsterdam: Springer, 2016: 694-711.
[11] Christian Ledig, Lucas Theis, Ferenc Huszár, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//IEEE Conference on Computer Vision and Pattern Recognition, Hawaii, 2017: 105-114.
[12] 陈智雨, 巩少岩, 俞学豪, 等. 基于自学习超分辨率的电力线路巡检可视化[J]. 电力信息与通信技术, 2019, 17(9): 11-16.
Chen Zhiyu, Gong Shaoyan, Yu Xuehao, et al. Super-resolution visual patrol inspection for power line based on self-learning[J]. Electric Power Information and Communication Technology, 2019, 17(9): 11-16.
[13] 白万荣, 张驯, 朱小琴, 等. 基于E-FCNN的电力巡检图像增强[J]. 中国电力, 2021(5): 179-185.
Bai Wanrong, Zhang Xun, Zhu Xiaoqin, et al. Electric power inspection image enhancement based on E-FCNN[J]. Electric Power, 2021(5): 179-185.
[14] 王功明, 乔俊飞, 王磊. 一种能量函数意义下的生成式对抗网络[J]. 自动化学报, 2018, 44(5): 793-803.
Wang Gongming, Qiao Junfei, Wang Lei. A generative adversarial network based on energy function[J]. Acta Automatic Sinica, 2018, 44(5): 793-803.
[15] Wang Xintao, Yu Ke, Wu Shixiang, et al. Enhanced super-resolution generative adversarial networks[C]// LNCS 11133: Proceedings of the 2018 European Conference on Computer Vision Workshop, 2018: 63-79.
[16] Radu Timofte, Eirikur Agustsson, Luc Van Gool, et al. Ntire 2017 challenge on single image super-resolution: methods and results[C]//IEEE Conference on Computer Vision and Pattern Recognition Workshop, 2017: 1110-1121.
[17] Wang Zhou, Alan Conrad Bovik, Hamid Rahim Sheikh, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Process, 2004, 13 (4): 600-612.
[18] Jiwon Kim, Jung Kwon Lee, Kyoung Mu Lee. Accurate image super-resolution using very deep convolutional networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016: 1646-1654.
[19] 朱惠玲, 牛哲文, 黄克灿, 等. 基于单阶段目标检测算法的变电设备红外图像目标识别及定位[J]. 电力自动化设备, 2021, 41(8): 217-224.
Zhu Huiling, Niu Zhewen, Huang Kecan, et al. Target recognition and localization in infrared image of electrical equipment based on single-stage target detection algorithm[J]. Electric Power Automation Equipment, 2021, 41(8): 217-224.
[20] 徐建军, 黄立达, 闫丽梅, 等. 基于层次多任务深度学习的绝缘子自爆缺陷检测[J]. 电工技术学报, 2021, 36(7): 1407-1415.
Xu Jianjun, Huang Lida, Yan Limei, et al. Insulator self-explosion defect detection based on hierar-chical multi-task deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1407-1415.
[21] 王旭红, 李浩, 樊绍胜, 等. 基于改进SSD的电力设备红外图像异常自动检测方法[J]. 电工技术学报, 2020, 35(增刊1): 302-310.
Wang Xuhong, Li Hao, Fan Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-310.
[22] 王卓, 王玉静, 王庆岩, 等. 基于协同深度学习二阶段绝缘子故障检测方法[J]. 电工技术学报, 2021, 36(17): 3594-3604.
Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.
[23] Joseph Redmon, Santosh Divvala, Ross Girshick, et al. You only look once: unified real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 779-788.
[24] 张倩, 王建平, 李帷韬. 基于反馈机制的卷积神经网络绝缘子状态检测方法[J]. 电工技术学报, 2019, 34(16): 3311-3321.
Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.
[25] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398.
Zheng Hanbo, Li Jinheng, Liu Yang, et al. Object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398.
[26] 徐奇伟, 黄宏, 张雪锋, 等. 基于改进区域全卷积网络的高压引线接头红外图像特征分析的在线故障诊断方法[J]. 电工技术学报, 2021, 36(7): 1380-1388.
Xu Qiwei, Huang Hong, Zhang Xuefeng, et al. Online fault diagnosis method for infrared image feature analysis of high-voltage lead connectors based on improved R-FCN[J]. Transactions of China Electro- technical Society, 2021, 36(7): 1380-1388.
Super-Resolution Identification Method of Electrical Equipment Fault Based on Multi-Scale Cooperation Model
Abstract Aiming at the shortcomings of existing infrared images, such as low resolution and poor definition, which can easily affect the fault detection effect of electrical equipment based on infrared images, a super resolution fault identification method of infrared images of electrical equipment based on multi-scale collaboration model is proposed. Firstly, a super resolution reconstruction network for infrared images of electrical equipment is constructed based on multi-scale collaboration model. The network is based on generative adversarial network. By introducing multi-scale collaboration module and two-channel structure, the adaptability of the super resolution reconstruction network to infrared images is improved, and the effect of image feature extraction is optimized. On the basis of infrared image super-resolution reconstruction, combined with deep learning target detection method, a super-resolution fault identification model of infrared image of electrical equipment is established. Experimental verification of the proposed method is carried out. The experimental results show that the infrared image quality can be significantly improved after the proposed super resolution reconstruction network, and the PSNR and SSIM values can be increased to 27.26dB and 0.828 3 respectively. The proposed infrared image super-resolution fault identification model can significantly improve the fault identification effect, mAP, mAR, mAC and mAIOU increased by 19.34%、19.14%、11.83% and 25.03% on average.
Keywords：Super-resolution reconstruction, infrared image, multi-scale collaboration, fault identification
DOI: 10.19595/j.cnki.1000-6753.tces.210273
中图分类号：TM507
国家重点研发计划资助项目（2020YFB0906005）。
收稿日期 2021-03-03
改稿日期 2021-04-14
谢 庆 男，1979年生，教授，博士生导师，研究方向为高电压与绝缘技术、人工智能技术及其应用等。E-mail：xq_ncepu@126.com
谢 军 男，1988年生，讲师，博士，研究方向为电气设备故障检测及智能运维。E-mail：junxie@ncepu.edu.cn（通信作者）
（编辑 郭丽军）