图1 MSD2Net网络架构
Fig.1 Multi-scale defect detection network architecture
摘要 绝缘子缺陷检测对于保障电网安全稳定运行具有重要意义。由于绝缘子缺陷区域的像素信息少、形状尺寸不一，造成识别效果不佳问题。为解决此问题，提出了一种基于多尺度特征融合的绝缘子缺陷检测网络（MSD2Net）。在该网络中，采用残差注意力网络用于获取不同分辨率的绝缘子缺陷特征，设计了基于反卷积和多分支检测的多尺度特征融合网络将深层特征图与浅层特征图逐步融合，生成更加丰富的图像语义信息，用于实现目标的分类与位置回归，并结合Focal损失和高斯非极大抑制方法进一步提升检测效果。在变电站绝缘子缺陷数据集和输电线路CPLID公开数据集上进行测试，结果表明所提方法具有较好的检测性能与泛化能力。
关键词：智能巡检 绝缘子 缺陷检测 特征融合
随着电力系统规模的不断扩大，电力设备的智能运维得到广泛关注[1]。变电站作为电力系统的枢纽，在电能的传输与分配环节中发挥了重要作用，变电站中关键设备的运行状态直接决定了电网的安全稳定运行[2-3]。绝缘子大多长时间暴露在户外，往往容易出现破损、掉串、腐蚀等缺陷，绝缘子的绝缘强度将会下降[4-5]。若不能及时发现此类缺陷而继续带电运行，极易发展为永久性故障，从而为电网安全稳定运行带来重大隐患[6]，因此绝缘子是变电站日常维护工作中的重点巡检对象。随着计算机图像处理技术的飞速发展，智能巡检机器人得到了广泛应用，变电站已逐步实现了智能化巡检和无人值守[7]。为了提高巡检机器人的检测效率、降低运维成本，高效准确的检测算法至关重要。
在传统图像处理领域，绝缘子缺陷检测主要依赖手工提取图像中绝缘子的轮廓[8]、颜色[9]、小波系数[10]等特征，再使用分类器对提取到的特征进行训练。该类方法需要特定的检测条件和先验知识，普适性和鲁棒性较差，加之需要人为设定阈值提取特征信息，容易引入误差和干扰。
随着卷积神经网络的出现，深度学习的方法被应用在绝缘子及其他电力设备检测算法中[11-12]。卷积神经网络可以自动学习获得兼具有效性和鲁棒性的特征，同时对分类器进行优化，从而提高了检测器的精度。目前主流的目标检测模型主要分为三类：第一类是无锚框目标检测模型，代表算法有FCOS（fully convolutional one-stage, object detector）[13]、VFNet（Varifocal Net)[14]等。该类算法不需设置锚框，检测流程更加简单，但是仍然存在计算量大、检测精度不够理想等问题。第二类是两阶段目标检测模型，代表算法有R-CNN(Region-convolutional neutral network)[15]、Faster R-CNN[16]等。该类算法针对绝缘子的具体位置，采用预先提取候选区域的方法进行训练。文献[17-18]在Faster R-CNN算法框架下对输电线路航拍绝缘子缺陷以及典型金具进行识别与定位，提升了电力设备状态检测效果。但两阶段算法网络结构复杂，引入大量参数，使得检测速度较慢，难以满足算法实时性的要求。第三类是单阶段目标检测模型，代表算法有YOLO(you only look once)[19]、SSD(single shot detector)[20]和Retinanet[21]等。该类算法无需预先提取候选区域，直接对网络进行端到端的训练，具有网络结构简单、参数少、实时性好等优势。文献[22]采用K-means++聚类算法改进YOLOv3，实现绝缘子缺陷的快速定位。文献[23]结合SSD网络的优势和两阶段微调策略进行训练，成功检测绝缘子状态，文献[24]采用迁移学习的方法改进SSD网络，实现小样本绝缘子缺陷智能化检测。除主流检测方法外；文献[25]基于改进的LeNet5网络提出一种基于反馈机制的绝缘子状态检测方法；文献[26]采用基于层次多任务的深度学习算法实现了绝缘子缺片检测；文献[27]提出基于对抗自编码的绝缘子缺陷检测方法，通过潜在空间点蚀产生伪缺陷样本，但检测结果对噪声较为敏感。基于深度学习的绝缘子缺陷检测算法取得了优于传统算法的检测效果，作为主流的目标检测网络，SSD兼具Faster R-CNN和YOLO的优势，具有较高的检测精度与识别速度，对绝缘子缺陷进行实时监测成为可能[28]。
本文分析了绝缘子缺陷检测过程中面临的技术难题，为了解决绝缘子缺陷像素信息少。检测精度低的问题，本文在SSD网络基础上进行了改进，基于残差注意力的特征提取网络获取有效的绝缘子缺陷特征，减少特征信息丢失。为了缓解缺陷形状尺寸各异、识别精度不高的问题，设计了多尺度特征融合网络，充分利用不同尺度的特征信息，提高检测精度。此外，本文通过采用Focal损失和高斯非极大抑制方法缓解了正负样本不均衡和重叠目标漏检的影响，进一步提升了绝缘子缺陷检测效果。
由于变电站巡检机器人检测时所处位置限制，绝缘子及其缺陷在图像中所占据的像素信息一般较少[29]，对于这种尺寸较小的识别目标，其特征容易随着卷积神经网络的逐层下采样产生信息丢失问题，识别难度较大。SSD的特征提取网络VGGNet（visual geometry group network）仅为卷积神经网络的简单堆叠，容易造成信息失真和梯度消失现象。因此有必要采用更加有效的特征提取网络，在保证特征信息可靠传播的同时，提取绝缘子缺陷更有辨识度的特征。
在不同的角度和距离下，图像中绝缘子的形态和尺寸不同，缺陷的形状和颜色各异[30]，因此，单一特征图的信息难以匹配每个样本。特征提取网络所提取的浅层特征图分辨率较高，包含了更多的位置和细节信息，但由于经过的卷积较少，其语义性相对较低，噪声相对较多；深层特征图含有较强的语义信息，但是分辨率很低，对细节的感知能力较差[31]，故对不同层次的特征图采取有效的融合策略，能够获得更加完整的特征信息，提升特征表达能力。SSD网络通过VGGNet提取了38×38、19×19、10×10、5×5、3×3、1×1六种不同尺度的特征图直接输入检测模块，未将深层语义信息与浅层结构信息进行有效融合，忽略了上下文特征信息的关联。同时，SSD网络的检测模块为无分支的卷积层，结构相对简单，致使分类损失和回归损失的梯度合并后一起回传，相互干扰，多尺度特征未得到有效利用，识别精度仍有待提升。
目前，大量研究针对整串绝缘子进行识别，尚未对单片绝缘子的缺陷状态检测提出有效方法。此外，在实际巡检场景下，绝缘子缺陷远远小于图像背景所占比例，在图像中能够匹配缺陷的正样本十分有限，使得数据集中正样本和负样本存在严重的不均衡现象；加之背景复杂程度不同，数据集中简单易分的样本与复杂难分的样本之间数量相差较大，大大降低了模型的泛化能力[32]。绝缘子分布相对密集，目标框彼此间存在遮挡问题，SSD网络的非极大值抑制（Non-Maximum Suppression, NMS）方法易错误舍弃目标检测框，产生漏检现象。
本文针对以上问题，在SSD网络基础上进行改进，提出一种基于多尺度特征融合的绝缘子缺陷检测网络，通过残差注意力特征提取网络提取绝缘子缺陷的多尺度特征，利用特征融合网络将多尺度特征有效融合，并采用Focal损失和高斯非极大抑制方法进一步提升检测效果。
多尺度特征融合网络（Multi-Scale Defect Detection Network, MSD2Net）架构设计方案如图1所示，由特征提取网络和特征融合网络构成，其中特征融合网络包含反卷积特征融合模块和多分支检测模块，形成不对称沙漏的网络结构，并通过跨层连接实现多尺度特征融合。
针对SSD的特征提取网络VGGNet存在的对小尺寸目标不够敏感、特征信息失真等问题，MSD2Net网络在Resnest 50[33]的基础上，增加另外两层卷积作为特征提取网络，以提取出绝缘子更有辨识度的特征。Resnest 50与VGGNet相比，引入了残差结构和多通道注意力模块，残差结构能够避免梯度消失和信号失真，多分支注意力模块不仅能够增强特征图组间的相互作用，还能够给不同通道特征赋予权重，筛选出更关键的信息，从而提取出更有效的多尺度特征。
特征提取网络的输入图像尺寸为300×300，如图1所示，Conv1～Conv5为Resnest 50网络的五个卷积阶段，Conv6和Conv7为本文增加的两层卷积层。在Conv2～Conv5中采用了多通道注意力模块，该模块将不同特征图按对应元素相加成一个特征图小组，通过全局平均池化后得到的特征向量表示各个通道的权重，再经过非线性处理以及后续的Softmax操作后与通道对应元素相乘得到该组的输出，从而自适应地判别特征图不同通道的重要程度。在Resnest 50的基础上，本文增加两层尺寸为3×3、通道数为256的卷积层，以分别提取尺寸为5×5和3×3的特征图，继续挖掘绝缘子缺陷图像的深层语义信息。
图1 MSD2Net网络架构
Fig.1 Multi-scale defect detection network architecture
为适应巡检图像中不同尺寸和形状的绝缘子缺陷，MSD2Net采用基于反卷积和多分支检测的特征融合网络。该网络采用可学习的反卷积层自适应调整上采样的参数，实现跨特征层的信息交互，并通过多分支检测结构分别进行目标分类和边框位置回归，可实现更好的检测效果。
图2为SSD和MSD2Net特征处理对比示意图，可以看出SSD网络将VGGNet提取的特征图直接输入检测环节，缺少特征融合操作。MSD2Net网络通过反卷积特征融合模块，将特征提取网络的Conv3～Conv6的输出特征图分别跨层与同尺寸的反卷积层Deconv1～Deconv4输出特征图连接并融合，实现深层语义信息与浅层细节信息的交互，之后送入检测环节。多尺度特征融合网络采用反卷积代替传统的双线性插值作为上采样方法，能够动态调整输出特征。反卷积过程是先按照一定比例在尺寸为i的输入特征图中通过插入零值来扩大尺寸，再通过尺寸为k的卷积核处理获得尺寸为o的输出特征图，从而实现从低分辨率到高分辨率的映射。输入与输出特征图的尺寸关系为
图2 SSD和MSD2Net结构对比示意图
Fig.2 Comparing the structures of SSD and MSD2Net
（1）
式中，i和o为输入和输出特征图的尺寸；s为滑动步长；k为卷积核尺寸；p为填充像素个数。
反卷积特征融合模块的具体操作如图2所示，尺寸为H×W的深层特征图经过尺寸为2×2、通道数为256的反卷积层处理后分辨率扩大到两倍，经过尺寸为1×1的卷积层以调整深层和浅层特征图的通道数一致，再经过BN层以削弱不同批次数据差异带来的干扰。BN层作为具有可学习参数的网络层，其作用是将输入数据批量标准化，具体计算过程如式（2）和式（3）所示。
（2）
（3）
式中，
为该批次数据集个数；
和
分别为BN层的输入和输出；
和
分别为该批次数据的均值和方差；
和
为待学习参数；
为大于零的常数。
经过上述反卷积操作处理的深层特征图，与尺寸为2H×2W并且经过卷积处理的浅层特征图进行逐元素相加，最后经过BN层和ReLU非线性激活层得到融合后的特征。重复该过程，完成其他尺寸的特征融合，共生成40×40、20×20、10×10、5×5和3×3五种不同分辨率的特征图，分别送入五组检测模块，进一步提升特征的表达能力。
MSD2Net网络中共有五个检测模块，每个模块具体结构如图3所示。首先，融合特征图依次通过两层尺寸为1×1的卷积层，再由尺寸为1×1、3×3、5×5卷积分别处理以增强对不同尺度特征的适应性。将得到的多尺度特征矩阵以拼接方式聚合，再经过尺寸为1×1的卷积层处理以调整通道数与初始输入通道数一致，与捷径连接合并后输入ReLU层。将处理后的特征图输入两条结构对称的支路，完成特征的进一步抽象处理。通过四层通道数为256的卷积继续提取深层语义信息，提高模型拟合能力，再由通道数为（2×9）卷积和（4×9）的卷积分别进行目标类别和位置信息输出。其中，2为类别数，9为每点放置锚框个数，4为每个锚框位置信息的数量。同时，将五个检测模块中对应支路的卷积共享参数，分类分支和回归分支之间不共享参数，能够在提高运行速度的同时，避免不同类别损失的相互影响。
目标检测网络常选择与标注框交并比（Intersection Over Union, IOU）最大的先验框作为正样本，而将IOU小于设定阈值的先验框全部作为负样本，正负样本数量严重不平衡。如果直接采用式（4）所示的交叉熵损失作为分类损失，大量的负样本会淹没正样本的回归过程，使网络整体难以快速准确地拟合正样本，影响检测结果。
图3 多分支检测模块
Fig.3 Multi-branch detection module
（4）
式中，CE(·)为交叉熵损失；
为综合的分类概率。
本文采用Focal损失计算每个样本的分类损失，该损失是对交叉熵损失重构得到，能够缓解以上正负样本不平衡的问题[34]。如式（5）和式（6）所示，Focal损失在交叉熵损失的基础上引入权重项
，着重关注检测正确率较低的样本的损失。通过设置
能够调节正负样本的数量，通过设置超参数调节困难样本和简单样本的权重，重点训练困难样本，提升检测器性能。
（5）
（6）
式中，y为标签值；p为标签为1时的分类概率；为线性缩放因子；为指数调节因子；F(·)为Focal损失。
在常用的位置回归损失中，L1损失函数在训练后期很难收敛到更高的精度，L2损失函数在训练初期不稳定，而Smooth L1结合L1和L2损失的优点，在边框位置回归中可以达到更好的收敛效果[35]。本文采用Smooth L1损失计算每个边框的位置回归损失，如式（7）所示。
（7）
式中，x为位置参数。
在网络检测环节，需要根据设定的阈值过滤掉不符合条件的检测框，最终输出正常绝缘子片与带缺陷绝缘子片的定位结果。常用的非极大值抑制算法通常将检测框按置信度得分排序，保留得分最高的检测框，并筛除与该框的IOU大于设定阈值的检测框。这种方法存在如下的问题：红色框和黄色框是当前的检测结果，选中得分最高的红色框，黄色框会因为与其重叠面积较大而被误删。绝缘子遮挡示意如图4所示。
图4 绝缘子遮挡示意图
Fig.4 Illustration of shielding effect for insulars
为解决上述问题，本文采用高斯非极大抑制方法，即
（8）
式中，
为所选检测边界框的得分；M为目前得分最高的检测框；
为所选检测边界框；iou(M,bi)为M和bi的交并比；s为常数，用来调整目标框分数改变的幅度。
对于其他检测框，先计算其和M的IOU，然后将该IOU值作为高斯函数的输入，再与原先的置信度得分相乘作为最后的分数。由式（8）可知，与M的IOU越大，检测框的得分下降越多。此时，再删除分数高于设定阈值的检测框，能够缓解与M有重叠部分的检测框被错误舍弃的问题。
为减少复杂背景的干扰，提高缺陷检测精度，同时解决缺陷样本数量较少的问题，本文构建变电场景下绝缘子缺陷数据集。不同场景的数据集如图5所示。在真实场景的变电巡检图片中提取出绝缘子串，并在提取后的图像中批量式生成模拟缺陷。由于完整的绝缘子串图片往往长宽比过大，但神经网络的输入图像限制为正方形，为避免图像变形过大对检测精度的影响，以原始图片的短边作为边长的正方形为滑动窗口进行检测。设提取出的绝缘子图片长为a、宽为b，则将图片均匀分割为n个正方形，n=[a/b]，分割后图像为边长为b的正方形，实际图片中b的范围在[88, 1 461]。
图5 不同场景的数据集
Fig.5 Datasets in different scenes
此外，为验证本文方法在不同巡检场景中的泛化性能，在公开的输电场景数据集CPLID[36]（Chinese power line insulator dataset）上进行了验证。由于该数据集绝缘子串的形状角度大体相同，缺陷位置单一且固定，且样本个数较少，容易导致网络陷入过拟合。因此通过缺陷样本合成对该数据集进行数据增强，部分原图与合成效果如图5所示。
参考PASCAL VOC[37]数据集的构建方法，严格按照标注规范利用LabelImg软件对上述两种数据集分别进行标注。将标注后数据集按照4:1的比例划分为训练集和测试集，变电场景中训练集包含 1 688个样本，测试集包含422个样本；输电场景中训练集包含679个样本，测试集包含169个样本。图像输入网络前被缩放至尺寸300×300，并采用随机旋转、镜像翻转、色域变换等数据增强方法，减少模型的过拟合情况。
为了验证本文算法可行性，采用Pytorch1.9.0深度学习框架，Pycharm2020.3软件，CUDA11.2开发环境，Ubuntu 20.04.2 LTS操作系统完成模型的训练和测试。实验硬件配置为Intel Core i7-11700K 8核16线程的CPU、NVDIA GeForce RTX-3070 GPU。
参考设备条件以及网络需求，设置网络训练batchsize为8，采用动量参数为0.9的随机梯度下降方法优化网络训练，能够在加快收敛的同时寻找更佳的最优解。学习率设置如图6a所示，采用预热策略在前500次迭代逐渐线性增加至1×10-3，使得模型前期能够快速学习，当损失值无法继续下降时，在第33 700和42 600次迭代处将学习率衰减至1×10-4和1×10-5，进一步搜索最优点。训练过程中的总损失随迭代次数变化情况如图6b所示，随着训练迭代次数的增加，模型损失值在不断减小，整个网络趋于收敛，拟合效果较为理想。同时可以看出，迭代次数为33 700学习率发生变化时，损失曲线在出现收敛趋势后继续下降，表明学习率调整有效。同时，图6c中在验证集和测试集上的平均精度随迭代次数的变化曲线表明，训练中未出现明显的过拟合现象，测试结果具有合理性。
测试实验的评估指标包括每个类别的平均精度（Average Precision, AP）
和所有类别平均精度均值（mean Average Precision , mAP）
，用来评估检测算法的准确率，计算公式分别如式（9）和（10）所示。两种指标值越大，算法的性能越好。
图6 学习率、损失和精度随迭代次数变化曲线
Fig.6 Curves of learning rate, loss and accuracy with the number of iterations
（9）
（10）
式中，p为准确率；r为召回率；N为类别个数。
3.3.1 改进策略的效果验证
为了评估每个改进策略的有效性，对所提算法的不同策略在变电场景数据集进行测试，实验结果见表1，VGG代表VGG16网络，Resnest代表增加两层卷积的Resnest 50网络，MSFF代表本文所提特征融合网络，FL代表Focal损失，GNMS代表高斯非极大抑制。可以看出，将SSD的特征提取网络VGG16替换成加深的Resnest50，mAP值提升了1.1%，其原因在于残差模块缓解了信号失真问题，多分支注意力模块增强特征图组之间的信息交互，筛选出更关键的信息。
表1 MSD2Net加入的不同策略效果对比
Tab.1 Comparison of different strategies added in MSD2Net
方法AP值(%)mAP值(%) 正常绝缘子缺陷绝缘子 SSD(VGG)89.789.989.8 SSD(Resnest)90.990.990.9 VGG+MSFF90.693.291.9 Resnest+MSFF90.895.693.1 Resnest+MSFF+FL90.997.194.0 Resnest+MSFF+FL+GNMS90.997.394.3
在此基础上，多尺度融合网络的加入，使mAP值提升了2.2%。其原因在于，反卷积融合模块实现了深层特征与浅层特征的融合，向检测模块提供更加完整的特征信息，而划分分支的检测模块避免不同类别损失的相互影响。在此基础上，Focal损失的加入，使mAP值提升了0.9%。其原因在于该损失使网络重点关注正样本，缓解了正负样本数量不平衡的问题。在此基础上，加入高斯非极大抑制，mAP值提升了0.3%，其原因在于缓解了检测框被错误舍弃的问题。
最后，完整的MSD2Net网络在结果列表中获得了最佳性能94.3%，较SSD网络提升了4.5%。综上所述，每个改进策略都具有有效性，有助于检测网络性能的提高。
3.3.2 与其他检测方法对比
本文针对构建的变电场景数据集和公开的输电场景CPLID数据集，分别采用SSD网络和本文所提MSD2Net网络进行测试，部分测试效果如图7和图8所示。图中，绿色边界框表示正常绝缘子片，红色边界框表示缺陷绝缘子片，边界框上方的值为网络检测该类别的置信度。
图7 变电场景数据集检测结果对比
Fig.7 Comparison of detection results in substation scene
从对比结果可以看出，本文提出的网络可以在绝缘子片处于不同数量和不同拍摄角度的情况下，有效检测出绝缘子和缺陷目标，而SSD网络的检测结果出现了漏检、多检和错检等情况，进一步验证了本文算法的有效性。
此外，基于变电场景数据集，将本文所提网络与改进前的SSD网络、其他经典单阶段网络YOLOv3和RetinaNet、两阶段网络Faster R-CNN及无锚框网络VFNet进行对比，各类目标的检测精度指标AP值和总平均精度指标mAP值见表2。
图8 输电场景CPLID数据集检测结果对比
Fig.8 Comparison of detection results in transmission scene
表2 变电场景数据集下不同网络检测精度对比
Tab.2 Detection accuracy comparison of different networks under substation scene dataset
网络AP值(%)mAP值(%) 正常绝缘子片缺陷绝缘子片 SSD89.789.989.8 YOLOv390.890.990.9 RetinaNet90.190.790.4 Faster R-CNN90.896.693.7 VFNet90.290.390.3 MSD2Net90.997.394.3
由表2数据可知，改进前的SSD网络精度较低，mAP值为89.8%，YOLOv3的mAP值为90.9%，稍高于SSD。其原因在于，YOLOv3选择DarkNet53作为特征提取网络，与VGG16相比包含残差模块，卷积层数增多，并且使用特征金字塔结构融合三种不同尺寸的特征，有助于检测精度的提高。RetinaNet网络测得的mAP值为90.4%，相比SSD略有提高，比YOLOv3稍低。其原因在于，RetinaNet同样使用了残差结构和特征金字塔结构，但参数量相比YOLOv3大大减少。Faster R-CNN的mAP值达到93.7%，高于除MSD2Net外的其他网络。其原因在于，Faster R-CNN作为两阶段算法结构复杂，参数量大，能够在第二阶段对第一阶段的结果进行精调，往往测试精度高于单阶段算法，但检测速度过慢。VFNet的mAP值为90.3%，略高于SSD，相对低于其他算法。其原因在于，虽然VFNet和RetinaNet结构类似，但该网络未设定锚框，将每一点作为样本，导致样本个数过多，对检测精度造成不良影响。本文提出的MSD2Net网络在结果列表中获得了最佳性能94.3%，缺陷绝缘子片识别效果明显提升，AP值达到97.3%，较改进前的SSD网络提高7.4%。正常绝缘子片AP值也达到最佳精度90.9%，验证了MSD2Net网络的有效性。
输电场景CPLID数据集下不同网络检测精度对比见表3，在输电场景数据集下，由于复杂背景的影响，测试结果相比变电场景下总体精度较低，本文提出的MSD2Net网络仍然达到了相对最佳的性能，mAP值为91.2%。由于缺陷部分尺寸与绝缘子串尺寸相差较大，Faster R-CNN在该场景下识别绝缘子串目标精度较高，但缺陷精度很低，仅为32.4%，导致总平均精度仅有66.2%，可能原因是Faster R-CNN作为两阶段算法，在当前场景下候选区域选择不佳，对尺寸差别较大的多目标识别效果产生不良理想。可以看出本文所提网络在背景较为复杂、目标尺寸差距较大的场景下依然获得了相对最高的检测精度，具有较强的适应性。
表3 输电场景CPLID数据集下不同网络检测精度对比
Tab.3 Detection accuracy comparison of different networks under transmission scene CPLID dataset
网络AP值(%)mAP值(%) 绝缘子串绝缘子缺陷部分 SSD90.886.288.5 YOLOv390.990.690.7 RetinaNet99.981.290.6 Faster R-CNN99.932.466.2 VFNet99.866.683.3 MSD2Net99.982.591.2
绝缘子缺陷像素信息少、形态尺寸各异等原因可能造成识别效果不佳，本文设计了一种基于多尺度特征融合的MSD2Net绝缘子缺陷检测网络。通过基于残差注意力的特征提取网络增强特征图组间的相互作用，提取了不同分辨率的绝缘子缺陷特征；通过基于反卷积和多分支检测的特征融合网络自适应调整上采样参数并隔离不同类别的损失，提高了特征融合的质量；并通过Focal损失和高斯非极大抑制方法缓解了正负样本不均衡和重叠目标漏检问题。在变电站绝缘子缺陷数据集和CPLID公开数据集上进行测试，所提方法的平均检测精度达到了94.3%和91.2%，验证了本文方法能够有效识别电力巡检图像中绝缘子及其缺陷。后续将进一步验证MSD2Net网络在其他场景数据集的适应性。
参考文献
[1] 蒲天骄, 乔骥, 韩笑, 等. 人工智能技术在电力设备运维检修中的研究及应用[J]. 高电压技术, 2020, 46(2): 369-383.
Pu Tianjiao, Qiao Ji, Han Xiao, et al. Research and application of artificial intelligence in operation and maintenance for power equipment[J]. High Voltage Engineering, 2020, 46(2): 369-383.
[2] 李奎, 高志成, 武一, 等. 基于统计回归和非线性Wiener过程的交流接触器剩余寿命预测[J]. 电工技术学报, 2019, 34(19): 4058-4070.
Li Kui, Gao Zhicheng, Wu Yi, et al. Remaining lifetime prediction of AC contactor based on statistical regression and nonlinear Wiener process[J]. Transactions of China Electrotechnical Society, 2019, 34(19): 4058-4070.
[3] 袁欢, 孙正可, 王露缙, 等. 基于姿态感知系统的隔离开关故障诊断[J]. 高电压技术, 2022, 48(1): 47-57.
Yuan Huan, Sun Zhengke, Wang Lujin, et al. Fault diagnosis of disconnector based on attitude sensing system[J]. High Voltage Engineering, 2022, 48(1): 47-57.
[4] Han S, Hao Ru, Lee J. Inspection of insulators on high-voltage power transmission lines[J]. IEEE Transactions on Power Delivery, 2009, 24(4): 2319-2327.
[5] 屠幼萍, 孙佑飞, 彭庆军, 等. 雾霾环境下自然积污绝缘子的污秽颗粒粒径分布特性[J]. 高电压技术, 2014, 40(11): 3318-3326.
Tu Youping, Sun Youfei, Peng Qingjun, et al. Particle size distribution characteristics of naturally polluted insulators under the fog-haze environment[J]. High Voltage Engineering, 2014, 40(11): 3318-3326.
[6] 吕玉坤, 赵伟萍, 庞广陆, 等. 典型伞型瓷及复合绝缘子积污特性模拟研究[J]. 电工技术学报, 2018, 33(1): 209-216.
Lü Yukun, Zhao Weiping, Pang Guanglu, et al. Simulation of contamination deposition on typical shed porcelain and composite insulators[J]. Transactions of China Electrotechnical Society, 2018, 33(1): 209-216.
[7] 周立辉, 张永生, 孙勇, 等. 智能变电站巡检机器人研制及应用[J]. 电力系统自动化, 2011, 35(19): 85-88, 96.
Zhou Lihui, Zhang Yongsheng, Sun Yong, et al. Development and application of equipment inspection robot for smart substations[J]. Automation of Electric Power Systems, 2011, 35(19): 85-88, 96.
[8] Zhao Zhenbing, Liu Ning, Wang Le. Localization of multiple insulators by orientation angle detection and binary shape prior knowledge[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2015, 22(6): 3421-3428.
[9] Lin J, Han J, Chen F, et al. Defects detection of glass insulator based on color image[J]. Power System Technology, 2011, 35(1): 127-133.
[10] Murthy V S, Tarakanath K, Mohanta D K, et al. Insulator condition analysis for overhead distribution lines using combined wavelet support vector machine (SVM)[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2010, 17(1): 89-99.
[11] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398.
Zheng Hanbo, Li Jinheng, Liu Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398.
[12] 赵振兵, 段记坤, 孔英会, 等. 基于门控图神经网络的栓母对知识图谱构建与应用[J]. 电网技术, 2021, 45(1): 98-106.
Zhao Zhenbing, Duan Jikun, Kong Yinghui, et al. Construction and application of bolt and nut pair knowledge graph based on GGNN[J]. Power System Technology, 2021, 45(1): 98-106.
[13] Tian Zhi, Shen Chunhua, Chen Hao, et al. FCOS: fully convolutional one-stage object detection[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019: 9626-9635.
[14] Zhang Haoyang, Wang Ying, Dayoub F, et al. VarifocalNet: an IoU-aware dense object detector[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021: 8510-8519.
[15] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 580-587.
[16] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[17] 侯春萍, 章衡光, 张巍, 等. 输电线路绝缘子自爆缺陷识别方法[J]. 电力系统及其自动化学报, 2019, 31(6): 1-6.
Hou Chunping, Zhang Hengguang, Zhang Wei, et al. Recognition method for faults of insulators on transmission lines[J]. Proceedings of the CSU-EPSA, 2019, 31(6): 1-6.
[18] 赵振兵, 李延旭, 甄珍, 等. 结合KL散度和形状约束的Faster R-CNN典型金具检测方法[J]. 高电压技术, 2020, 46(9): 3018-3026.
Zhao Zhenbing, Li Yanxu, Zhen Zhen, et al. Typical fittings detection method with faster R-CNN combining KL divergence and shape constraints[J]. High Voltage Engineering, 2020, 46(9): 3018-3026.
[19] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE, : 779-788.
[20] Liu Wei, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//European Conference on Computer Vision, Amsterdam, the Netherlands, 2016: 21-37.
[21] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327.
[22] 王卓, 王玉静, 王庆岩, 等. 基于协同深度学习的二阶段绝缘子故障检测方法[J]. 电工技术学报, 2021, 36(17): 3594-3604.
Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.
[23] Miao Xiren, Liu Xinyu, Chen Jing, et al. Insulator detection in aerial images for transmission line inspection using single shot multibox detector[J]. IEEE Access, 2019, 7: 9945-9956.
[24] 马鹏, 樊艳芳. 基于深度迁移学习的小样本智能变电站电力设备部件检测[J]. 电网技术, 2020, 44(3): 1148-1159.
Ma Peng, Fan Yanfang. Small sample smart substation power equipment component detection based on deep transfer learning[J]. Power System Technology, 2020, 44(3): 1148-1159.
[25] 张倩, 王建平, 李帷韬. 基于反馈机制的卷积神经网络绝缘子状态检测方法[J]. 电工技术学报, 2019, 34(16): 3311-3321.
Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.
[26] 徐建军, 黄立达, 闫丽梅, 等. 基于层次多任务深度学习的绝缘子自爆缺陷检测[J]. 电工技术学报, 2021, 36(7): 1407-1415.
Xu Jianjun, Huang Lida, Yan Limei, et al. Insulator self-explosion defect detection based on hierarchical multi-task deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1407-1415.
[27] Zhang Dongkai, Gao Shibin, Yu Long, et al. DefGAN: defect detection GANs with latent space pitting for high-speed railway insulator[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-10.
[28] 王旭红, 李浩, 樊绍胜, 等. 基于改进SSD的电力设备红外图像异常自动检测方法[J]. 电工技术学报, 2020, 35(增刊1): 302-305, 306.
Wang Xuhong, Li Hao, Fan Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-305, 306.
[29] 左国玉, 马蕾, 徐长福, 等. 基于跨连接卷积神经网络的绝缘子检测方法[J]. 电力系统自动化, 2019, 43(4): 101-106.
Zuo Guoyu, Ma Lei, Xu Changfu, et al. Insulator detection method based on cross-connected convolutional neural network[J]. Automation of Electric Power Systems, 2019, 43(4): 101-106.
[30] Gao Zishu, Yang Guodong, Li En, et al. Novel feature fusion module-based detector for small insulator defect detection[J]. IEEE Sensors Journal, 2021, 21(15): 16807-16814.
[31] Jeong J, Park H, Kwak N. Enhancement of SSD by concatenating feature maps for object detection[J]. arXiv preprint arXiv: 1705.09587, 2017.
[32] Li Buyu, Liu Yu, Wang Xiaogang. Gradient harmonized single-stage detector[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 8577-8584.
[33] Zhang H, Wu C, Zhang Z, et al. Resnest: split-attention networks[J]. arXiv preprint arXiv: 2004.08955, 2020.
[34] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017 : 2999-3007.
[35] Zhu Xinshan, Li Shuoshi, Gan Yongdong, et al. Multi-stream fusion network with generalized smooth L1 loss for single image dehazing[J]. IEEE Transactions on Image Processing, 2021, 30: 7620-7635.
[36] Tao Xian, Zhang Dapeng, Wang Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1486-1498.
[37] Everingham M, Eslami S M A, Gool L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.
Abstract Defective insulators in substations pose a major risk to the safe and stable operation of the power grid. To promote intelligent operation and maintenance of substations, efficient and accurate insulator defect detection algorithms are of great significance. Aiming at the problem that insulator defect regions are poor in pixel information, and distinct in shapes and sizes, a multi-scale defect detection network (MSD2Net) was proposed.
First, this paper analyzes the main challenge currently faced in insulator defect detection. Secondly, to accommodate insufficient pixel information of insulator defects, the model is improved based on SSD detector, replacing ResNet with the attentional feature extraction network. Thirdly, to detect targets at different scales, the feature fusion network is designed, and a deconvolution structure is used to enhance its automatic learning ability. In addition, MSD2Net uses Focal loss as the classification loss and Gaussian non-maximum suppression as the post-processing method, which further improves the detection performance.
For the model experiment, a defective insulator dataset in substation scenarios is produced by image processing methods. To enhance the diversity of the dataset, data augmentation operations are adopted such as color transformation, random crop, and random flip. Based on the dataset, the MSD2Net achieves a mean average precision (mAP) of 94.3%. Compared with the baseline network SSD and the classic single-stage network RetinaNet, MSD2Net improves the mAP value by 4.5% and 3.9%, respectively. In addition, when tested on the public Chinese power line insulator dataset (CPLID), the mAP of MSD2Net reaches 91.2%, higher than the SSD and VFNet models by 2.7% and 7.9%. The results show that the proposed model in this paper can effectively identify insulators and their defects in power inspection images.
The following conclusions can be drawn from the experimental analysis: ①The attention-based backbone network can reduce the loss of information and enhance the information interaction between feature map groups, thus extracting more critical information. ②The deconvolution fusion module realizes the fusion of deep and shallow features, thereby providing more complete feature information to the detection module. ③Focal Loss makes the network focus on positive samples and therefore alleviates the imbalance of positive and negative samples. At the same time, Gaussian non-maximum suppression mitigates the effects of the missed detection of overlapping targets.
Keywords：Intelligent inspection tour, insulator, defect detection, feature fusion
DOI:10.19595/j.cnki.1000-6753.tces.212052
中图分类号：TM 216
李 斌 男，1976年生，教授，博士生导师，主要研究方向为智能电网保护与控制等。E-mail：binli@tju.edu.cn
朱新山 男，1977年生，副教授，硕士生导师，主要研究方向为深度学习与图像处理。E-mail：xszhu@tju.edu.cn（通信作者）
国家电网公司科技项目（面向智能电网运维场景的视听觉主动感知与协同认知技术研究及应用）（5600-202046347A-0-0-00）。
收稿日期 2021-12-17
改稿日期 2022-01-10
（编辑 郭丽军）