图1 “云-边-端协同架构”示意图
Fig.1 Schematic diagram of “Cloud-Edge-End Collaborative Architecture”
摘要 随着新型电力系统的不断发展建设，输电线路绝缘子状态智能化巡检成为必然趋势。为方便“云-边-端协同架构”进行边缘部署，该文提出一种轻量级RT-DETR目标检测算法。首先，采用RT-DETR作为基线算法降低优化难度，提高鲁棒性；其次，选择轻量级EMO作为算法特征提取主干，充分学习绝缘子目标的长距离特征交互及缺陷小目标的局部特征交互，并提出基于轻量级注意力的尺度内特征交互模块和轻量级跨尺度特征融合模块设计轻量级高效混合编码器；再次，在轻量级高效混合编码器中引入定位信息补充分支、使用DIoU损失函数结合迁移学习训练技巧，缓解轻量化造成的算法精度下降问题；最后，构建多天气条件绝缘子数据集进行训练验证。实验结果表明，相较于基线算法，所提算法检测精度达到97.2%，只损失0.7个百分点，而参数量和计算量分别下降67.8%和71.2%，检测速度提升2.5倍，满足多天气条件下的输电线路绝缘子状态巡检准确率及边缘部署轻量化要求。
关键词：绝缘子缺陷检测 RT-DETR算法 轻量化 边缘部署 目标检测算法
绝缘子是输电线路的重要部件之一，起着支撑导线与线路塔杆的作用。由于其长期直接暴露于空气中，容易出现各种损坏问题[1]，若不能及时发现，将会对输电线路的正常工作造成影响。因此，定期对输电线路进行巡检、排查绝缘子隐患，是保障电网长期可靠运行不可或缺的一环。
人工实地巡检是传统的绝缘子故障排除手段，但人工巡检耗时耗力且依赖人工经验，识别准确性和作业安全性得不到有效保证[2]。近年来，无人机与计算机视觉算法不断发展成熟，在无人机上搭载计算机视觉算法为电力行业进行绝缘子巡检提供了新思路[3]。传统的计算机视觉算法通常采用常规图像处理算法或人工设计特征方式实现目标区域的分割与识别[4]。文献[5]提出一种基于空域形态一致性特征的绝缘子串精确定位方法，首先对巡检图像进行基于颜色及结构对比的显著性检测；然后对得到的候选区域进行二值分割，将矩阵图像转换成投影曲线；再定义表征绝缘子特征描述子；最后使用描述子在候选区域搜索绝缘子串实现目标定位。文献[6]采用多尺度形态学梯度算法提取绝缘子串边缘，确定最大连通区域，并进行边缘分割得到目标区域。为了实现复杂环境下绝缘子覆冰这一特定情况的准确检测，随着深度学习的发展，基于神经网络算法进行绝缘子缺陷检测已成为主流趋势[7]。文献[8]将全卷积网络（Fully Convolutional Network, FCN）与YOLOv3目标检测算法相协同，提出一种基于协同深度学习的二阶段绝缘子故障检测方法，首先利用FCN算法实现绝缘子目标的初步分割，避免背景区域干扰绝缘子故障检测，然后使用YOLOv3算法检测绝缘子故障。文献[9]提出一种改进级联区域卷积神经网络（Cascade Region-Convolutional Neural Network, Cascade R-CNN）算法，通过引入感兴趣区域对齐（Region of Interest Align, RoI Align）方法解决了小目标漏检问题，检测精度相较于Faster R-CNN更高。文献[10]采用级联结构，通过Faster R-CNN网络定位绝缘子，经人工裁剪绝缘子串区域，再输入U-net语义分割网络进行缺陷识别。文献[11]提出改进掩膜区域卷积神经网络，用来解决绝缘子航拍图像背景复杂、缺陷目标所占像素比例较小的问题。虽然文献[9-11]提出的双阶段检测算法相较传统方法在检测精度和泛化性能上有所提高，但仍存在模型结构复杂、参数量及计算量高导致的训练速度慢、检测效率低等问题。考虑到实际部署情况，基于推理速度更快的单阶段绝缘子检测算法成为主要研究方向。文献[4]为方便无人机边缘部署，使用GhostNet提出的Ghost模块改进CenterNet网络，并引入感受野模块（Receptive Field Block, RFB）增强模型特征表达能力，提出一种轻量化特征融合网络，网络模型参数量从124.61×106降至64.2×106。文献[12]构建了一种基于多尺度特征融合的绝缘子缺陷检测网络，用来解决绝缘子缺陷区域像素少、形状尺寸不一的问题。文献[13]提出一种改进EfficientDet算法来解决现有方法小目标识别精度低、无法同时满足高检测速度和精度的问题。文献[14]针对绝缘子缺陷目标小、种类多及尺度差异大造成的误检、漏检问题，提出一种融合注意力与多尺度特征的YOLOX-s算法。文献[15]提出一种改进YOLOX检测方法，用于雾天绝缘子缺陷检测。文献[16]提出一种基于多尺度卷积注意力机制的改进YOLOv8方法，用来解决缺陷样本少、背景复杂和目标多尺度造成的识别能力不足的问题。尽管上述方法在检测精度方面具有良好的表现，但文献[4, 12]模型的参数量仍相对较大，文献[14-16]都是基于YOLO系列的改进算法，通常需要通过非极大值抑制（Non-Maximum Suppression, NMS）进行后处理，增加了模型优化难度且不够鲁棒[17]。此外，现有方法大多仅针对一般天气情况下的绝缘子缺陷巡检进行研究，很少涉及雨、雪等恶劣天气下的极端情况。
针对上述问题，首先，本文选择无需NMS后处理的RT-DETR（real-time detection transformer）[17]作为基线算法（结构如附图1所示），相较于常见的使用NMS后处理的YOLO系列算法，其优化难度降低、鲁棒性得到增强；其次，对基线算法进行轻量级改进以满足“云-边-端协同架构”边缘部署需求，即采用轻量级EMO（efficient model）[18]作为特征提取主干，并提出轻量级高效混合编码器，减少算法参数量和计算量；再次，在轻量级高效混合编码器中引入定位信息补充分支，解决深层特征缺陷信息丢失问题，使用DIoU回归损失函数结合迁移学习思想进行训练，提升算法检测效果与收敛速度，在一定程度上缓解轻量化设计造成的算法检测精度下降问题，以满足输电线路绝缘子状态巡检准确率要求；最后，构建多天气绝缘子缺陷数据集进行训练。实验结果表明，该算法可满足多天气条件下的输电线路绝缘子状态巡检准确率及边缘部署轻量化要求。
在实际输电线路绝缘子巡检过程中，理想巡检模式由无人机采集绝缘子图像数据，云边协同承担图像数据处理任务，整体构成“云-边-端协同架构”，如图1所示。若将目标检测算法部署在边缘设备就地处理数据，可提高巡检效率。
图1 “云-边-端协同架构”示意图
Fig.1 Schematic diagram of “Cloud-Edge-End Collaborative Architecture”
为此，本文提出轻量级RT-DETR算法以便进行边缘部署，结构如图2所示。图中，从左至右依次为EMO特征提取主干、轻量级高效混合编码器（Lightweight and Efficient Hybrid Encoder, LEHE）及解码器三个部分。使用EMO特征提取主干在航拍绝缘子图像上进行绝缘子及缺陷特征映射{F1, F2, F3, F4}的提取；LEHE首先利用定位信息补充分支（Location Information Supplementary Branch, LISB）融合F2～F4与Q1～Q3得到
和
，然后使用基于轻量级注意力的尺度内特征交互（Lightweight Attention-based Intra-scale Feature Interaction, Light-AIFI）模块和轻量级跨尺度特征融合模块（Lightweight CNN-based Cross-scale Feature-fusion Module, Light-CCFM）处理和，得到含丰富定位和语义信息的特征映射{P1, P2, P3}；将P1～P3拼接后直接送入解码器得到绝缘子及缺陷检测结果。
图2 轻量级RT-DETR算法结构
Fig.2 Structure of lightweight RT-DETR algorithm
由于轻量级算法便于进行边缘部署，因此采用参数量少和计算量小的轻量级模型作为算法特征提取主干成为主流趋势。轻量级模型最早的设计尝试可以追溯到Inceptionv3[19]，它使用非对称卷积来代替标准卷积进行轻量化。MobileNet[20]采用深度可分离卷积（DepthWise Separable Conv, DWSConv）以显著减少模型计算量和参数量，被视为后续工作中的基本卷积神经网络（Convolutional Neural Network, CNN）组件。RT-DETR基线算法特征提取主干采用ResNet-18模型[21]，其参数量和计算量相对较大，无法满足边缘部署需求。因此，为方便边缘部署，选择EMO[18]作为所提算法的特征提取主干，其结构如图2左边部分所示。输入图片尺寸为3×640×640（通道数×长度×宽度），Stage0～4依次对图片进行2、4、8、16、32倍下采样，得到相应大小的特征映射。
出于在模型基本块中整合CNN和Transformer优势的考虑，EMO重新审视了MobileNetv2[22]的倒置残差块（inverted Residual Block, iRB）和Transformer的多头自注意力（Multi-Head Self-Attention, MHSA）、前馈神经网络（Feed-Forward Network, FFN），提出了一种新的倒置残差移动块（inverted Residual Mobile Block, iRMB），其结构如图2中的iRMB-2所示。该模块兼顾了Transformer的动态全局建模能力和CNN的静态局部信息融合能力，可以很好地提取航拍图像中尺寸较大的绝缘子目标及尺寸较小的缺陷目标。而Transformer的计算复杂度与特征映射大小成二次关系，考虑到轻量化和易用性，iRMB-2首先使用扩展窗口多头自注意力（Expanded Window MHSA, EW-MHSA）模拟Transformer的动态全局建模能力，学习绝缘子目标的长距离特征交互，计算公式为
（1）
（2）
（3）
（4）
式中，
为输入特征映射，其中b为批次，c为通道数，w为宽度，h为高度；
、
为中间特征映射，其中，α为宽度和高度的缩小量，λ为通道数放大量；Convq、Convk及Convv分别对应Transformer中的查询、键、值操作。可以看出，Down操作对特征映射x进行变换后将其宽度w、高度h分别缩小为原来的1/α，用以减少后续操作计算量。在学习到绝缘子特征后，使用Up操作对xv进行变换，得到
。然后，iRMB-2使用Conv-Local模块学习缺陷小目标的局部特征交互，计算公式为
（5）
式中，y为输出特征映射。
虽然使用EMO作为特征提取主干可以显著减小算法大小，但基线算法的高效混合编码器（Efficient Hybrid Encoder, EHE）由基于注意力的尺度内特征交互模块（Attention-based Intra-scale Feature Interaction, AIFI）和跨尺度特征融合模块（CNN-based Cross-scale Feature-fusion Module, CCFM）构成，二者参数量和计算量仍然较大，有进一步优化的空间。因此，本文提出一种轻量级高效混合编码器，如图2中间部分所示，包括基于轻量级注意力的尺度内特征交互模块、轻量级跨尺度特征融合模块及定位信息补充分支三个部分。
1.2.1 基于轻量级注意力的尺度内特征交互模块与轻量级跨尺度特征融合模块
首先，基线算法的EHE直接采用Transformer的编码器作为AIFI用于特征的尺度内交互，虽然只将其用于深层特征，但仍存在计算负担。因此，本文对iRMB-2中的EW-MHSA进行改进，提出Light-AIFI模块，如图3所示。
图3 基于轻量级注意力的尺度内特征交互模块
Fig.3 Lightweight attention-based intra-scale feature interaction module
具体地，尽管iRMB-2使用变换操作Down和Up减少了EW-MHSA计算量，但其不同头部间的注意力映射存在相似性，会造成冗余计算。因此，为节省计算成本、提高注意力映射多样性，本文将输入特征映射分割成两个子特征，同时将EW-MHSA的注意力头部分为两组，使注意力映射在空间中得到良好分布，通过拼接得到输出特征映射
，计算公式为
（6）
（7）
（8）
（9）
（10）
式中，Split(·)表示分割操作；
表示拼接操作；其余计算与iRMB-2一致。
其次，ShuttleNetv2[23]提出一种shuffle unit基本单元，如图4所示，相较于标准卷积，其采用3×3深度可分离卷积使计算量大幅下降，但精度损失很小。绝缘子及缺陷特征映射在通过Channel Split模块后，从通道维度被分为两组，上分支为恒等映射，下分支进行卷积操作和批量归一化等处理，将两条支路输出特征拼接后进行通道混洗（Channel Shuffle）。
图4 shuffle unit结构
Fig.4 Structure of shuffle unit
使用shuffle unit替换基线算法CCFM中RepC3的基本单元RepConv后得到ShuffleC3，如图5所示。采用ShuffleC3搭建Light-CCFM与上述Light-AIFI一起构成LEHE，使算法参数及计算量得到进一步压缩，降低了计算设备的硬件要求，可提高巡检效率，便于算法更好地应用于输电线路绝缘子缺陷巡检场景。
注：×3代表基本单元堆叠3次。
图5 RepC3与ShuffleC3对比
Fig.5 Comparison between RepC3 and ShuffleC3
1.2.2 定位信息补充分支
一方面，轻量化设计必然会导致算法检测精度下降；另一方面，由于采集图像中绝缘子的缺陷信息少，而网络提取特征时需要不断堆叠卷积，过深的网络会造成缺陷小目标信息丢失，且深层特征一般含有丰富的语义特征，缺乏定位信息。因此，本文在LEHE结构中提出定位信息补充分支（LISB）来增强深层特征，在解决缺陷信息丢失问题的同时补充定位信息，缓解轻量化造成的算法检测精度下降问题，其结构如图2中所示。LISB为轻量型模块，只需要很小的额外计算开销。其过程为：先对Stagel输出的160×160特征图进行下采样，并在通道维度将其与相应尺度的深层特征拼接，计算公式为
（11）
（12）
式中，MaxPool为最大池化下采样操作；
、
和
为图2中LISB相应特征映射。
基线算法采用GIoU计算边界框的回归损失，不仅关注重叠区域，也关注非重叠区域，能很好地反映真实框与预测框的重合度，但也存在一些问题。GIoU与DIoU回归效果对比如图6所示，当预测框B位于真实框A内部时，GIoU就退化为IoU，无法区分真实框与预测框的相对位置关系，导致边界框回归速度变慢。
图6 GIoU与DIoU回归效果对比
Fig.6 Comparison of regression effects between GIoU and DIoU
DIoU[24]考虑了预测框与真实框的重叠面积和中心点距离，使得边界框回归过程更加稳定，精度更高，因此选择DIoU代替GIoU作为边界框回归损失函数，计算公式为
（13）
式中，IoU为预测框与真实框的交并比；f与
分别为预测框与真实框的中心点；p为两个中心点间的欧式距离；q为同时包含预测框和真实框的最小闭包区域的对角线距离。GIoU与DIoU计算方式对比如图7所示，图中C为包含A、B两个框的最小闭包区域。与GIoU相比，DIoU可以直接最小化两个目标框的距离，且对真实框与水平框同处水平或垂直方向的情况回归较快。
图7 GIoU与DIoU计算方式对比
Fig.7 Comparison of calculation methods between GIoU and DIoU
基于自建数据集进行改进算法与其他算法的对比实验，使用类别平均精度（Average Precision, AP）和均值平均精度（mean Average Precision, mAP）作为评估指标，用来评价检测算法性能，计算式分别如式（14）和式（15）所示。两种指标值越大，算法性能越好。
（14）
（15）
式中，P为精确率；R为召回率；n为类别数量。
本文实验基于自建数据集进行，一部分数据来源于中国电力线路绝缘子数据集（Chinese Power Line Insulator Dataset, CPLID） [25]，另一部分数据来源于网络，共计2 448张图片，包含破损和闪络两种缺陷，两种缺陷展示图片如附图2所示。
参考PASCAL VOC数据集[26]的构建方法，严格按照标注规范使用LabelImg进行标注，数据集标签统计如图8所示，并按4:1的比例随机划分为训练集和测试集。由于现有方法仅针对一般天气情况下的绝缘子缺陷巡检，很少考虑雨、雪等恶劣天气的极端情况巡检，且恶劣天气数据难以采集。因此，本文分别从训练集和测试集中选出图片750张和150张，并使用基于Python的Imgaug图像增强库处理原始航拍图片模拟雾、雨和雪三种恶劣天气，得到相应图片后训练算法，以达到恶劣天气时巡检的准确率要求。天气模拟示例及算法训练流程如图9所示。
图8 数据集标签详情统计
Fig.8 Dataset label detail statistics
图9 轻量级RT-DETR算法训练流程
Fig.9 Lightweight RT-DETR algorithm training flow chart
本文实验环境为ubuntu18.04操作系统，Python 3.8，PyTorch 2.0.0 和Cuda 11.8。实验平台配置为CPU（Intel Xeon Platinum 8358P）一块，GPU（NVIDIA RTX3090）一块。训练超参数设置为：训练轮次200轮，初始学习率为0.000 1，批次为8，学习率动量值为0.9，采用AdamW优化器。参考迁移学习思想，首先利用大型开源VOC 2007数据集[26]进行预训练，得到预训练权重，将其作为初始化训练权重用于本文数据集训练。使用迁移学习和未使用迁移学习的损失曲线如图10所示。可以看出，使用迁移学习训练的模型损失值下降更快，且进行迁移学习后算法收敛情况更好。从损失曲线变化趋势来看，算法拟合情况正常，证明了自建绝缘子数据集的科学性及本文实验结果的有效性。
图10 损失曲线
Fig.10 Loss curves
为验证本文所提算法的有效性，选择轻量级的YOLOv5s、YOLOv7-tiny、YOLOv8n及同类型算法AMC-YOLOX-s[13]进行对比，测试mAP时IoU=0.5，实验结果见表1。可以看出，在大小满足边缘部署要求的前提下，本文所提算法mAP比其余算法至少高4.5个百分点，原因在于其余方法检测破损和闪络两种缺陷小目标时的AP较低，影响了整体性能。同时，所提算法的精确率和召回率分别达到94.1%和94.3%，至少高出其他算法4.1个百分点和8.1个百分点，说明所提算法的检测结果具有较高的准确度和完备度。
图11为上述五种算法的检测效果对比，为了验证各算法在使用多天气数据集训练后，不同天气条件是否还会影响检测效果，对待检绝缘子图片也进行了天气模拟，并将其分为“原图”和“天气图”进行检测对比。可以看出，YOLOv5s、YOLOv7-tiny和YOLOv8n在“原图”和“天气图”两种情况下，均出现了不同程度的误检；同类型算法AMC-YOLOX-s在“原图”情况中出现误检，在“天气图”中出现漏检。相比之下，本文所提算法检测效果较好，没有受到“天气”因素影响，满足多天气条件下的输电线路绝缘子缺陷巡检要求。
表1 轻量级算法性能对比
Tab.1 Performance comparison of lightweight algorithms
算法AP(%)mAP(%)P(%)R(%)参数量/106计算量/GFLOPs 绝缘子破损闪络 YOLOv5s96.692.489.092.790.086.27.0316.0 YOLOv7-tiny97.571.169.979.577.873.36.0213.2 YOLOv8n98.083.281.387.581.181.93.018.2 AMC-YOLOX-s94.785.779.086.588.271.99.3227.3 本文99.197.595.197.294.194.36.4816.8
图11 检测效果对比
Fig.11 Comparison of detection results
为验证上文所提模块、损失函数及训练方法的效果，基于自建数据集从算法参数量、计算量及mAP三个主要方面进行改进效果验证，在基线算法基础上，依次使用EMO替换ResNet-18作为特征提取主干、LEHE替换EHE、DIoU替换GIoU作为回归损失函数及采用迁移学习进行训练，改进效果见表2。
表2 改进效果验证
Tab.2 Improvement effect verification
模块AP(%)mAP(%)参数量/106计算量/GFLOPsFPS/(帧/s) 绝缘子破损闪络 基线算法99.297.996.797.920.0958.314 +EMO99.297.294.797.09.9228.111 +LEHE99.196.093.696.26.4816.835 +DIoU99.096.094.896.66.4816.835 +迁移学习99.197.595.197.26.4816.835
可以看出，在使用EMO作为特征提取主干后，算法参数量和计算量分别下降50.6%、51.8%，mAP下降0.9个百分点。采用LEHE后，算法参数量和计算量分别下降34.7%、40.2%，mAP下降0.8个百分点。整个轻量化改进（即基线算法+EMO+LEHE）中，算法参数量和计算量分别下降67.8%、71.2%，mAP共下降1.7个百分点，说明上述轻量化方法在算法大小和性能之间做出了很好的权衡；此外，在使用DIoU回归损失函数和利用迁移学习训练后，检测精度得到一定程度的弥补。虽然所提算法最终的mAP仍比基线算法低0.7个百分点，但参数量与计算量大幅度减少，更适合边缘部署，方便输电线路绝缘子缺陷巡检开展作业。
此外，为进一步验证上述算法改进的有效性，本文在上述实验环境下，使用固定帧数法测试对比了改进算法与基线算法的检测速度FPS（frame per second），表示为
（16）
式中，t为预测一帧所用时间，ms。从表2实验结果可以看出，相较于基线算法，改进算法的FPS有所提升，计算时间减少，进一步证明了改进算法的有效性。
为进一步验证各模块对算法进行绝缘子状态巡检任务的影响，基于自建数据集进行特征提取主干、LEHE及损失函数的详细消融实验，结果见表3。
1）特征提取主干对比了EfficientViT、EMO、MobileNetv3及ShuffleNetv2四种轻量化模型，可以看出，相较于EMO，使用EfficientViT模型改进得到的算法在参数量、计算量及mAP三个方面都不具备优势；同时，虽然MobileNetv3和ShuffleNetv2在模型大小上具有微弱优势，但mAP以及破损和闪络缺陷的检测精度均远不如EMO，说明EMO效果更好，可以很好地提取航拍图像中尺寸较大的绝缘子目标及尺寸较小的缺陷目标。
表3 消融实验结果
Tab.3 Results of ablation experiment
模块名称AP(%)mAP(%)参数量/106计算量/GFLOPs 绝缘子破损闪络 特征提取主干EfficientViT99.094.994.396.110.9128.3 EMO99.297.294.797.09.9228.1 MobileNetv399.093.690.494.39.7824.9 ShuffleNetv299.094.991.795.29.5425.1 LEHE+Light-AIFI98.996.294.896.69.3127.8 +Light-CCFM99.094.392.995.46.4616.6 +LISB99.196.093.696.26.4816.8 损失函数GIoU99.196.093.696.26.4816.8 DIoU99.096.094.896.66.4816.8 EIoU99.195.594.696.46.4816.8 SIoU99.094.794.195.96.4816.8 MPDIoU98.995.493.796.06.4816.8
2）在LEHE消融实验中，当特征提取主干采用EMO时，依次加入Light-AIFI、Light-CCFM及LISB并验证效果。可以看出，前两者加入后算法参数量和计算量分别下降34.9%、40.9%，算法轻量化效果明显，但造成破损和闪络两种缺陷检测精度分别下降2.9个百分点、1.8个百分点。随后引入的LISB以微小的计算成本使两种缺陷检测精度分别上升1.7个百分点、0.7个百分点，证明其可以在一定程度上解决深层特征缺陷小目标信息丢失问题，缓解轻量化造成的算法检测精度下降。
3）在回归损失函数对比实验中，算法采用GIoU可以达到96.2%的mAP，在采用DIoU替换后将mAP提升至96.6%。证明DIoU损失函数通过考虑预测框与真实框的重叠面积及中心点距离，使边界框回归过程变得更加稳定，算法缺陷检测AP更高，进一步缓解了轻量化设计造成的算法精度下降。
此外，本文针对LISB采用的下采样方法进行消融实验，分别将其设置为平均池化、最大池化以及深度卷积判断算法大小及检测精度，结果见表4。首先，引入上述方法后，最大池化和平均池化参数量相同且小于深度卷积，原因在于它们本身没有任何可学习参数；其次，使用深度卷积时，检测精度的提升效果不如前两者，这可能是由于卷积计算过程会破坏定位信息等浅层特征，而这正是深层特征所需要的；最后，可以看出平均池化与最大池化的mAP相等，但前者绝缘子和闪络缺陷的AP值比后者稍低，这是因为平均池化擅长保留背景，在一定程度上会破坏目标边缘信息造成模糊，而最大池化能很好地保存纹理特征。上述方法下采样得到的特征映射Q1～Q3可视化结果如图12所示（其检测原图如附图3所示）。可以看出，相较于最大池化，平均池化和深度卷积都比较关注背景，这与上述分析一致。因此，LISB最终选择最大池化作为下采样方法。
表4 定位信息补充分支消融实验结果
Tab.4 Results of ablation experiment of localization information supplementary branch
下采样方法AP(%)mAP(%)参数量/106计算量/GFLOPs 绝缘子破损闪络 平均池化99.096.093.596.26.480 99616.8 最大池化99.196.093.696.26.480 99616.8 深度卷积99.094.693.095.66.481 28416.8
注：图中行代表图2定位信息补充分支的Q1～Q3，列代表上述三种不同的下采样方法，算法对亮度较高的区域更加敏感。
图12 不同下采样方法特征映射可视化
Fig.12 Visualization of feature mapping with different down-sampling methods
针对输电线路巡检准确率和“云-边-端协同架构”边缘部署要求，并考虑极端情况时需要在恶劣天气条件下完成巡检任务，本文提出了一种轻量级RT-DETR算法，得到如下结论：
1）选择不需要非极大值抑制进行后处理的RT-DETR作为基线算法，可降低优化难度，增强鲁棒性。
2）采用轻量级EMO作为特征提取主干学习绝缘子目标的长距离特征交互及缺陷小目标的局部特征交互，提出基于轻量级注意力的尺度内特征交互模块和轻量级跨尺度特征融合模块设计轻量级高效混合编码器，使算法参数量及计算量分别减少67.8%、71.5%，满足边缘部署算法轻量化需求。在轻量级高效混合编码器中引入定位信息补充分支增强深层特征，使用DIoU损失函数，结合迁移学习训练后，算法mAP达到97.2%，相较基线算法的mAP只损失了0.7个百分点，在一定程度上缓解了轻量化改进造成的算法检测精度下降问题，满足输电线路绝缘子状态巡检准确率要求。
3）构建多天气绝缘子缺陷数据集训练算法，提升算法在恶劣天气条件下的绝缘子及缺陷检测效果，为极端情况巡检输电线路绝缘子提供了算法支撑。
未来将在智能边缘设备部署所提算法，进一步进行输电线路绝缘子实地巡检应用研究。
附 录
附图1 RT-DETR基线算法结构
App.Fig.1 Structure of RT-DETR baseline algorithm
附图2 绝缘子破损与闪络缺陷展示
App.Fig.2 Display of broken and flashover damage defects of insulators
附图3 特征映射可视化原图
App.Fig.3 Feature mapping visualization original image
参考文献
[1] 张血琴, 周志鹏, 郭裕钧, 等. 不同材质绝缘子污秽等级高光谱检测方法研究[J]. 电工技术学报, 2023, 38(7): 1946-1955.
Zhang Xueqin, Zhou Zhipeng, Guo Yujun, et al. Detection method of contamination grades of insulators with different materials based on hyperspectral technique[J]. Transactions of China Electrotechnical Society, 2023, 38(7): 1946-1955.
[2] 赵乐, 王先培, 姚鸿泰, 等. 基于可见光航拍图像的电力线提取算法综述[J]. 电网技术, 2021, 45(4): 1536-1546.
Zhao Le, Wang Xianpei, Yao Hongtai, et al. Survey of power line extraction methods based on visible light aerial image[J]. Power System Technology, 2021, 45(4): 1536-1546.
[3] 陈奎, 刘晓, 贾立娇, 等. 基于轻量化网络与增强多尺度特征融合的绝缘子缺陷检测[J]. 高电压技术, 2024, 50(3): 1289-1300.
Chen Kui, Liu Xiao, Jia Lijiao, et al. Insulator defect detection based on lightweight network and enhanced multi-scale feature fusion[J]. High Voltage Engineering, 2024, 50(3): 1289-1300.
[4] 苟军年, 杜愫愫, 王世铎, 等. 轻量化特征融合的CenterNet输电线路绝缘子自爆缺陷检测[J]. 北京航空航天大学学报, 2024, 50(7): 2161-2171.
Gou Junnian, Du Susu, Wang Shiduo, et al. Insulator self-explosion detection in transmission line based on CenterNet fusing lightweight features[J]. Journal of Beijing University of Aeronautics and Astronautics, 2024, 50(7): 2161-2171.
[5] 翟永杰, 王迪, 赵振兵, 等. 基于空域形态一致性特征的绝缘子串定位方法[J]. 中国电机工程学报, 2017, 37(5): 1568-1578.
Zhai Yongjie, Wang Di, Zhao Zhenbing, et al. Insulator string location method based on spatial configuration consistency feature[J]. Proceedings of the CSEE, 2017, 37(5): 1568-1578.
[6] 刘洋, 陆倚鹏, 高嵩, 等. 边缘检测在盘形悬式瓷绝缘子串红外图像上的应用[J]. 电瓷避雷器, 2020(1): 198-203.
Liu Yang, Lu Yipeng, Gao Song, et al. Edge detection on infrared image of high voltage porcelain disc type suspension insulator strings[J]. Insulators and Surge Arresters, 2020(1): 198-203.
[7] 蒲天骄, 乔骥, 韩笑, 等. 人工智能技术在电力设备运维检修中的研究及应用[J]. 高电压技术, 2020, 46(2): 369-383.
Pu Tianjiao, Qiao Ji, Han Xiao, et al. Research and application of artificial intelligence in operation and maintenance for power equipment[J]. High Voltage Engineering, 2020, 46(2): 369-383.
[8] 王卓, 王玉静, 王庆岩, 等. 基于协同深度学习的二阶段绝缘子故障检测方法[J]. 电工技术学报, 2021, 36(17): 3594-3604.
Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.
[9] 张欣, 王红星, 陈玉权, 等. 基于改进Cascade R-CNN算法的多类型绝缘子缺陷图像联合检测[J]. 电瓷避雷器, 2022(1): 189-196.
Zhang Xin, Wang Hongxing, Chen Yuquan, et al. Multi-type insulator defect joint detection based on improved Cascade R-CNN algorithm[J]. Insulators and Surge Arresters, 2022(1): 189-196.
[10] Ling Zenan, Zhang Dongxia, Qiu R C, et al. An accurate and real-time self-blast glass insulator location method based on faster R-CNN and U-net with aerial images[J]. CSEE Journal of Power and Energy Systems, 2019, 5(4): 474-482.
[11] 苟军年, 杜愫愫, 刘力. 基于改进掩膜区域卷积神经网络的输电线路绝缘子自爆检测[J]. 电工技术学报, 2023, 38(1): 47-59.
Gou Junnian, Du Susu, Liu Li. Transmission line insulator self-explosion detection based on improved mask region-convolutional neural network[J]. Transactions of China Electrotechnical Society, 2023, 38(1): 47-59.
[12] 李斌, 屈璐瑶, 朱新山, 等. 基于多尺度特征融合的绝缘子缺陷检测[J]. 电工技术学报, 2023, 38(1): 60-70.
Li Bin, Qu Luyao, Zhu Xinshan, et al. Insulator defect detection based on multi-scale feature fusion[J]. Transactions of China Electrotechnical Society, 2023, 38(1): 60-70.
[13] 宋立业, 刘帅, 王凯, 等. 基于改进EfficientDet的电网元件及缺陷识别方法[J]. 电工技术学报, 2022, 37(9): 2241-2251.
Song Liye, Liu Shuai, Wang Kai, et al. Identification method of power grid components and defects based on improved EfficientDet[J]. Transactions of China Electrotechnical Society, 2022, 37(9): 2241-2251.
[14] 王韵琳, 冯天波, 孙宁, 等. 融合注意力与多尺度特征的电力绝缘子缺陷检测方法[J]. 高电压技术, 2024, 50(5): 1933-1942.
Wang Yunlin, Feng Tianbo, Sun Ning, et al. Defect detection method for power insulators based on attention and multi-scale context information[J]. High Voltage Engineering, 2024, 50(5): 1933-1942.
[15] 汤璐, 王淑青, 王年涛, 等. 基于改进YOLOX网络的雾天绝缘子缺陷检测[J]. 高压电器, 2024, 60(3): 223-228.
Tang Lu, Wang Shuqing, Wang Niantao, et al. Insulator defect detection in foggy condition based on improved YOLOX network[J]. High Voltage Apparatus, 2024, 60(3): 223-228.
[16] 张烨, 李博涛, 尚景浩, 等. 基于多尺度卷积注意力机制的输电线路防振锤缺陷检测[J]. 电工技术学报, 2024, 39(11): 3522-3537.
Zhang Ye, Li Botao, Shang Jinghao, et al. Defect detection of transmission line damper based on multi-scale convolutional attention mechanism[J]. Transactions of China Electrotechnical Society, 2024, 39(11): 3522-3537.
[17] Zhao Yian, Lü Wenyu, Xu Shangliang, et al. DETRs beat YOLOs on real-time object detection[J/OL]. ArXiv, 2024: 2304.08069v3. https://doi.org/10.48550/ arXiv.2304.08069.
[18] Zhang Jiangning, Li Xiangtai, Li Jian, et al. Rethinking mobile block for efficient attention-based models[C]//2023 IEEE/CVF International Conference on Computer Vision (ICCV), Paris, France, 2023: 1389-1400.
[19] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 2818-2826.
[20] Howard A G, Zhu Menglong, Chen Bo, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[J/OL]. ArXiv, 2017: 1704.04861. http://arxiv.org/abs/1704.04861v1.
[21] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778.
[22] Sandler M, Howard A, Zhu Menglong, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, 2018: 4510-4520.
[23] Ma Ningning, Zhang Xiangyu, Zheng Haitao, et al. ShuffleNet V2: practical guidelines for efficient CNN architecture design[C]//Computer Vision-ECCV 2018: 15th European Conference, Munich, Germany, 2018: 122-138.
[24] Zheng Zhaohui, Wang Ping, Liu Wei, et al. Distance-IoU loss: faster and better learning for bounding box regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12993-13000.
[25] Tao Xian, Zhang Dapeng, Wang Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1486-1498.
[26] Everingham M, Ali Eslami S M, Van Gool L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.
Abstract With the continuous advancement of the new generation power system construction and the continuous development of artificial intelligence technology, it has become an inevitable development trend to use intelligent methods to inspect the insulator condition of transmission lines. "Cloud-edge-end collaborative architecture" has the characteristics of cloud service center and edge computing equipment, and is suitable for insulator condition inspection, which can improve the inspection efficiency of insulators and avoid the risk of manual inspection. However, the computing power of edge devices in "cloud-edge-end collaborative architecture" is relatively poor. In order to facilitate its algorithm deployment, a lightweight rel-time detection transformer (RT-DETR) target detection algorithm is proposed to meet the requirements of edge devices for deploying lightweight algorithms, and at the same time, to ensure that the algorithm performance can meet the accuracy requirements of transmission line insulator condition inspection tasks.
Firstly, RT-DETR is used as the baseline algorithm to reduce the difficulty of optimization and improve the robustness. Then, in order to reduce the parameters and calculation of the algorithm, the lightweight efficient model (EMO) is selected as the feature extraction backbone of the algorithm, and the long-distance feature interaction of insulator targets and the local feature interaction of defective small targets are fully learned. At the same time, a lightweight and efficient hybrid encoder is designed based on the lightweight attention-based intra-scale feature interaction module and lightweight cross-scale feature fusion module, which further lightens the algorithm. Finally, because the lightweight improvement will lead to a certain degree of algorithm performance degradation, the location information supplementary branch is introduced into the lightweight and efficient hybrid encoder to alleviate the problem of the loss of positioning information of defective small targets in deep features. Because the structure is lightweight, it will only bring a slight increase in the amount of algorithm parameters and calculation. DIoU loss function is used to measure the distance between the prediction frame and the real frame, which makes the regression process of the bounding box more stable. Combined with transfer learning skills, the loss of the algorithm decreases faster and the convergence is better.
When constructing the insulator dataset, the pictures in it are processed to simulate rain, snow and fog weather. Using this dataset to train the algorithm can make it not be disturbed by these three kinds of weather to a certain extent, so that the algorithm can carry out the inspection of insulator condition in extreme cases. At the same time, the experimental results show that, compared with the baseline algorithm, the detection accuracy of the proposed algorithm reaches 97.2%, with a loss of only 0.7 percentage points, while the parameters and calculation amount decrease by 67.8% and 71.2% respectively, and the detection speed increases by 2.5 times, which can meet the requirements of the accuracy of the state inspection of transmission line insulators and the lightweight of edge deployment.
Keywords：Insulator defect detection, RT-DETR algorithm, lightweight, edge deployment, target detection algorithm
中图分类号：TM755；TP389
DOI: 10.19595/j.cnki.1000-6753.tces.240171
甘肃省自然科学基金资助项目（23JRRA868）。
收稿日期 2024-01-24
改稿日期 2024-03-20
姜香菊 女，1979年生，副教授，硕士生导师，研究方向为检测技术及智能控制、故障诊断与智能控制。
E-mail：63411721@qq.com（通信作者）
王瑞彤 男，1999年生，硕士研究生，研究方向为基于深度学习的电力系统巡检图像处理。
E-mail：1367865900@qq.com
（编辑 李 冰）