摘要 现场进行绝缘子低值缺陷实时检测时,往往面临角度多变、背景复杂等因素导致的缺陷检测准确率低、小目标难以识别等问题。为解决上述问题,该文提出了小目标复杂环境YOLO(SCE-YOLO)算法。首先,以YOLOv8为基础,使用自注意力与卷积混合模型,提高算法对于绝缘子缺陷的关注度;其次,引入跨模态上下文特征模块,整合不同尺度的特征,降低模型的计算量;然后,采用改进为第三代可变性卷积的多重注意力机制检测头,提高算法目标定位的准确性;最后,引入Inner-SIoU损失函数,提升小目标的召回率和精度,增强模型对小目标的鲁棒性。针对数据不足的情况,该文进行低值绝缘子红外图像实验获取不同条件下的红外图像,完成数据集的构建。经实验验证,该文提出的SCE-YOLO算法在将浮点运算量降至7.5的同时,实现了0.874 5的平均检测准确率,满足了现场对小目标绝缘子低值缺陷实时检测的要求,且通过消融、对比等实验验证了该文提出算法的有效性及优越性。
关键词:红外图像 小目标检测 目标识别 YOLOv8
绝缘子作为电力系统中的关键组件,主要用于隔离电气设备或导线与支架之间的电气连接,防止电流泄漏,确保电力系统的安全稳定运行。但绝缘子可能因为长时间暴露在雨雪、风沙、尘埃等恶劣环境中,出现污秽、劣化、过热等缺陷,其中绝缘子劣化是最为常见的缺陷。如果劣化缺陷未及时检测和处理,绝缘子首先会劣化为低值绝缘子,然后逐渐劣化至零值绝缘子,继而导致电力系统故障,影响供电可靠性[1-3]。
伴随当下人工智能、图像处理等前沿科学技术的高速发展,电网巡检已经形成了机器巡检的高自动化格局。因此,基于图像的非接触式绝缘子缺陷检测技术得到广泛研究。其中,红外图像检测方法因其独特的优势在电力系统运行和维护中发挥着重要作用[4-7]。红外检测通过捕捉设备的热量分布识别异常发热点,从而发现潜在的故障问题,对于绝缘子劣化缺陷的识别具有较高的实际应用价值。基于红外图像的缺陷检测方法近年来也有较为广泛的研究[8-10]。赵利鸿等[11]提出了一种基于红外图像的绝缘子提取方法,该技术首先应用加速稳健特征(Speeded Up Robust Features, SURF)算法识别红外图像中的关键特征点;随后利用优化后的模糊C均值(Fuzzy C-Means, FCM)算法对这些特征点进行有效分类,实现了对绝缘子故障更精准的识别。王媛彬等[12]提出了一种基于YOLO v5 (you only look once version 5)的红外图像识别方法,在骨干网络中引入Ghost卷积,在特征融合阶段结合自注意力的改进C3模块增强特征捕捉能力。此外,网络引入聚类非极大值抑制(Cluster Non-Maximum Suppression, Cluster NMS)和EIoU损失来加速网络收敛,实现了对变电站设备红外图像的精准识别。
但随着深度学习领域的不断发展以及红外图像技术在缺陷检测中的应用,对绝缘子的检测精度、实时性等要求也越来越高,且向边缘端应用的发展也在不断地提速,国内外专家学者对此也展开了相关研究。Zhao Zhenbing等[13]提出了一种聚合深度卷积特征映射网络,来应对温度、方向和杂乱背景变化的挑战,利用高层次的判别卷积神经网络(Convoluntional Neural Network, CNN)的特点提取框架,结合具有变形不变性的矢量局部聚集描述符(Vector of Locally Aggregated Descriptors, VLAD)聚合器,有效地实现了在复杂环境下对绝缘子的识别。Zhou Ming等[14]提出了一种基于改进掩码区域卷积神经网络(Mask Region Convolutional Neural Network, Mask RCNN)的红外绝缘子故障检测网络,对Mask RCNN骨干网络中残差网络101的结构(ResNet 101)进行了改进,加入注意力机制,实现了对小目标更精准的识别。Lin Yu等[15]提出一种基于红外图像旋转检测器的绝缘子过热缺陷自动诊断方法,首先设计了一个自适应平衡特征金字塔网络,然后提出了一种绝缘子芯棒定位、自动纠偏、温度测量和缺陷诊断的方法,解决了由于定位不准确导致的测量误差问题。任毅等[16]提出了一种基于改进YOLOv5s的绝缘子定位检测及红外故障识别方法,首先将全局上下文注意力机制与YOLOv5s骨干网络部分的C3结构进行融合,提出一种新的结构C3GC;其次将损失函数替换为Vari Focal Loss,提升了模型的召回率;最后通过引入转置卷积,有效地缓解了模型漏检的问题。但上述研究和方法仍存在一些问题,如在实际应用中受红外图像背景复杂等多种因素影响,导致拍摄的小目标发热点存在多尺度、多角度的特性,且为了适用于边缘端,需要保持精度与轻量化之间的平衡[17-18]。
针对上述问题,本文提出了小目标复杂环境YOLO(Small targets in Complex Environments YOLO, SCE-YOLO)算法。该算法是以YOLOv8算法[19]为基础进行改进,首先使用自注意力与卷积混合模型(Self-Attention and Convolution mix, ACmix)聚合卷积和自注意力[20],提高算法对绝缘子的关注度,从而降低背景对于算法的影响;其次,通过跨尺度特征融合模块(Cross-modal Contextual Feature Module, CCFM)[21]改进路径聚合网络(Path Aggrega- tion Network, PANet),以整合不同尺度的绝缘子特征,降低模型的计算量;然后,引入多重注意力机制检测头(Dynamic Head, DyHead)[22],将其中的第二代可变性卷积改进为第三代可变性卷积(Defor- mable Convolutional Networks v3, DCNv3)[23],显著提升模型目标检测头的表达能力,进一步改善算法在复杂环境下对小目标缺陷进行检测的能力,并通过改进DCNv3使得模型具有更高的计算效率;最后,使用Inner-SIoU[24]损失函数替换CIoU损失函数,通过引入辅助边界框改进边界框回归(Bounding Box Regression, BBR)的准确性,提升对小目标绝缘子检测的召回率和精度,增强模型对于小目标的鲁棒性。
同时,为了扩充绝缘子低值缺陷数据集样本,开展相关实验。分别将不同低值绝缘子置于不同位置,改变湿度、拍摄角度等,获取不同环境条件下的低值绝缘子发热红外图像。基于此数据集,开展实验评估算法的准确性、鲁棒性,并与其他算法展开对比。经实验验证,本文方法可有效地提升绝缘子低值缺陷识别算法在小目标、复杂环境下的识别效果。
瓷质绝缘子的发热受其表面的泥污、损伤以及力学性能等影响,主要可以分为三个部分:介质极化引起的介损发热、内部穿透性泄漏电流引起的发热、表面泄漏电流引起的发热。基于此,单片绝缘子的等效电路如图1所示[25]。
图1 单片绝缘子的等效电路
Fig.1 The monolithic insulator equivalent circuit
随着时间的推移,绝缘子的电气性能和力学性能逐渐降低,直至发生劣化。当绝缘子发生劣化时,绝缘子的发热主要由内部穿透性泄漏电流引起的发热造成,其发热功率Pv和绝缘子温升DTv分别为
(1)
(2)
式中,U0为绝缘子两端等效电压;A为绝缘子表面热传导面积;l为绝缘子散热系数;Iv为绝缘子内部的穿透性泄漏电流。随着绝缘子劣化的发生,正常绝缘子劣化为低值绝缘子,其等效电阻Req逐渐降低,内部泄漏电流逐渐增大。在电阻不断减小的过程中,其发热功率不断增加,直至其等效电阻Req等于等效容抗Xeq时,绝缘子的发热功率达到峰值。由于绝缘子的钢帽比瓷质部分具有更高的热传导性,热量主要在钢帽区域积聚,因此发热特征主要集中在绝缘子钢帽上,形成以钢帽为发热中心的热像图。
YOLOv8算法是一种先进的目标检测算法。它由输入层、主干(Backbone)层、颈部(Neck)层和检测头(Head)层组成,分别负责绝缘子红外图像的输入、特征提取、特征融合和输出。为提升算法对于复杂环境下缺陷的检测能力以及小目标缺陷的检测能力,本文以YOLOv8算法为基准进行了改进,形成了SCE-YOLO算法。SCE-YOLO算法结构如图2所示。
图2 SCE-YOLO算法结构
Fig.2 The SCE-YOLO algorithm structure
本文所提SCE-YOLO算法在YOLOv8的基础上进行改进。由于在主干网络的特征提取过程中,多次的卷积和池化操作会导致空间信息逐渐丢失,小目标的特征信息往往也会丢失,因此,本文首先选择在主干网络与颈部网络之间引入ACmix,在保持低计算成本的同时增强算法全局和局部特征的捕获能力;其次,对颈部层的PANet进行改进,引入CCFM,通过整合不同尺度的特征提升模型对尺度变化的适应性,尤其是面对小目标对象时,并且由于其轻量级的卷积操作,也有效地降低了模型的计算量;然后,对于检测头部分,引入DyHead,并在原DyHead的基础上,通过改进DCNv3提高算法目标定位的准确性;最后,使用Inner-SioU损失函数替换YOLOv8算法所使用的CIoU损失函数,有效地提升算法的召回率和精度,增强模型的鲁棒性。
由于红外图像拍摄易受环境影响,进而导致算法识别绝缘子发热特征的准确性下降。为提高算法的效率和性能,采用注意力机制调整网络关注点,使其聚焦于绝缘子上。同时,为在保持性能的前提下尽量不显著增加计算量,选择一种结合了自注意力(Self-Attention)和卷积(Convolution)的混合模型ACmix[20]。ACmix结构如图3所示。图3中,O(C)代表与通道数C相关的计算复杂度呈线性关系,O(C2)代表计算复杂度与通道数C的二次方呈正比关系;3×Heads代表具有三个注意力头。
图3 ACmix结构
Fig.3 The ACmix structure
ACmix首先对低值绝缘子红外特征通过1×1卷积进行投影,然后将中间特征用于卷积和自注意力两种聚合操作。标准卷积如图3a所示,包含一个大小为k2的1×1卷积,其中k为卷积核大小;自注意力机制如图3b所示,包含三个1×1卷积,分别代表多头注意力中每个头的线性变换和聚合;图3c中的ACmix结合了卷积和自注意力,利用自注意力的全局感知和卷积的局部特征捕获能力,在低计算成本下提升性能。ACmix结构具体实现过程如图4所示。图4中,C、H和W分别为输入特征图的通道数、高和宽;N为输入特征经过三个卷积操作后被分为特征片段的数量。
图4 ACmix结构实现过程
Fig.4 The ACmix structure realization process
ACmix的核心在于运算分解与重构,将传统卷积和自注意力拆分:卷积核分解为多个1×1卷积核,用于处理不同特征子集;自注意力的查询、键和值生成也转换为1×1卷积。可学习参数a和b通过式(3)对卷积和自注意力部分进行加权融合,形成统一混合模块,兼具卷积的空间特征提取和自注意力的全局信息聚合功能。该方法可减少冗余计算,提高效率,降低模型复杂度。
(3)
式中,Fatt为自注意力路径输出;Fconv为卷积路径输出;Fout为自注意力路径和卷积路径加权求和得到的最终输出。ACmix采用模块化设计,可以灵活地嵌入不同的网络结构中。本文选择在主干网络与颈部网络之间引入ACmix机制,可以在特征传递过程中加强特征的整合与优化,使颈部网络接收到的特征更加丰富和准确,从而提升模型对绝缘子缺陷的识别能力。ACmix在主干网络中的应用如图5所示。
图5 ACmix在主干网络中的应用
Fig.5 The ACmix in Backbone networks
考虑到实际现场中SCE-YOLO算法在边缘端应用时对网络的速度具有一定的要求,本文对YOLOv8的颈部网络进行了改进,引入了跨尺度特征融合模块(CCFM)[21]。CCFM是RT-DETR网络的颈部结构,是一种轻量级特征融合模块,既注重轻量化设计,又可增强多尺度感知能力。它通过整合不同尺度的特征,提升模型对尺度变化的适应性,尤其在目标检测任务中增强了对小尺度对象的检测能力。CCFM结构如图6所示。图6中,RepBlock是一种通过可重参数化技术来优化网络结构和性能的模块。
图6 CCFM结构
Fig.6 The CCFM structure
CCFM结构与PANet结构相比,在融合路径上插入了由卷积层组成的Fusion模块,负责融合相邻的尺度特征,可有效地整合细节特征和上下文信息,进一步提升模型对尺度变化的适应性和小尺度对象检测能力,同时保持较高的运算效率,适用于计算资源有限的设备。
尽管本文已针对不利环境下的图像进行了改进,但为将算法资源更集中于绝缘子的缺陷信息,本文采用Dyhead[22]提升模型的表达能力,并用DCNv3[23]替换Dyhead中的DCNv2。
DyHead由Dai Xiyang等[22]提出,通过注意力机制集成特征。其在特征层面采用尺度感知注意力整合多尺度信息;在空间维度采用空间感知注意力突出不同区域特征;在输出通道应用任务感知注意力动态调整特征通道。本文在空间注意力模块的DCNv2基础上引入DCNv3,提升计算和内存效率。改进DyHead结构如图7所示。
图7 改进DyHead结构
Fig.7 The improved DyHead structure
尺度感知注意力模块专注于特征层级L,基于语义重要性融合不同尺度特征,使用平均池化、1×1卷积、ReLU激活函数和Sigmoid函数提高检测头对不同尺度特征图的感知能力。尺度感知注意力模块pL的实现过程表示为
(4)
式中,S与C分别为空间位置信息与通道信息;F为输入;f(·)为1×1二维卷积操作;s(·)为hard sigmoid函数。
空间感知注意力模块专注于空间位置S,通过聚合特征关注图像区别性区域。原DyHead模块在空间感知部分采用DCNv2卷积网络,引入可学习偏移量,改进传统固定卷积操作的局限性,实现非线性采样。而DCNv3在DCNv2基础上引入多组机制,将原始卷积权重wk分离为深度部分和逐点部分,深度部分由原始位置感知调制标量负责;逐点部分则为采样点间共享的投影权重v,可弥补正则卷积在长程依赖和自适应空间聚合方面的不足,继承卷积归纳偏差,使模型在训练数据少、时间短的情况下更高效。改进空间感知注意力模块pS的实现过程表示为
(5)
式中,Fg为第g组的给定输入;G为聚合组总数,采用多分组形式,确保各组具有各自的采样偏移Dpgk和调制规模mgk,提高卷积层灵活性,增强网络特征识别能力;不同组具有不同空间聚集模式,mgk为第g组中第k个采样点的调制标量,由沿k维的softmax函数归一化;K为采样点总数;Dpgk为第g组网格采样位置Dpk对应的偏移量;l为特征金字塔中的层级索引;c为特征图的通道索引,表示正在处理的通道。
任务感知注意力模块专注于通道C,动态开启或关闭特征通道支持不同任务,通过全连接层、ReLU激活函数及归一化操作处理,实现过程表示为
(6)
式中,a1、a2、b1、b2为Dynamic ReLU激活函数中的四个参数;Fc为第c个通道的特征切片。
本文将Dyhead模块置于PANet与三个检测头之间,显著提升了模型目标检测头的表达能力,增强了其在复杂环境下对小目标的检测能力,并通过改进DCNv3使模型具有更高的计算效率。
YOLOv8使用分布式焦点损失与CIoU相结合的损失函数,但现有基于IoU的边框回归主要通过新增损失项加速收敛,忽略了IoU损失项的局限性,导致其在实际应用中无法根据不同检测器和任务自我调整,泛化性较差。因此,本文采用Inner-SIoU作为损失函数[24]。Inner-IoU损失函数通过辅助边框计算IoU损失,并引入尺度因子r(通常取值范围为[0.5, 1.5])控制辅助边框尺度,同时在Inner-IoU基础上融入相似度度量,构成Inner-SIoU,有效地减少训练过程中的振荡,提升模型对小目标的鲁棒性。
Inner-IoU示意图如图8所示,目标框和锚框分别表示为bgt和b,其中(
,
)为目标框中心点,(xc, yc)为锚框中心点,wgt和hgt分别为目标框的宽和高,w和h分别为锚框的宽和高。
图8 Inner-IoU示意图
Fig.8 The Inner-IoU depiction
Inner-IoU旨在改进边界框回归的准确性,尤其是在处理高度重叠目标时,它专注于边界框内部的重叠部分,通过辅助边界框计算损失。而SIoU损失[24]融入角度和规模敏感性,以解决以往损失函数的局限性,包含角度损失、距离损失、形状损失等部分,将这些损失进行整合以实现更快的训练速度和更高的预测准确性。将Inner-IoU应用于基于SIoU的边框回归损失函数,即构成Inner-SIoU,由文献[24]可知其定义为
(7)
(8)
(9)
(10)
(11)
(12)
(13)
(14)
式中,各变量的含义详见参考文献[24]。
为了训练算法在真实环境下对绝缘子低值缺陷的识别能力,本文进行了低值绝缘子红外图像拍摄实验。实验中将绝缘子低值缺陷设置在不同位置、不同湿度的条件下,并且改变拍摄角度和距离,拍摄绝缘子红外图像,以生成不同环境条件下的缺陷样本数据集,分为正常绝缘子红外图像数据集和远距离小目标缺陷数据集。
根据文献[26],干燥环境下绝缘子表面污秽对红外图像基本无影响。因此,在拍摄低值绝缘子发热的红外图像实验时,选择了同一污秽等级进行实验。实验选用绝缘子串共含有7片绝缘子,绝缘子均采用清水洗净晾干后均匀涂污,污秽由硅藻土与氯化钠混合而成。
国内专家对于红外检测劣化绝缘子也开展了大量的研究,文献[27]得出绝缘子的悬挂方式不影响红外检测。因此,在实验采集低值绝缘子红外图像的过程中,采用悬挂的方式对绝缘子的各个角度进行拍摄。
为获取不同环境条件下低值绝缘子的红外图像,选择由现场撤换下来的三伞瓷质劣化绝缘子进行拍摄。劣化绝缘子阻值分别为7.5、19、150 MW。实验环境温度为18~25℃,污秽程度为Ⅰ级,将1片低值绝缘子分别置于绝缘子串的2、5、7号位置进行实验,其余6片均为阻值正常的绝缘子。为模拟真实环境不同湿度下所拍摄的低值绝缘子红外图像,在人工气候室中以环境相对湿度为变量,设置其分别为65%、75%、85%及95%。在绝缘子串的高压端施加65.9 kV工频电压,实验时长为2 h。在此期间,每间隔0.5 h使用Fluke Ti55TF型红外成像仪进行多角度拍摄,发射率设置为0.9。实验结束后,等待绝缘子温度恢复至室温,然后将不同低值的绝缘子置于不同位置,再次进行上述实验。最终拍摄的绝缘子图像如图9所示。
图9 实验拍摄图像
Fig.9 Experimental images
本文针对瓷质绝缘子低值缺陷红外图像构建了相关数据集。数据集由实验现场拍摄图像及网络资源获取图像构成,共包含3 738张有效样本图像,其中正常图像2 802张,小目标缺陷图像936张。使用LabelImg标注样本图像中绝缘子低值缺陷的位置,并按8
1
1的比例将数据集划分为训练集、验证集和测试集,数据集类型见表1。
表1 数据集类型
Tab.1 The type of data set
类 型数量/张 正常2 802 小目标936 总计3 738 训练集2 990 正常验证集249 小目标验证集125 测试集374
本实验的目标检测算法的训练环境如下:GPU采用NVIDlA GeForce GTX 1080 Ti,CPU采用Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40 GHz。系统环境为Python 3.9.0,torch 1.10.0,CUDA 11.3.1。训练时采用超参数为:批大小设置为-1,即选择GPU内存利用率为60%的自动模式;最大训练轮数为3 000,并设置patience参数为200,即在200轮训练内验证指标没有改善、性能趋于平稳时停止训练;优化器采用SGD优化器。
为体现绝缘子低值缺陷识别算法的性能,本文采用平均精度均值(mean Average Precision, mAP)、模型参数量、模型大小和浮点运算量(Giga Floating- point Operations Per second, GFLOPs)对模型性能进行评估。mAP通常用来衡量算法模型的综合性能,其定义为
(15)
其中
(16)
(17)
(18)
式中,M为目标检测任务中类别的总数;Aj为类别j的平均精度;n为样本中该类别的总检测实例数;i为循环变量,用于指示当前正在处理的实例;R为召回率(Recall);P为查准率(Precision);Rij和Pij分别为第j类中第i个实例的召回率和查准率;Tp、Fp、Fn分别为模型将正例判断为正例的数量、模型将负例判断为正例的数量、模型将正例判断为负例的数量。
为验证SCE-YOLO算法中各改进点的效果,本文以YOLOv8为基准(Baseline),在相同的训练流程、超参数及环境下,依次添加ACmix、CCFM、改进Dyhead和Inner-SIoU损失函数。经过多次训练,选取权重文件的平均值作为算法训练结果,得到SCE-YOLO消融实验结果见表2。
表2 SCE-YOLO消融实验结果
Tab.2 The SCE-YOLO ablation test results
序号BaselineACmixCCFM改进DyheadInner-SIoUmAPGFLOPs参数量/106模型大小/MB 正常小目标 1√0.8730.7628.13.0126.04 2√√0.8970.7918.43.0946.27 3√√√0.9080.8067.02.0514.57 4√√√√0.9180.8147.52.3794.91 5√√√√√0.9260.8237.52.3794.91
如表2所示,本文采用的四个改进点使mAP不断提升,SCE-YOLO算法的参数量、模型大小、GFLOPs均低于原基线模型YOLOv8,确保了模型的轻量化。正常数据集的mAP从0.873提升至0.926,增长0.053;小目标数据集的mAP从0.762提升至0.823,增长0.061。GFLOPs从8.1降至7.5,参数量从3.012×106降至2.379×106,模型大小从6.04 MB降至4.91 MB。
消融实验中,首先添加ACmix,正常数据集的mAP提升至0.897,小目标数据集的mAP提升至0.791,显著提高了算法精度,尤其是对小目标特征信息的识别,但模型大小略有上升。接着采用CCFM,其轻量化设计大幅降低了算法参数量和GFLOPs,分别降至2.051×106和7.0,同时精度小幅提升,尤其是在小尺度对象检测上,可使模型更加高效。然后添加改进Dyhead,由于其与CCFM的输出通道数一致,二者与改进的DCNv3完美配合,使正常数据集的mAP提升至0.918,小目标数据集的mAP提升至0.814,进一步提升了复杂环境下小目标的检测精度,但Dyhead结构复杂导致参数量升至2.379×106,GFLOPs升至7.5。最后,用Inner- SIoU代替CIoU,有效地减少训练振荡,进一步提升模型对小目标的鲁棒性,最终正常数据集精度达0.926,增长6.07%,小目标数据集精度达0.823,增长8.01%,GFLOPs降至7.5,参数量降至2.379× 106,模型大小降至4.91 MB。正常和小目标两种数据集下最终mAP平均值为0.874 5,平均增长6.97%,验证了SCE-YOLO算法改进对小目标检测的有效性。
为进一步验证本文所提SCE-YOLO算法的性能,及其相对于其他算法在推理精度和速度上的优势,将本算法与其他同类YOLO系列算法以及全卷积单阶段(Fully Convolutional One Stage, FCOS)目标检测算法[28]、快速区域卷积神经网络(Faster Region Convolutional Neural Network, Faster RCNN)[29]、RT-DETR算法[30]、RetinaNet网络[31]、RepViT算法[32]等典型算法进行多次训练,并选取权重文件的平均值作为该算法的训练结果,得到SCE- YOLO算法与其他典型算法对比实验结果见表3。
表3 SCE-YOLO算法与其他典型算法对比实验结果
Tab.3 Comparison test results of SCE-YOLO algorithm and other typical algorithms
算法mAPGFLOPs参数量/106模型大小/MB 正常小目标 YOLOv50.8230.6967.12.5105.1 YOLOv60.8520.71311.94.2398.4 YOLOv80.8730.7628.13.0126.0 YOLOv90.8780.774103.725.52949.3 FCOS0.7960.6917.52.6915.4 Faster RCNN0.8840.742251.441.383.8 RT-DETR0.9120.806105.229.26655.7 RetinaNet0.8930.78548.840.879.8 RepViT0.8790.75111.74.1257.3 SCE-YOLO0.9260.8237.52.3794.9
由表3可知,SCE-YOLO算法在小目标检测准确率及正常检测准确率上均取得最高精度,同时保持了足够的轻量化。在对比实验中,RT-DETR算法的精度与SCE-YOLO算法最接近,但因模型复杂度高导致运算量大;FCOS算法和YOLOv5在轻量化方面与SCE-YOLO算法相近,但其精度,特别是小目标检测精度与SCE-YOLO算法差距较大。因此,SCE-YOLO算法在绝缘子低值缺陷检测中较好地平衡了实时性与精度,验证了其在小目标测试环境下的显著识别优势,满足小目标绝缘子红外图像识别的要求。
为验证SCE-YOLO算法对缺陷特征的学习能力,采用热力图反映模型注意力集中位置,并通过特征图可视化进行分析。热力图中颜色深浅表示区域权重高低,权重越高,代表该区域对网络响应越高、贡献越大。热力图对比实验选用的图像如图10所示。图10中,绝缘子串中心自上而下第7片为低值缺陷绝缘子。
图10 热力图对比实验选用图像
Fig.10 Selection of image for heat map comparison experiments
不同网络输出热力图如图11所示。图11a为YOLOv8算法输出的热力图,网络关注点分散,部分区域权重极高但未集中在绝缘子上。图11b为引入BiFormer注意力机制后的YOLOv8算法,注意力开始集中,但仍未聚焦于绝缘子。图11c为添加DAttention的YOLOv8算法,部分权重集中在绝缘子上,但仍较分散,其他非绝缘子区域关注较强。图11d为本文所提算法输出的热力图,注意力大部分集中在绝缘子上,绝缘子占据主要权重,验证了本算法注意力机制改进的有效性。
图11 不同网络输出热力图
Fig.11 The heat maps of different network outputs
为综合评估所提SCE-YOLO算法在同类研究中的表现,本文根据相关论文复现了三种应用于电力领域的较为领先的基于红外图像的检测识别方法,与SCE-YOLO算法在相同的数据集上进行多次训练与测试,并取平均值进行分析。选取算法包括AHIPDNet[33]、Equalized FCOS[34]、Improved Faster RCNN[35],其实验结果见表4。
表4 SCE-YOLO同类算法对比实验结果
Tab.4 Comparison experiment results of similar algorithms of SCE-YOLO
算法mAPGFLOPs参数量/106模型大小/MB 正常小目标 Equalized FCOS0.8760.7619.32.3375.2 Improved Faster RCNN0.8930.74221.632.21361.4 AHIPDNet0.9040.79152.161.72484.6 SCE-YOLO0.9260.8237.52.3794.9
由表4可知,SCE-YOLO算法在小目标和正常数据集检测上均表现出色。AHIPDNet引入混合注意力机制(Hybrid Attention Transformer, HAT)和Dyhead多重注意力,可有效地聚焦信息,使其在小目标和正常数据集上精度较高,但其结构复杂,导致计算量偏大。Equalized FCOS算法虽然轻量化效果好,却降低了特征提取与学习能力,致使其检测精度较低。Improved Faster RCNN算法模型复杂,且对小目标识别效果差。通过上述数据,可以清晰地对比出本文所提SCE-YOLO算法的优越性。
通过消融实验、与其他典型算法对比实验及同类算法对比实验,已验证了SCE-YOLO算法在小目标绝缘子红外图像识别上的优越性。但为防止因实验图像典型性导致算法过拟合,进一步开展现场实测对比实验,以验证SCE-YOLO算法在实际应用中面对光照变化、不同天气等复杂现场图像时的有效性和实用性。
现场实测对比实验使用河北某地电网运检红外图库作为验证集,对比对象为在前述实验中表现优异的RT-DETR、RetinaNet、AHIPDNet算法,通过多轮实验,选取精度平均值进行对比验证,结果见表5。
表5 SCE-YOLO现场实测对比实验结果
Tab.5 The SCE-YOLO on-site measurement comparison experiment results
算 法mAP RT-DETR0.897 RetinaNet0.855 AHIPDNet0.881 SCE-YOLO0.913
由表5可知,通过与其他几种检测算法在现场实测图像下的对比,可以直观地发现SCE-YOLO算法相较于其他算法具有更高的检测精度。也验证了SCE-YOLO算法在面对复杂的现场情况时,具有更好的鲁棒性。且由于其更加轻量化,在现场边缘端检测的应用中也更具有优势。
本文针对绝缘子缺陷红外图像中小目标检测的需求,进一步提升算法在不同环境下的鲁棒性,提出了一种基于YOLOv8的改进算法,即SCE-YOLO算法,并构建小目标数据集进行实验验证,得到结论如下:
1)本文通过红外图像拍摄实验,采用红外摄像机收集并构建了绝缘子低值缺陷数据集及小目标缺陷数据集,并且通过数据增强实现了数据集平衡。
2)相较于原YOLOv8算法,本文提出的SCE-YOLO算法进行了精度提升的改进,尤其是针对于小目标绝缘子低值缺陷,实现了mAP平均提升6.97%,GFLOPs降至7.5,参数量降至2.379×106,模型大小降至4.91 MB,证明了SCE-YOLO算法的有效性。
3)经与其他典型算法对比实验、同类算法对比实验、现场实测对比实验验证,本文提出的SCE- YOLO算法在精度、轻量化方面均处于领先,可以较好地完成对小目标绝缘子低值缺陷的目标识别。
参考文献
[1] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398.
Zheng Hanbo, Li Jinheng, Liu Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electro- technical Society, 2021, 36(7): 1389-1398.
[2] 尹林, 胡京, 王文彬, 等. 环境条件对基于无人机红外检测的零值绝缘子检测判据的影响研究[J]. 电瓷避雷器, 2023(5): 171-177.
Yin Lin, Hu Jing, Wang Wenbin, et al. Influence of environmental conditions on zero-value insulator detection criteria based on infrared detection through UAV[J]. Insulators and Surge Arresters, 2023(5): 171-177.
[3] 陈金法. 绝缘子红外热像检测及诊断技术研究[D]. 杭州: 浙江大学, 2011.
Chen Jinfa. Research on infrared thermal image detecting and diagnostic techniques for insulators[D]. Hangzhou: Zhejiang University, 2011.
[4] 胡晨龙, 裴少通, 刘云鹏, 等. 基于LEE-YOLOv7的输电线路边缘端实时缺陷检测方法[J]. 高电压技术, 2024, 50(11): 5047-5057.
Hu Chenlong, Pei Shaotong, Liu Yunpeng, et al. Real-time edge end defect detection method for transmission line based on LEE-YOLOv7[J]. High Voltage Engineering, 2024, 50(11): 5047-5057.
[5] 孙瑞筱, 胡玉耀, 蒋兴良, 等. 不同污秽影响下劣化瓷绝缘子发热规律与红外特征分析[J]. 电工技术学报, 2025, 40(11): 3591-3603.
Sun Ruixiao, Hu Yuyao, Jiang Xingliang, et al. Analysis of temperature rise and infrared feature of faulty porcelain insulators under different contamina- tion effects[J]. Transactions of China Electrotechnical Society, 2025, 40(11): 3591-3603.
[6] 范晓狄. 基于深度学习的电力绝缘子检测与缺陷识别方法研究[D]. 重庆: 重庆理工大学, 2024.
Fan Xiaodi. Research on defect detection and recognition methods of electrical insulator based on deep learning[D]. Chongqing: Chongqing University of Technology, 2024.
[7] Yang Yang, Geng Sanping, Cheng Chi, et al. An edge algorithm for assessing the severity of insulator discharges using a lightweight improved YOLOv8[J]. Journal of Electrical Engineering & Technology, 2025, 20(1): 807-816.
[8] 张斌. 劣化绝缘子检测技术的国内外研究现状[J]. 电网技术, 2006, 30(增刊1): 275-278.
Zhang Bin. Current study situation of faulty insulator detection method home and abroad[J]. Power System Technology, 2006, 30(S1): 275-278.
[9] 冯旭刚, 阮善会, 王正兵, 等. 基于局部和全局特征的电力设备红外和可见光图像匹配方法[J]. 电工技术学报, 2025, 40(7): 2236-2246, 2305.
Feng Xugang, Ruan Shanhui, Wang Zhengbing, et al. Infrared and visible image matching method for power equipment based on local and global features [J]. Transactions of China Electrotechnical Society, 2025, 40(7): 2236-2246, 2305.
[10] 裴少通, 张行远, 胡晨龙, 等. 基于ER-YOLO算法的跨环境输电线路缺陷识别方法[J]. 电工技术学报, 2024, 39(9): 2825-2840.
Pei Shaotong, Zhang Hangyuan, Hu Chenlong, et al. The defect detection method for cross-environment power transmission line based on ER-YOLO algorithm [J]. Transactions of China Electrotechnical Society, 2024, 39(9): 2825-2840.
[11] 赵利鸿, 高强, 于晓, 等. 基于红外图像的绝缘子提取方法[J]. 红外技术, 2020, 42(9): 840.
Zhao Lihong, Gao Qiang, Yu Xiao, et al. Insulator extraction method based on infrared image[J]. Infrared Technology, 2020, 42(9): 840.
[12] 王媛彬, 李媛媛, 段誉, 等. 基于轻量骨干网络和注意力结构的变电设备红外图像识别[J]. 电网技术, 2023, 47(10): 4358-4369.
Wang Yuanbin, Li Yuanyuan, Duan Yu, et al. Infrared image recognition of substation equipment based on lightweight backbone network and attention mechanism [J]. Power System Technology, 2023, 47(10): 4358- 4369.
[13] Zhao Zhenbing, Fan Xiaoqing, Xu Guozhi, et al. Aggregating deep convolutional feature maps for insulator detection in infrared images[J]. IEEE Access, 2017, 5: 21831-21839.
[14] Zhou Ming, Wang Jue, Li Bo. ARG-mask RCNN: an infrared insulator fault-detection network based on improved mask RCNN[J]. Sensors, 2022, 22(13): 4720.
[15] Lin Yu, Tian Lianfang, Du Qiliang. Automatic overheating defect diagnosis based on rotated detector for insulator in infrared image[J]. IEEE Sensors Journal, 2023, 23(21): 26245-26258.
[16] 任毅, 王鹏, 倪彬, 等. 基于改进YOLOv5s的绝缘子定位检测及红外故障识别[J]. 测控技术, 2024, 43(8): 7-14, 22.
Ren Yi, Wang Peng, Ni Bin, et al. Insulator positioning detection and infrared fault recognition based on improved YOLOv5s[J]. Measurement & Control Technology, 2024, 43(8): 7-14, 22.
[17] 郑含博, 胡思佳, 梁炎燊, 等. 基于YOLO-2MCS的输电线路走廊隐患目标检测方法[J]. 电工技术学报, 2024, 39(13): 4164-4175.
Zheng Hanbo, Hu Sijia, Liang Yanshen, et al. A hidden danger object detection method for transmis- sion line corridor based on YOLO-2MCS[J]. Trans- actions of China Electrotechnical Society, 2024, 39(13): 4164-4175.
[18] 汤璐, 王淑青, 王年涛, 等. 基于改进YOLOX网络的雾天绝缘子缺陷检测[J]. 高压电器, 2024, 60(3): 223-228.
Tang Lu, Wang Shuqing, Wang Niantao, et al. Insulator defect detection in foggy condition based on improved YOLOX network[J]. High Voltage Apparatus, 2024, 60(3): 223-228.
[19] Ge Zheng, Liu Songtao, Wang Feng, et al. YOLOX: Exceeding YOLO series in 2021[J/OL]. ArXiv, 2021: 2107.08430v2[2024-10-30]. https://doi.org/10.48550/ arXiv.2107.08430.
[20] Pan Xuran, Ge Chunjiang, Lu Rui, et al. On the integration of self-attention and convolution[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 2022: 805-815.
[21] Jung H, Salam G P. Hadronic final state predictions from CCFM: the hadron-level Monte Carlo generator CASCADE[J]. The European Physical Journal C- Particles and Fields, 2001, 19: 351-360.
[22] Dai Xiyang, Chen Yinpeng, Xiao Bin, et al. Dynamic head: unifying object detection heads with attentions [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021: 7369-7378.
[23] Wang Wenhai, Dai Jifeng, Chen Zhe, et al. InternImage: exploring large-scale vision foundation models with deformable convolutions[C]//2023 IEEE/ CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023: 14408-14419.
[24] Zhang Hao, Xu Cong, Zhang Shuaijie. Inner-IoU: more effective intersection over union loss with auxiliary bounding box[J/OL]. ArXiv, 2023: 2311. 02877[2024-10-30]. https://arxiv.org/abs/2311.02877v4.
[25] 刘云鹏, 张凯元, 付炜平, 等. 不同湿度下低值瓷质绝缘子的发热特性[J]. 高电压技术, 2018, 44(6): 1741-1749.
Liu Yunpeng, Zhang Kaiyuan, Fu Weiping, et al. Heating characteristics of deteriorated porcelain insulator under different humidities[J]. High Voltage Engineering, 2018, 44(6): 1741-1749.
[26] 蒋兴良, 夏强峰. 污秽对红外成像法检测劣化绝缘子的影响[J]. 高电压技术, 2010, 36(7): 1619-1624.
Jiang Xingliang, Xia Qiangfeng. Influence of conta- mination to infrared imaging method detecting deterioration insulators[J]. High Voltage Engineering, 2010, 36(7): 1619-1624.
[27] 韩永霞, 唐力, 郝艳捧, 等. 特高压直流线路复合绝缘子悬挂方式对其冲击闪络特性的影响[J]. 高电压技术, 2015, 41(4): 1272-1277.
Han Yongxia, Tang Li, Hao Yanpeng, et al. Influence of suspension patterns of UHVDC line composite insulator on its impulse flashover characteristics[J]. High Voltage Engineering, 2015, 41(4): 1272-1277.
[28] Tian Zhi, Shen Chunhua, Chen Hao, et al. FCOS: fully convolutional one-stage object detection[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea, 2019: 9626-9635.
[29] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 779-788.
[30] Zhao Yian, Lv Wenyu, Xu Shangliang, et al. DETRs beat YOLOs on real-time object detection[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2024: 16965-16974.
[31] Wang Yuanyuan, Wang Chao, Zhang Hong, et al. Automatic ship detection based on RetinaNet using multi-resolution Gaofen-3 imagery[J]. Remote Sensing, 2019, 11(5): 531.
[32] Wang Ao, Chen Hui, Lin Zijia, et al. Rep ViT: revisiting mobile CNN from ViT perspective[C]// 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2024: 15909-15920.
[33] Liu Haoyu, Gao Shuguo, Tian Xu, et al. Transformer abnormal heat accurate identification method based on AHIPDNet[J]. Scientific Reports, 2024, 14(1): 29456.
[34] Ou Jianhua, Wang Jianguo, Xue Jian, et al. Infrared image target detection of substation electrical equipment using an improved faster R-CNN[J]. IEEE Transactions on Power Delivery, 2023, 38(1): 387-396.
[35] Li Changwu, Shi Ying, Lu Ming, et al. A composite insulator overheating defect detection system based on infrared image object detection[J]. IEEE Trans- actions on Power Delivery, 2025, 40(1): 203-214.
Abstract When performing real-time detection of insulator low-value defects in the field, one is often faced with a complex infrared image background, which is affected by a variety of factors. This leads to the existence of multi-scale and multi-angle characteristics of the captured small target hotspots. And in order to be applicable to the edge end, it is necessary to maintain a balance between accuracy and lightweighting
In this paper, to address the above problems, the small targets in complex environments YOLO (SCE-YOLO) algorithm is proposed. The SCE-YOLO algorithm is based on the YOLOv8 algorithm for improvement, and firstly, it uses the self-attention and convolution mix model. Attention and convolution mix (ACmix) to aggregate convolution and self-attention to increase the algorithm’s attention to the insulators, thus reducing the influence of the background on the algorithm. Secondly, the path aggregation network (PANet) is improved by cross-modal contextual feature module (CCFM) to integrate insulator features at different scales and reduce the computational effort of the model. Then the dynamic head (DyHead) is introduced and the second generation of deformable convolutional networks is improved into the third generation of deformable convolutional networks v3 (DCNV3), which significantly improves the expressive ability of the model’s target detecting head and further improves the algorithm’s ability to detect small target defects in complex environments. The algorithm’s ability to detect small target defects in complex environments is further improved by improving DCNv3. The improvement of DCNv3 also makes the model more computationally efficient. Finally, the Inner-SIoU loss function is used to replace the CIoU loss function, and the accuracy of the bounding box regression is improved by introducing an auxiliary bounding box, which improves the recall and accuracy of the detection of insulators with small targets, and enhances the robustness of the model for small targets.
Meanwhile, relevant experiments are carried out to enrich the samples of insulator low-value defect dataset. Different low-value insulators were placed in different positions, and then the humidity and shooting angle were changed to obtain infrared images of low-value insulators heating under different environmental conditions. Based on this dataset, experiments are carried out to evaluate the accuracy and robustness of the algorithm and compare it with other typical algorithms. After experimental verification, the SCE-YOLO algorithm proposed in this paper achieves a detection average accuracy of 0.874 5 while the GFLOPs are reduced to 7.5, which meets the requirements of real-time detection of low-value defects of small-target insulators in the field, and proves the validity and superiority of the algorithm proposed in this paper through the experiments such as ablation and comparison.
keywords:Infrared imaging, small target detection, target recognition, YOLOv8
中图分类号:TM755
DOI: 10.19595/j.cnki.1000-6753.tces.242050
中央高校基本科研业务费(2020MS093)和河北省自然科学基金(20181210100359413)资助项目。
收稿日期 2024-11-15
改稿日期 2025-01-07
裴少通 男,1990年生,副教授,硕士生导师,研究方向为电气设备在线监测及故障诊断。E-mail: peishaotong@ncepu.edu.cn(通信作者)
王玮琦 男,2000年生,硕士研究生,研究方向为电气设备在线监测及故障诊断。E-mail: wangweiqidqgc@163.com
(编辑 李 冰)