无人机航拍图像中绝缘子缺陷检测的深度学习方法研究进展

（1. 南京航空航天大学电子信息工程学院南京 211106 2. 池州学院机电工程学院池州 247000）

摘要依托计算机视觉和深度学习技术，从海量的无人机航拍图像中实现绝缘子缺陷检测，已经成为电力运维工作亟待解决的问题。近年来，深度学习方法在绝缘子缺陷检测任务中表现出优异的性能。该文综述了无人机航拍图像中绝缘子缺陷检测的深度学习方法研究进展。首先，简述了基于深度学习的输电线路巡检研究现状；其次，阐述了基于深度学习的绝缘子缺陷检测方法，主要从目标检测模型、轻量化网络模型、级联检测模型以及其他方法进行归纳总结，按照深度学习算法的发展历程，阐明了基于双阶段、单阶段、无锚框（Anchor-free）的目标检测算法，概述了轻量化网络、级联检测在绝缘子缺陷检测中的应用；然后，介绍了用于绝缘子缺陷检测的公开和自建数据集；最后，指出了深度学习技术在绝缘子缺陷检测应用中存在的问题，并对未来研究工作进行了展望。

关键词：绝缘子缺陷检测无人机航拍图像深度学习计算机视觉

0 引言

随着电网的智能化、自动化、信息化建设的不断推进，国家电网公司积极推动产业优化升级，促进人工智能技术与智能电网建设深度融合[1]。输电线路作为电力传输的纽带，其安全稳定运行直接关系电网的持续稳定运行，因此定期巡检输电线路，更准确地识别输电线路部件缺陷隐患显得极为重要[2]。近年来，随着无人机控制技术和计算机视觉技术的快速发展，无人机搭载可见光相机、红外相机、激光雷达等装置在输电线路巡检中得到了广泛应用，“机巡为主、人巡为辅”已成为我国输电线路巡检的主要方式[3]。

绝缘子作为输电线路中用量较大且故障率较高的电力部件之一，其在输电线路中起到电气连接和机械支撑的双重作用。绝缘子安装在户外，长期经受风吹日晒和雨淋，加之冰霜等恶劣天气，绝缘子出现缺陷在所难免，其中绝缘子自爆或掉串缺陷容易造成电力线与电力线或者电力线与杆塔相接触，导致大范围停电事故，从而造成巨大的经济损失[4]。在电力大数据背景下，依托图像处理技术，从海量的无人机航拍图像数据中实现绝缘子识别及缺陷检测，已经成为该领域运维工作亟待解决的问题[5-7]。然而架空输电线路走廊的无人机航拍图像背景复杂，无人机航拍图像中的绝缘子如图1所示，在不同光照、拍摄角度、拍摄距离等条件下，航拍图像中的绝缘子尺度变化较大，且绝缘子串容易出现遮挡现象，绝缘子缺陷区域要比绝缘子本身小得多。因此，实际应用中的绝缘子缺陷检测困难重重。

在新一代人工智能浪潮的推动下，以输电线路的无人机航拍图像为研究对象，基于深度学习的视觉检测方法在电力部件识别及缺陷诊断研究中得到了广泛应用。文献[8]从目标检测和图像测距两方面概述了无人机巡检图像中电力部件视觉检测研究与应用现状，阐述了基于可见光图像的电力巡检图像智能处理技术的发展趋势，探究了深度学习技术在电力巡检领域的应用前景。文献[9]综述了航拍图像中绝缘子、金具、螺栓的识别及缺陷检测方法，阐明了深度学习在样本不平衡、小目标检测、细粒度检测等方面的技术难题，指明了电力巡检部件视觉检测的未来发展趋势。文献[10]阐述了基于视频图像的输变电设备缺陷视觉检测技术，对比分析了传统图像处理方法和深度学习方法在该领域的应用，概述了现有的图像处理平台及电力设备缺陷检测系统。文献[11]概述了图像增强、目标检测、自然语言处理、迁移学习、深度学习等人工智能技术的高级应用，阐述了新一代人工智能技术（故障识别技术、电力视觉技术、健康管理技术等）在输变电设备状态评估中的应用。文献[8-11]对深度学习技术在电力巡检领域的应用现状、面临的挑战以及应用前景进行了综述，但并没有评述深度学习方法在无人机航拍图像中检测绝缘子缺陷的应用。

文献[12]梳理了基于主流目标检测算法的绝缘子缺陷检测方法，阐述了用于绝缘子缺陷检测的云-边-端协同架构、缺陷检测算法的改进需求和优化。文献[13]从顺序任务和多任务检测策略两个方面概述了用于绝缘子缺陷检测的深度学习网络模型。文献[14]综述了基于传统目标检测方法和深度学习方法的绝缘子缺陷检测，对比分析了两类方法在绝缘子缺陷检测应用中的优缺点。文献[12-14]概述了基于目标检测算法的绝缘子缺陷检测，但并不全面，没有介绍无锚框（Anchor-free）算法、YOLOv7（you only look once v7）、Transformer等目标检测算法以及知识蒸馏等技术。

综上所述，现有文献仍然缺乏对绝缘子缺陷检测最新进展的全面综述。鉴于此，本文梳理和分析了大量的绝缘子缺陷视觉检测方法，系统地综述了无人机航拍图像中绝缘子缺陷检测的深度学习方法，旨在针对特定的绝缘子缺陷选取合适的检测方法，为从事输电线路故障诊断的研究人员提供有价值的参考。

1 基于深度学习的绝缘子缺陷检测方法

深度学习作为机器学习的一个分支，自2006年以来在图像处理与机器视觉等领域中的应用取得了重大突破。在海量数据驱动下，深度学习网络模型充分利用卷积神经网络（Convolutional Neural Network, CNN）自动逐层学习图像的深层特征，大规模训练优化网络模型参数，具有较强的特征提取能力和泛化能力，其检测性能相对于人工设计特征的传统目标检测方法有了大幅提升。基于深度学习的目标检测已成为视觉检测领域的研究热点，众多研究者开始致力于Caffe、TensorFlow、Keras、PaddlePaddle、PyTorch等深度学习开源工具的应用研究，这些开源工具为深度学习技术的进一步推广和应用提供了强大的技术支持。

1.1 基于目标检测模型的绝缘子缺陷检测方法

随着边缘计算设备算力的不断提升，数据集规模持续扩大，基于深度卷积神经网络（Deep Convolutional Neural Network, DCNN）的目标检测技术得到了快速发展，研究者通过重构和优化网络模块开发出了VGG-Net、GoogLeNet、ResNet、DenseNet等骨干网络。基于深度学习的目标检测任务是在图像数据中自动识别感兴趣目标，利用矩形框（Bounding box）定位预测目标并显示类别信息。近年来，随着深度学习的相关理论不断完善，一些优秀的目标检测算法不断涌现，主流的目标检测算法及其发展历程如图2所示。

图2中，目标检测算法按照模型推理阶段的不同可以划分成基于锚框的（Anchor-based）算法（双阶段检测、单阶段检测）和Anchor-free算法两类。双阶段（two-stage）目标检测算法分为目标定位和目标分类两个步骤，先生成候选区域，再对候选区域进行分类识别。典型的双阶段检测算法有快速区域卷积神经网络（Faster Region-CNN, Faster R-CNN）、空间金字塔层池化网络（Spatial Pyramid Pooling Network, SPPNet）、Cascade R-CNN、基于区域的全卷积网络（Region-based Fully Convolutional Networks, R-FCN）、Mask R-CNN等。单阶段（one-stage）目标检测算法无需生成候选区域，利用DCNN直接生成目标类别概率和位置坐标，代表性的单阶段检测算法包括SSD（single shot multibox detector）、RetinaNet、YOLO系列、EfficientDet等。基于Anchor-free的目标检测算法不需要预先设定锚框，以锚点检测或关键点检测的方式预测目标的位置和类别概率，CornerNet、CenterNet是其代表性算法。

1.1.1 基于Anchor-based算法的绝缘子缺陷检测方法

1）基于双阶段算法的绝缘子缺陷检测方法

双阶段检测算法又称为基于候选区域的检测方法。2014年R. Girshick等提出R-CNN算法，开创了深度学习在目标检测应用的先河。自R-CNN提出以来，在此基础上衍生出了Fast R-CNN、Faster R-CNN、Cascade R-CNN、Mask R-CNN等众多算法。其中，Faster R-CNN采用区域提议网络（Region Proposal Network, RPN）取代选择性搜索算法生成候选区域，利用DCNN完成候选区域生成、特征提取、目标分类与回归，进一步提高了检测速度和精度。

Faster R-CNN以网络共享的方式生成候选区域，其检测性能相对于传统目标检测算法得到了大幅提升，因此被广泛应用于绝缘子缺陷检测任务中。为了解决样本不平衡和困难样本学习效率低的问题，文献[15]提出了基于二阶矩样本平衡（Sample Balance method based on Second-Order Moments, SBSOM）网络模型的绝缘子缺陷检测方法，其网络结构如图3所示。该方法能够有效地提取不同样本的深度特征，相比于Faster R-CNN、SSD、YOLOv3等主流的目标检测模型，SBSOM模型的绝缘子缺陷检测性能得到了进一步提升，但是其缺陷检测平均精度均值（mean Average Precision, mAP）不高，仅有52.69%。

文献[16]提出了基于混合样本迁移学习的绝缘子缺陷检测方法，通过均衡损失、迁移学习、混合样本等策略优化Faster R-CNN模型，该方法在少样本的条件下获得了较高的绝缘子缺陷检测准确率（75.1%），同时也为解决其他少样本目标检测问题提供了一个有效的研究方向。文献[17]提出了一种基于小样本目标检测（Few-Shot Object Detection, FSOD）的绝缘子缺陷检测方法，该方法综合了旋转Faster R-CNN模型、局部特征深度（Earth Mover’s Distance, EMD）距离优势，可以在绝缘子缺陷样本严重缺乏的情况下提高绝缘子缺陷检测精度，为其他小样本电力部件识别及缺陷智能检测提供了新思路。文献[18]提出了融合迁移学习和主体局部检测模型（Main-Partial Transfer R-CNN, MPT R-CNN）的绝缘子缺陷分级检测方法，利用融合残差模块和特征金字塔结构改进Faster R-CNN的骨干网络，改进模型的绝缘子缺陷检测精度达到了89.6%，比原始Faster R-CNN提高了30个百分点以上。

无人机航拍图像背景复杂且图像中的绝缘子存在多尺度问题，为了进一步提高绝缘子多尺度缺陷检测精度，文献[19]提出了基于多尺度几何推理网络模型（Multi-Geometric Reasoning Network, MGRN）的绝缘子缺陷检测方法，其结构如图4所示。在Faster R-CNN模型的基础上引入了空间几何推理（Spatial Geometric Reasoning, SGR）子模块、外观几何推理（Appearance Geometric Reasoning, AGR）子模块和并行特征变换（Parallel Feature Transformation, PFT）子模块。SGR子模块用于识别真实绝缘子样本缺陷间的空间几何位置关系，AGR子模块用于提取人工绝缘子样本缺陷的外观几何特征，PFT子模块将提取的外观几何特征（SGR、AGR）融合后提供给DCNN进行推理学习。该方法在绝缘子缺陷样本有限的情况下显著地提高了绝缘子缺陷的检测精度，与原始Faster R-CNN模型相比，绝缘子缺陷检测精度提高了近5%。

复杂背景干扰和小目标检测极大地限制了绝缘子缺陷检测方法的准确性，为此文献[20]在Faster R-CNN模型的基础上提出了Exact R-CNN和CME-CNN（cascade the mask extraction and exact region-based convolutional neural network）两种改进模型，对比实验结果表明，两种模型可以在高分辨率无人机航拍图像中有效地检测出绝缘子缺陷，其缺陷检测准确率明显优于原始Faster R-CNN、YOLOv3等主流目标检测算法。

针对无人机巡检效率低的问题，研究人员进一步提高智能检测算法的适用范围和实用性，文献[21]提出了基于改进R-FCN模型的无人机航拍图像目标检测方法，通过在线困难样本挖掘、样本优化、软非极大值抑制等策略优化R-FCN，改进模型的绝缘子缺陷检测准确率达到了92.54%，比原始R-FCN模型提高了2.4个百分点；该方法在12类巡检目标中的mAP值达到了89%，验证了改进模型在多类别和多尺度目标识别及故障诊断应用中的有效性。

为了实现小目标及障碍物遮挡目标检测，文献[22]提出了基于改进Cascade R-CNN的电力部件多目标检测方法，通过ResNet101骨干网络、新型特征金字塔网络（Feature Pyramid Network, FPN）、Focal损失函数、软非极大值抑制等优化Cascade R-CNN，改进模型的绝缘子缺陷检测精度达到96.3%，同时绝缘子、绝缘子缺陷、防振锤、间隔棒、鸟巢等多目标检测mAP值达到了94.1%，为无人机巡检航拍图像中电力部件的智能识别与分析提供了新思路。

由于电压等级及应用场景不同，输电线路中的绝缘子种类众多，为实现多种类型绝缘子的缺陷检测，文献[23]提出了基于Cascade R-CNN模型的绝缘子缺陷检测方法，通过Focal损失函数、感兴趣区域（Region of Interest, RoI）Align方法改进Cascade R-CNN。改进模型实现了绝缘子多类型缺陷自动识别与定位，在绝缘子自爆、电弧烧伤以及伞裙破损等联合缺陷检测方面的mAP值可达到74.4%，比原始Faster R-CNN、Cascade R-CNN模型分别提高了15个百分点和13个百分点。

为了解决Mask R-CNN模型在无人机航拍图像中绝缘子缺陷小目标检测能力不足的问题，文献[24]提出了基于改进Mask R-CNN模型的绝缘子缺陷检测方法，将卷积注意力模块（Convolutional Block Attention Module, CBAM）引入特征提取网络中，同时采用全局交并比（Generalized Intersection over Union, GIoU）损失函数。改进模型的绝缘子缺陷检测精度达到79%，比原始Faster R-CNN（77%）、YOLOX（66%）、CenterNet（68%）分别提高了2、13和11个百分点，该模型在绝缘子缺陷特征提取和目标高度重叠场景下的缺陷检测方面具有一定的优势。

双阶段目标检测算法具有较高的检测精度，得益于其候选区域生成、分类回归两步处理和锚框机制，但是它们需要更多的训练时间，从而影响目标检测的推理速度。

2）基于单阶段算法的绝缘子缺陷检测方法

Faster R-CNN、R-FCN、Cascade R-CNN、Mask R-CNN及其改进算法在绝缘子缺陷检测任务中得到了广泛应用，取得了较好的缺陷检测结果。但是这些算法的参数量和计算量较大，使得绝缘子缺陷检测速度较慢，难以实现巡检图像中电力部件目标的实时检测，从而影响绝缘子缺陷检测的工作效率。随着无人机巡检不断向智能化、自动化方向发展，电力深度视觉技术广泛应用于输电线路部件识别及缺陷检测中，目标检测效率与实时性的要求不断提高，越来越多的优秀网络模型被开发出来。众多研究者利用SSD、RetinaNet、YOLO、EfficientDet等单阶段目标检测算法进行航拍图像中绝缘子的缺陷检测，并取得了很多有价值的研究成果。

针对无人机航拍图像中绝缘子小目标缺陷识别效果不佳的问题，文献[25]在SSD模型的基础上提出了多尺度特征融合的绝缘子缺陷检测模型（Multi-Scale Defect Detection Network, MSD2Net），其结构如图5所示。该模型以ResNet50作为特征提取网络，利用反卷积和多分支检测进行缺陷特征融合，并在输电线路、变电站场景数据集上进行了对比实验。该模型对于复杂背景和尺度变化较大场景下的绝缘子识别及缺陷检测具有较强的适应性，其中绝缘子缺陷检测精度达到97.3%，与SSD（89.9%）、YOLOv3（90.9%）、RetinaNet（90.7%）、Faster R-CNN（96.6%）相比，分别提高了7.4、6.4、6.6、0.7个百分点。

为了实现不同程度缺陷的绝缘子识别与定位，文献[26]结合SSD框架和多尺度特征融合提出了一种绝缘子缺陷程度检测网络（Multi-Scale Feature Fusion Defect Degree Detection Network, MFFD3Net）。该网络以ResNeSt50作为特征提取网络，引入感受野模块（Receptive Field Block, RFB）、多尺度反卷积模块，增强了绝缘子不同程度缺陷的高级语义特征提取能力。该模型检测不同程度缺陷（轻微闪络、严重闪络、轻微破损、严重破损）绝缘子的mAP值达到82.20%，与SSD（63.20%）、YOLOv5（80.95%）、MSD2Net（77.45%）相比分别提高了19、1.25、4.75个百分点，有效地解决了因绝缘子缺陷相似及像素信息少造成的识别效果不佳的问题。

上述方法的绝缘子缺陷样本有限。为了扩增有限的缺陷样本，文献[27]提出了基于改进循环一致性生成对抗网络（Cycle-consistent Generative Adversarial Network, CycleGAN）的绝缘子缺陷小样本扩增方法，通过轮廓监督的方式扩充出轮廓相似的多样性绝缘子缺陷样本，为其他场景数据集扩充奠定了基础。

YOLO系列算法作为工程界首选的目标检测算法，已证明了其在工业应用中的有效性，众多研究者以YOLO及其改进模型为主要检测手段开展无人机航拍图像中的绝缘子缺陷检测研究。文献[28]利用53层的YOLOv3进行绝缘子缺陷检测，取得了良好的检测结果（检测精度达到94%，检测速度可达45帧/s）。为实现无人机巡检图像中绝缘子缺陷的实时检测和快速识别，文献[29]提出了一种改进的YOLOv3网络模型，该模型以ResNet18为骨干网络，用于绝缘子及其缺陷特征提取，多尺度特征金字塔用于骨干网络特征融合，并引入非极大值抑制优化预测框。对比实验结果表明，在检测精度方面，改进模型的绝缘子缺陷检测精度达到了99.18%，与Faster R-CNN（92.8%）相比提高了7%；在检测速度方面，改进模型的绝缘子缺陷检测速度高达48帧/s，而Faster R-CNN的检测速度仅为4帧/s。

为了快速准确地识别复杂背景下的输电线路缺陷部件，文献[30]通过添加注意力机制、多尺度特征融合改进YOLOv3网络模型，改进模型的缺陷检测mAP值达到94.6%，与SSD（89.7%）、YOLOv3（91.2%）相比分别提高了4.9和3.4个百分点。文献[31]在Darknet53网络中引入局部跨阶层网络（Cross Stage Partial Network, CSPNet）和密集连接网络DenseNet提出了CSPD-YOLO，改进模型的绝缘子缺陷检测精度达到98.18%，与YOLOv3（93.31%）、YOLOv4（96.38%）相比分别提高了4.87和1.8个百分点。

YOLOv4在YOLOv3的基础上进行了一系列的改进，使其成为YOLO系列算法的一个重大突破。该算法以CSPDarket-53为骨干网络，在深层特征网络引入了空间金字塔池化（Spatial Pyramid Pooling, SPP）模块，选择Mish激活函数，同时还采用了Mosaic数据增强技术等。YOLOv4及其改进算法在绝缘子识别及缺陷检测方面具有较好的检测精度和较快的检测速度。

文献[32]利用YOLOv4进行绝缘子自爆缺陷检测，通过K-means++聚类算法优化预测框，绝缘子缺陷检测精度高达92.6%，与Faster R-CNN、SSD算法相比分别提高了8.28个百分点和13.88个百分点，同时图像推理速度可达到46帧/s。文献[33]利用K-means++聚类算法、平衡交叉熵损失函数、SPP模块增加卷积层来改进YOLOv4，改进模型的绝缘子缺陷检测精度比原始YOLOv4提高了近24个百分点。文献[34]提出了一种基于注意力机制（Attention Mechanism, AM）的改进YOLOv4模型，通过在特征提取网络中引入空间和通道注意力机制模块加强绝缘子及其缺陷特征提取，在特征融合网络中增加CSP层和深度可分离卷积以减少模型参数，从而提高模型检测速度，改进模型的绝缘子缺陷检测mAP值达到92.26%，与Faster R-CNN、SSD、YOLOv3、常规YOLOv4相比分别提高了3.6、14、11个百分点和7个百分点，且单幅图像的推理时间仅为19.82 ms，比Faster R-CNN（159.69 ms）、YOLOv3（34.01 ms）、YOLOv4（41.08 ms）要快得多。

为了提高复杂背景下绝缘子缺陷的检测精度并增强检测模型的鲁棒性，文献[35]提出了基于YOLOv4的绝缘子缺陷检测方法，先通过数据增强算法扩充样本数量，基于K-means算法优化预测框尺寸，再基于TensorFlow框架搭建并训练YOLOv4网络模型，最后利用训练好的模型进行绝缘子缺陷实时检测。在缺陷绝缘子数量为744的数据集上进行实验，该模型的绝缘子缺陷检测精度高达100%，与YOLOv3相比提高了3.5个百分点，其推理速度达到59帧/s，比YOLOv3提高了近一倍。为了提高航拍图像复杂背景下的绝缘子小目标缺陷检测精度，文献[36]提出了基于多尺度特征金字塔网络的绝缘子缺陷检测模型ID-YOLOv4（Insulator Defect YOLOv4）。ID-YOLOv4模型以CSP-ResNeSt结构为骨干网络增强特征提取，引入多尺度双向特征金字塔网络（Bidirectional SimAM FPN, Bi-SimAM-FPN）实现更有效的特征融合。该模型的绝缘子缺陷检测精度达到99.13%，与YOLOv3（92.54%）、YOLOv4（95.63%）、SSD（89.6%）、Faster R-CNN（90.9%）相比分别提高了6.59、3.5、9.53和8.23个百分点。更重要的是，ID-YOLOv4的绝缘子缺陷检测速度达到了63帧/s，能够满足绝缘子掉串缺陷实时检测的要求。

YOLOv5作为当前应用较广泛的目标检测算法之一，其网络结构继承了YOLOv4算法，能够很好地平衡检测精度和检测速度，也有研究者将其用于无人机航拍图像中绝缘子缺陷的检测研究。为了解决小样本缺陷检测效果不佳的问题，文献[37]提出了一种基于改进YOLOv5的绝缘子自爆缺陷检测网络（Foggy Insulator Network, FINet），先采用雾合成算法进行绝缘子缺陷样本扩充，再使用挤压-激励（Squeeze and Excitation, SE）注意力机制模块改进YOLOv5，最后利用训练好的SE-YOLOv5进行绝缘子缺陷检测。改进模型的绝缘子缺陷检测准确率达到91.7%，与原始YOLOv5相比提高了1.7个百分点，其在绝缘子缺陷检测的推理速度可达到62.5帧/s。为了实现绝缘子缺陷的高精度实时检测，文献[38]提出了基于EIoU损失函数、聚类非极大值抑制（Non Maximum Suppression, NMS）方法和AFK-MC2（assumption-free K-MC2）算法的改进YOLOv5，改进模型的绝缘子缺陷检测精度达到96%，与原始YOLOv5相比提高了3个百分点，其推理速度高达156帧/s。

为了提高复杂背景下的绝缘子缺陷检测精度，文献[39]提出了基于注意力反馈（Attention Feedback, AF）、双空间金字塔（Double Spatial Pyramid, DSP）、YOLOv5的绝缘子缺陷检测方法。AF模块提高了辨别特征的注意力能力，不仅能提取有区别的通道特征，还可以解决空间特征丢失的问题。DSP模块通过一组比例因子和两种池化方式的组合增强绝缘子缺陷不同区域的全局上下文信息，其网络结构如图6所示。改进模型的绝缘子缺陷检测准确率达到98.9%，与原始YOLOv5和文献[37]中的SE-YOLOv5相比分别提高了6、10个百分点。实验结果表明，该方法在绝缘子缺陷检测中具有很大的优势，改进后的网络模型有望推广到电力巡检的其他部件识别及缺陷检测应用中。

为了实现绝缘子及其缺陷的定向检测，文献[40]通过定向标注数据集、在特征提取网络中引入轻量化注意力机制模块、改进空间金字塔池化结构、在损失函数中引入角度分类等策略改进YOLOv5。在牺牲了一定的检测速度的情况下（单幅图像的推理时间由0.044 s提高到了0.049 s），改进模型的绝缘子识别及缺陷检测mAP值达到95%，与原始YOLOv5相比提高了3.6个百分点。该模型实现了航拍图像、视频中的绝缘子缺陷快速检测，为实际场景中无人机巡检目标检测的推广应用奠定了基础。

近年来，研究人员还开发了YOLOX、YOLOv7等先进的目标检测算法。YOLOX采用解耦检测头和基于标签分配的无锚框机制；YOLOv7利用可扩展的高效聚合网络、重参数化、改进金字塔池化等策略加速模型收敛，实现了训练速度与检测精度的有效权衡。上述SSD、YOLOv3、YOLOv4、YOLOv5等算法在绝缘子缺陷检测中取得了较好的效果，但是它们忽略了绝缘子缺陷检测中的不确定性，从而制约了其缺陷检测性能。为此，文献[41]在YOLOX的基础上提出了用于绝缘子缺陷检测的YOLOD网络模型，该模型通过在检测头引入高斯先验来解决不确定问题，与原始YOLOX相比，YOLOD模型的绝缘子缺陷检测精度提高了2.1个百分点。针对多尺度、多类型绝缘子缺陷检测精度不高的问题，文献[42]提出了基于注意力机制和多尺度特征融合的AMC-YOLOX网络模型，先在YOLOX特征提取网络中引入坐标注意力（Coordinate Attention, CA）模块以提升绝缘子缺陷特征提取能力，再将多尺度可分离卷积添加到SPP模块中充分利用上下文信息，最后利用Shuffle unit替代特征融合网络中的二维卷积以减少模型参数量。AMC-YOLOX模型在绝缘子识别及缺陷检测方面取得了良好的检测结果（mAP为93.6%，与原始YOLOX相比提高了4.7个百分点；检测速度为26.4帧/s）。

针对绝缘子缺陷检测中存在复杂背景、小目标缺陷、遮挡等问题，文献[43]在YOLOv7的基础上改进网络结构和损失函数提出了Flexible YOLOv7网络模型，改进模型的绝缘子缺陷检测mAP值达到96.9%，与原始YOLOv7（95.8%）相比提高了1.1个百分点。该模型有望部署于移动终端设备上用于电力巡检图像的目标检测和缺陷预警。为实现航拍图像中绝缘子多缺陷检测，文献[44]提出了基于自注意力与卷积混合模块（a mixed model of self-Attention and Convolution, ACmix）和加权双向特征金字塔（Concat Bidirectional Feature Pyramid Network, CAT-BiFPN）的改进YOLOv7网络模型，其网络结构如图7所示。改进模型的绝缘子多类型缺陷（自爆、污损、破损）检测mAP值达到94.8%，与原始YOLOv7（81.6%）相比提高了近13个百分点。

除了上述SSD、YOLO系列单阶段检测算法以外，还有研究者利用EfficientDet算法进行绝缘子识别及其缺陷检测研究。文献[45]提出了基于双目摄像头和EfficientNet的绝缘子缺陷检测方法，先利用双目摄像头采集的绝缘子航拍图像构建数据集，再基于所创建的数据集训练EfficientNet网络模型，最后使用训练好的EfficientNet模型进行绝缘子缺陷（裂纹、破损、污秽）检测，检测精度达到了90.74%，与Faster R-CNN、YOLOv3相比分别提高了13个百分点和4个百分点，其单幅图像的预测时间仅用23 ms，进一步提高了绝缘子缺陷检测的精度和速度。

针对绝缘子小目标缺陷识别精度低、大多数目标检测算法的检测速度和精度难以同时满足的问题，文献[46]提出了用于绝缘子识别及其缺陷检测的改进EfficientNet模型，在倒残差模块中添加坐标注意力模块提高骨干网络特征提取效率，在BiFPN网络中融合小一级尺度特征层以提高小目标检测性能，改进模型的电力部件检测mAP值达到了90.4%，与原始EfficientNet、Faster R-CNN、YOLOv3、YOLOv4、SSD相比分别提高了8、5、10、10和13个百分点，其中绝缘子缺陷检测精度达到了92.8%，检测速度为23.4帧/s。

上述单阶段目标检测算法具有较高的检测精度，能够满足实时检测要求，在实时性要求越来越高的电力巡检领域得到了广泛应用。

1.1.2 基于Anchor-free算法的绝缘子缺陷检测方法

自Faster R-CNN提出Anchor机制以来，基于锚框的单阶段和双阶段目标检测算法已成为主流的目标检测模型。但是该类算法需要预设大量的锚框，且锚框的尺寸需要根据数据集的特点来设定，从而限制了模型的泛化能力。另外，锚框中大部分是背景，只有一小部分与真实目标重合，容易造成正负样本不均衡问题，导致负样本主导的分类结果。为了克服基于锚框的目标检测算法的上述缺陷，基于Anchor-free的目标检测算法逐渐兴起，其无需对每个像素点预先设定锚框，直接对输入图像的像素点进行目标检测，有效地降低了模型复杂度，进一步提高了模型对多类别目标检测的普适性。根据样本分配方式不同，基于Anchor-free的目标检测方法主要分为关键点组合和中心点回归两类。

基于关键点组合的目标检测方法先利用特征提取网络获取特征图，再使用多个关键点预测模块定位预测框中的关键点（具有代表性目标特征的像素点），最后通过组合关键点（角点、中心或极值点）回归实现目标检测，其代表性算法有CornerNet、ExtremeNet、RepPoints等。针对复杂场景下的电力巡检图像中部件缺陷检测精度低的问题，文献[47]提出了基于RepPoints-v2与尺度不变特征金字塔网络（Scale-Invariant Feature Pyramid Networks, SI-FPN）相结合的输电线路部件缺陷检测方法，该方法实现了电力巡检图像中部件缺陷的高精度检测，其缺陷检测mAP值达到了95.9%，与Faster R-CNN（93.4%）、YOLOv3（92.9%）、SSD（90.8%）相比分别提高了2.5、3、5.1个百分点。

基于中心点回归的目标检测方法先通过特征提取网络获得特征图，再利用检测头模块预测目标的中心点位置、预测框的尺度信息、中心点偏移量，最后使用后处理模块筛选最优预测框，实现目标检测任务，其代表性算法有CenterNet、FCOS、FoveaBox等。为了实现高压输电线路电力部件缺陷的实时高效检测，文献[48]提出了基于改进CenterNet网络模型的输电线路部件缺陷实时检测方法，通过深层特征融合网络（Deep Layer Aggregation network, DLAnet）、SE模块、可变形卷积构建深层特征提取网络DLA-SE，基于CenterNet框架提取绝缘子自爆等部件缺陷中心热力图、预测框宽高、修正偏移量等信息，该方法的绝缘子自爆缺陷检测精度可达到82%，与SSD、YOLOv3相比分别提高了近20和30个百分点。针对无人机航拍图像中绝缘子及其缺陷检测的准确度低、实时性较差的问题，文献[49]提出了基于通道和空间注意力机制、特征加强模块（Feature Enhancement Module, FEM）、轻量级网络EfficientNet-B0改进CenterNet的实时检测模型。改进模型的绝缘子缺陷检测精度达到92%，与CenterNet、YOLOv3、YOLOv4相比分别提高了5、19和2个百分点；改进模型的大小仅有34 MB，其推理速度达到28.87帧/s，远快于CenterNet、YOLOv3、YOLOv4。为了便于深度学习网络模型部署于边缘设备，文献[50]提出了一种轻量级目标检测模型CenterNet-GhostNet，该模型以GhostNet为骨干网络用于绝缘子自爆多层特征提取，并在GhostNet中添加RFB模块以提升小目标检测性能，绝缘子自爆缺陷检测精度达到86%，与Faster R-CNN、YOLOX相比分别提高了9和10个百分点；更重要的是，该模型的绝缘子缺陷检测速度达到了38.2帧/s，满足移动设备部署要求，为无人机实时巡检输电线路提供了新的思路。

基于中心点回归的Anchor-free算法与基于关键点组合的算法相比，减少了关键点匹配操作，模型的整体性能得到了提升。CenterNet及其改进模型具有较高的目标检测精度和较好的实时性，已在电力巡检部件缺陷检测中得到了应用。

1.2 基于轻量化网络模型的绝缘子缺陷检测方法

近年来，基于电力深度视觉技术的电力部件识别及缺陷检测成为了研究热点。随着目标检测卷积层的加深，网络模型的参数量及计算复杂度不断上升，模型大小和计算成本也快速增加，使得1.1节中绝大多数的目标检测网络模型难以部署到移动设备上。为了实现目标检测网络模型部署在无人机等嵌入式设备上，一些研究者利用轻量化网络更好地均衡检测精度和推理时间。轻量化网络依据模型结构层次可以分为模型轻量化设计和模型压缩。

模型轻量化设计是在网络模型设计阶段就遵从轻量化思想，通过轻量化模块（MobileNet、GhostNet、ShuffleNet等）、深度可分离卷积、分组卷积等改进网络模型。文献[51]提出了基于SPP和MobileNet的轻量化YOLOv3网络模型，与基准YOLOv3模型相比，虽然绝缘子缺陷检测精度由91.09%降低到了88.69%，但是模型大小得到了大幅压缩（由234 MB减小到2.78 MB），缺陷检测速度得到了大幅提升（由80帧/s提高到452帧/s）。文献[52]利用MobileNet-v2取代CSPDarknet53、在检测头引入超轻量级子空间注意力模块（Ultra-Lightweight Subspace Attention Module, ULSAM）改进YOLOv4，改进模型的大小仅为原始YOLOv4的1/5，其绝缘子缺陷检测精度达到85.19%，与YOLOv3（87.33%）、YOLOv4（91.01%）相比稍低。文献[53]提出了一种改进轻量化网络ILYTN（improved lightweight YOLOv4-tiny network），通过MobileViT模块、注意力机制、EIoU损失函数改进YOLOv4-tiny，改进模型的绝缘子缺陷检测精度达到94.34%，与原始YOLOv4-tiny相比提高了1.64个百分点，但其检测速度（80.61帧/s）比原始YOLOv4-tiny（103.22帧/s）稍慢。

文献[54]在YOLOv4的基础上，以ECA-GhostNet为骨干网络，提出了一种轻量化YOLOv4网络模型，改进模型大小仅有8.7 MB，其推理速度接近50帧/s，与Faster R-CNN（18帧/s）、SSD（34帧/s）、YOLOv3（40帧/s）、YOLOv4（35帧/s）相比要快得多。文献[55]提出了一种轻量化YOLOv5-3S-4PH网络模型，以ShuffleNetv2-Stem-SPP作为骨干网络以减少模型参数量和计算量，通过多尺度特征融合网络提高小目标缺陷感知能力，该模型的绝缘子缺陷检测精度达到98.3%，与YOLOv5相比提高了5.8个百分点，其推理速度（20帧/s）接近YOLOv5（11帧/s）的2倍，该模型适合部署于边缘设备上进行绝缘子缺陷实时检测。文献[56]基于坐标注意力机制、C3GhostNetV2特征提取网络、Focal-CIoU损失函数提出了一种轻量化绝缘子多缺陷（Insulator Defect Detection-YOLOv7, IDD-YOLOv7）网络模型，与YOLOv7相比，改进模型的绝缘子缺陷检测精度提高了3.8个百分点。文献[57]在YOLOv5的基础上，结合FasterNet-tiny、GhostNetv2网络，提出了绝缘子缺陷快速检测模型FasterNet-YOLOv5，该模型能够实现绝缘子自爆缺陷的实时定位识别，与YOLOv4-tiny、EfficientDet、YOLOv5、YOLOv7-tiny等目标检测算法相比，在检测精度和检测速度上具有一定的优势。

轻量化网络能够在保证检测精度的前提下有效地降低模型复杂度。此外，还有研究者利用深度可分离卷积替换普通卷积来减少模型参数量。文献[58]利用深度可分离卷积取代YOLOv3骨干网络残差单元中的普通卷积，提出了一种轻量化MDD-YOLOv3网络模型。该模型的绝缘子缺陷检测精度达到96.1%，检测速度为36帧/s，与基于Darknet53的YOLOv3相比，缺陷检测精度和检测速度分别提高了3.7个百分点和28.6%。文献[59]利用深度可分离卷积和1×1卷积、CSPDarknet53构建了L-CSPDarknet53骨干网络，提出了用于绝缘子自爆缺陷检测的L-YOLOv5网络模型，该模型权重文件大小为3.4 MB，仅为YOLOv5的1/4，与YOLOv5相比，其绝缘子缺陷检测精度和推理速度分别提高了3.3个百分点和49%。文献[60]提出了一种基于特征复用和特征重建的轻量化YOLO-RR网络模型，以YOLOv3-SPP为基础，利用DenseNet构建了dense35骨干网络实现特征复用，以Hourglass模块与BiFPN相结合实现特征重建，该模型参数量仅有5 MB，绝缘子缺陷检测精度达到了96.9%，与YOLOv3-SPP相比提高了8.8个百分点。

模型压缩是在原有网络模型的基础上，通过模型剪枝、知识蒸馏、低秩分解、网络量化等方式优化模型。深度学习网络模型从卷积层到全连接层存在大量的冗余参数，模型剪枝是一种常用的模型压缩技术，如Dropout和Dropconnect，按照剪枝粒度的不同，可以分为神经元剪枝、向量剪枝、核剪枝以及滤波器剪枝。文献[61]提出了基于CBAM注意力机制、改进Transformer编码结构的YOLOv5网络模型，并通过剪枝技术去除模型中的冗余通道和卷积核，改进模型的参数量仅有0.5 MB，绝缘子缺陷检测精度达到了95.98%。知识蒸馏的本质是利用结构复杂、推理性能好的大型网络（教师网络）辅助训练及优化结构简单、推理性能差的小型网络（学生网络），以教师网络输出结果为软标签与学生网络的输出结果一起训练学生网络，实现教师网络到学生网络的知识迁移。文献[62]提出了一种基于动态监督知识蒸馏的输电线路部件缺陷分类方法，在保证部件缺陷图像分类准确率的前提下，大幅度降低了网络模型的参数量。低秩分解是通过合并维数与施加低秩约束的方式将高维参数向量降维分解为稀疏的低维向量，以减少模型参数，达到压缩网络模型的目的。网络模型参数量化是用较低位宽表示32 bit或64 bit浮点参数，减少参数存储空间与内存占用空间，实现模型压缩的目的。

上述轻量化网络可在保证检测精度的前提下，有效地降低网络模型参数，对于将轻量化网络模型部署于移动设备上具有重要意义。一些学者致力于轻量化目标检测网络研究，兼顾模型的检测精度、检测速度、移植部署，以期为无人机实时巡检输电线路的发展提供技术支持。表1概述了基于轻量化网络模型的绝缘子缺陷检测方法的相关研究成果。

1.3 基于级联检测模型的绝缘子缺陷检测方法

输电线路航拍图像背景复杂多变，绝缘子缺陷区域相对较小，应用深度学习算法实现绝缘子缺陷检测的难度较大。为了实现绝缘子小目标缺陷检测，研究者将绝缘子缺陷检测视为两级检测问题。文献[63]提出了基于Faster R-CNN目标检测和U-net语义分割级联的绝缘子缺陷检测方法，Faster R-CNN负责定位绝缘子，U-net对分割后的绝缘子图像进行缺陷检测。该方法的绝缘子缺陷检测准确率达到95.1%，与单一Faster R-CNN（88.2%）、U-net（56.7%）相比分别提高了将近7和38个百分点，但是单幅图像的平均检测时间需要800 ms。文献[4]提出了基于分类器和检测器级联的绝缘子自爆缺陷检测方法，以AlexNet为分类网络，绝缘子分类正确率可达到72%，以Faster R-CNN作为检测网络，绝缘子缺陷检测正确率达到59%，级联网络的漏检率为0（错误检测率达到100%）。文献[64]提出了基于Up-Net分割和CNN、孪生CNN目标检测级联的绝缘子缺陷检测方法，先采用Up-Net分割出绝缘子串，再使用10层CNN、孪生CNN分别进行掉串和破损缺陷检测，该级联检测模型适用于电力巡检视频图像中绝缘子缺陷的实时检测。文献[65]提出了基于绝缘子定位网络（Insulator Localizer Network, LIN）和绝缘子缺陷检测网络（Defect Detector Network, DDN）的级联检测模型，其网络结构如图8所示。LIN基于VGG-16定位并剪裁出图像中的绝缘子，DDN基于ResNet-101对剪裁后的绝缘子进行缺陷检测。该模型的绝缘子缺陷检测准确率达到了91%，然而单幅图像的缺陷检测时间需要360 ms。文献[66]提出了基于目标检测网络和分类网络级联的绝缘子缺陷检测方法，先利用Faster R-CNN识别图像中的绝缘子，再利用6层CNN分类网络进行绝缘子有无缺陷分类，Faster R-CNN的绝缘子识别精度、召回率、准确率均在95%以上，但是CNN的绝缘子缺陷分类准确率仅有86%。

文献[67]将绝缘子缺陷检测分为两个阶段，提出了全卷积（Fully Convolutional Networks, FCN）语义分割与YOLOv3协同的绝缘子缺陷检测方法，该方法的绝缘子缺陷检测mAP值达到了96.88%，比YOLOv3提高了3.65个百分点。文献[68]提出基于胶囊网络（Capsule Network, CapsNet）分类与YOLOv3定位缺陷的绝缘子缺陷检测方法，先利用动态路由算法改进的CapsNet网络进行有无破损绝缘子图像分类，再将有破损缺陷的绝缘子图像输入YOLOv3网络模型中进行绝缘子破损区域定位，该方法的绝缘子破损缺陷检测准确率达到了96.3%，比主流的目标检测算法Faster R-CNN提高了8个百分点。

文献[69]提出了一种基于深度学习和形态学分割的绝缘子缺陷检测方法，首先通过Faster R-CNN识别绝缘子，并去除背景干扰，再设计绝缘子形态聚类算法，最后利用聚类算法分割绝缘子并检测缺陷区域，该方法能够准确地识别绝缘子缺陷，其绝缘子缺陷检测准确率达到98%，与单一Faster R-CNN（91%）、两个Faster R-CNN级联（96%）、形态学缺陷检测方法（83%）相比分别提高了7、2和15个百分点。文献[70]将绝缘子识别及其缺陷检测转换为两级目标检测问题，提出了一种级联YOLO模型的绝缘子缺陷检测方法，先利用改进的YOLOv3-dense识别图像中的绝缘子，将识别出的绝缘子设置成感兴趣区域，再使用改进的YOLOv4-tiny进行绝缘子缺陷检测，该方法能够有效地识别复杂背景下的绝缘子缺陷，绝缘子缺陷检测精度达到了98.4%，与YOLOv4、Faster R-CNN、SSD等主流的目标检测算法相比分别提高了2、5和10个百分点。文献[71]提出了一种轻量化SSD目标检测网络与DeeplabV3+语义分割网络级联的绝缘子缺陷检测方法，轻量化MobileNet作为SSD的特征提取网络用于准确识别绝缘子，MobileNetV2-DeeplabV3+用于绝缘子缺陷快速分割，该方法充分利用了轻量化网络的优势，绝缘子缺陷检测具有较高的精度和较快的速度，能够满足嵌入式设备部署要求，为电力巡检图像中电力部件的识别及故障诊断提供了新思路。

级联检测模型的缺陷检测精度优于单级检测模型，但是其模型复杂度和参数量较单级检测策略有明显提升，检测速度略有下降，且对存储资源的要求更高。表2总结了基于级联网络模型的绝缘子缺陷检测方法的相关研究成果。

1.4 其他方法

除了上述利用目标检测模型、轻量化网络模型、级联检测模型进行绝缘子缺陷检测之外，基于深度学习的绝缘子缺陷检测还有很多其他检测方法。文献[72]设计了一个由5个卷积池化模块和2个全连接层构成的缺陷检测模型，在复杂背景下，该模型的绝缘子自爆缺陷检测准确率在85%以上。文献[73]设计了基于ResNeSt和RPN的绝缘子缺陷特征提取网络，以上述特征提取网络为骨干网络的Faster R-CNN模型取得了较好的缺陷检测结果（绝缘子缺陷检测mAP为95.8%）。文献[74]提出了基于三重注意力机制的MSR-CNN实例分割模型，绝缘子缺陷检测精度在89.4%以上。文献[75]提出了基于CenterMask模型的绝缘子缺陷检测方法。文献[76]将U-net语义分割网络和生成对抗网络相结合，提出了一种基于无监督学习的玻璃绝缘子自爆缺陷检测方法。

近年来，自动编码器（Auto-Encoder, AE）在无监督学习领域受到了广泛关注，适用于目标识别和目标检测等任务。结合监督学习DCNN和无监督学习AE的优势，文献[77]提出了一种基于深度卷积自动编码器DCAE的绝缘子缺陷检测方法，其网络结构如图9所示。该方法的绝缘子自爆缺陷检测精度达到93%，与YOLOv3（88%）、AE（68%）、Faster R-CNN（91%）相比分别提高了5、25和2个百分点。

Transformer模型基于自注意力机制聚合不同位置信息，有效地捕捉目标感受野，取得了比CNN更好的性能，自2017年以来其在自然语言处理（Natural Language Processing, NPL）领域取得了令人瞩目的成绩，越来越多的研究者开展Transformer模型相关研究。2020年Facebook公司提出了基于Transformer的端到端目标检测器（end-to-end object Detection with Transformer, DETR），其网络结构如图10所示，在计算机视觉等领域得到了广泛应用，并取得了较好的目标识别性能。

文献[78]以DETR为骨干网络提出了一种用于绝缘子识别及缺陷检测的网络模型，该模型的绝缘子识别及缺陷检测mAP达到了97.97%，与Cascade R-CNN、YOLOv5相比分别提高了3.97个百分点和2.37个百分点，但是该模型的推理速度只有25帧/s，比检测速度为143帧/s的YOLOv5慢得多。文献[79]提出了一种基于DETR的绝缘子缺陷检测方法，通过引入迁移学习技术解决了训练样本不足的问题，并利用Focal损失函数弥补了DETR检测器针对多尺度小目标检测精度低的不足，该方法可以直接实现绝缘子缺陷识别任务，无需先进行绝缘子定位，有效地提高了绝缘子缺陷检测的效率。文献[80]提出了一种轻量化RT-DETR绝缘子缺陷检测算法，该算法有望部署于智能边缘设备，用于输电线路部件实时检测。

除此之外，研究人员还提出了一些其他能够实现无人机航拍图像中绝缘子缺陷检测的方法，如文献[81-82]利用深度学习与非深度学习方法进行绝缘子缺陷检测，文献[83]利用语义分割网络（U-net）对陶瓷绝缘子进行缺陷检测等。

2 数据集

数据集是开展计算机视觉研究工作的基础，训练样本的数量、质量和多样性会影响深度学习网络模型的性能，没有高质量的训练样本通常无法获得较好的训练模型。然而，输电线路作为国家重要的基础设施，大多数绝缘子的航拍图像都非公开，仅有有限数量的数据集可用于相关研究，其中有缺陷的绝缘子样本更是少之又少。

目前用于绝缘子识别及缺陷检测的数据集仅有CPLID（China power line insulator dataset）[65]、ID（insulator dataset）[84]、OPDL（overhead power distribution lines）[85]、UPID（unifying public insulator dataset）[86]、SFID（synthetic foggy insulator dataset）[37]、IDID（insulator defect image dataset）[87]等，绝缘子开源数据集相关信息见表3。与ImageNet、PASCAL VOC、MS-COCO等公开数据集相比，上述数据集图像数量有限，SFID数据集最多也仅有13 000余幅图片。由于绝缘子缺陷检测缺少一个样本数量多且统一的数据集，在不同的检测场景下，学者们大多通过自建数据集开展缺陷检测研究。

3 主要问题与展望

3.1 主要问题

在“坚强智能电网”“泛在电力物联网”等电力大数据背景下，随着无人机巡检、机器视觉技术在电力巡检任务中的不断推广，基于深度学习的目标检测算法在绝缘子缺陷检测领域取得了巨大成就，进一步推动了电力运维的全流程自动化，但也存在诸多问题等待挑战。

1）小样本数据不足。输电线路现实场景复杂多变，加之绝缘子种类众多、数量庞大，有缺陷的绝缘子比较罕见，小样本缺陷数据集将是制约电力深度视觉技术进一步推广应用的主要因素。

2）缺陷检测精度低。与传统图像处理方法相比，深度学习方法有效地提高了绝缘子缺陷检测的精度和速度，但是深度学习网络模型存在结构复杂、参数多、计算量大等问题。在无人机智能巡检应用中，受硬件设备及算力的限制，深度学习网络模型部署于边缘检测设备存在检测精度不高的问题。

3）小目标缺陷检测困难。无人机巡检输电线路采集的绝缘子航拍图像中，与正常绝缘子串相比，缺陷区域要小得多，可以看作是小目标。深度学习网络模型在小目标检测方面效果不佳，小目标缺陷区域容易造成漏检。

4）复杂背景干扰下的特征提取困难。无人机航拍绝缘子图像背景复杂，通常包括天空、河流、田地、森林、杆塔、建筑物等。无人机巡检采集到的绝缘子图像存在图像不清晰、遮挡等问题，使得深度学习网络模型难以有效地提取绝缘子缺陷特征，加之雨雪等恶劣天气的影响，绝缘子缺陷检测更是难上加难。

3.2 未来研究工作展望

在绝缘子缺陷检测领域，深度学习方法利用DCNN自动提取图像特征，具有检测速度快、效率高的优点，在绝缘子缺陷检测任务中取得了显著的效果，但也存在如小样本数据不足、缺陷检测精度低、小目标缺陷检测困难、复杂背景干扰下特征提取困难等问题。针对上述问题，未来的研究将从以下方面展开：

1）绝缘子缺陷样本扩充。图像增强是扩大训练样本数量的有效手段。在有限的缺陷样本情况下，如何通过计算机合成、生成对抗网络以及多源图像融合技术扩增样本多样性，将是未来绝缘子缺陷检测的研究内容之一。

2）统一的性能评价指标。用于绝缘子缺陷检测研究的自建数据集不仅图片数量少，而且不规范，建立规范的大规模绝缘子数据集和统一的性能评价指标有利于训练良好的网络模型，便于算法之间的横向比较。

3）小样本及零样本学习。航拍图像中的绝缘子及其缺陷多种多样、形态各异，且有限的训练样本无法覆盖输电线路所有真实场景。小样本及零样本目标检测研究十分契合绝缘子缺陷检测场景，如何利用小样本甚至零样本学习方法提升深度学习网络模型的检测性能具有一定的参考价值。

4）缺陷检测新框架。基于深度学习的目标检测算法是目前绝缘子缺陷检测的主要框架，现有缺陷检测算法的改进大多是以增加模型复杂度为代价提升检测精度，轻量化网络模型的改进不多。设计轻量化视觉Transformer、语义分割、目标检测算法级联的绝缘子缺陷检测框架，以及研究部署于边缘计算设备的轻量化模型具有重要意义。

5）小目标缺陷多级检测。绝缘子缺陷检测可以看作是小目标检测，综合目标检测、图像分类和语义分割算法优势，融合先验知识、联合特征、上下文等信息，采用多级分层检测策略实现绝缘子缺陷小目标的逐步检测。

6）多学习技术深度融合。将深度学习与迁移学习、元学习、弱监督学习、强化学习等技术深度融合，训练得到性能良好的缺陷检测模型，将是未来深度学习技术在电力巡检应用中的研究重点。

7）云-边-端协同融合。深度学习网络模型通常以增加计算复杂度为代价来提高检测精度。为促进绝缘子缺陷自动检测技术落地，需要云计算、边缘计算设备、移动终端协同融合，开发轻量化网络模型部署在移动终端设备上，实现电力巡检过程中的目标实时检测。

8）提高网络模型的稳定性和实时性。对于复杂背景、恶劣天气等因素带来的影响，准确地识别绝缘子缺陷面临着重大挑战。如何在算力、存储容量有限的条件下，以确保检测精度为前提，利用剪枝等模型压缩技术提高模型检测速度，是绝缘子缺陷实时检测应用中面临的一个重要问题。

4 结论

在电力大数据背景下，快速准确地识别缺陷绝缘子对输电线路的安全稳定运行具有重要意义。本文首先综述了近年来以无人机航拍图像为研究对象、深度学习算法为主要检测手段的绝缘子缺陷检测方法研究进展；然后按照目标检测模型、轻量化网络模型、级联检测模型等方法进行分类，有利于不同深度学习方法之间的相互比较，更有助于电力巡检人员针对特定的电力部件故障诊断选取合适的深度视觉检测方法；最后，本文阐明了基于深度学习的绝缘子缺陷检测方法在缺陷样本不足、缺陷检测精度低、小目标缺陷检测困难、复杂背景干扰下的特征提取困难等方面所面临的挑战，基于现有的深度学习技术和最近的研究思路，指明了绝缘子缺陷样本扩充、建立统一的性能评价指标、小样本及零样本学习、缺陷检测新框架、小目标缺陷多级检测、多学习技术深度融合、云-边-端协同融合、提高网络模型的稳定性和实时性等是今后几个重要的研究方向，希望为从事输电线路故障诊断的研究人员和智能电网运维管理人员提供有价值的参考。

[1] 潘玺安, 艾欣, 胡俊杰, 等. 考虑网络安全约束的分布式智能电网边云协同优化调度方法[J]. 电工技术学报, 2024, 39(19): 6104-6118.

Pan Xian, Ai Xin, Hu Junjie, et al. Network security constrained distributed smart grid edge-cloud collaborative optimization scheduling[J]. Transactions of China Electrotechnical Society, 2024, 39(19): 6104-6118.

[2] 阎光伟, 马颐琳, 焦润海, 等. 航拍电力杆塔图像中销钉唯一性识别研究[J]. 电工技术学报, 2024, 39(17): 5450-5460.

Yan Guangwei, Ma Yilin, Jiao Runhai, et al. Research on pin uniqueness identification in aerial power Tower images[J]. Transactions of China Electrotechnical Society, 2024, 39(17): 5450-5460.

[3] 刘传洋, 吴一全. 基于深度学习的输电线路视觉检测方法研究进展[J]. 中国电机工程学报, 2023, 43(19): 7423-7445.

Liu Chuanyang, Wu Yiquan. Research progress of vision detection methods based on deep learning for transmission lines[J]. Proceedings of the CSEE, 2023, 43(19): 7423-7445.

[4] 徐建军, 黄立达, 闫丽梅, 等. 基于层次多任务深度学习的绝缘子自爆缺陷检测[J]. 电工技术学报, 2021, 36(7): 1407-1415.

Xu Jianjun, Huang Lida, Yan Limei, et al. Insulator self-explosion defect detection based on hierarchical multi-task deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1407-1415.

[5] 王道累, 张正刚, 张世恒, 等. 基于密集连接网络的航拍绝缘子旋转目标精准定位方法[J]. 电力系统保护与控制, 2024, 52(1): 35-43.

Wang Daolei, Zhang Zhenggang, Zhang Shiheng, et al. Accurate positioning method of insulator rotating target in aerial photography based on dense connection network[J]. Power System Protection and Control, 2024, 52(1): 35-43.

[6] 伍箴燎, 吴正平, 孙水发. 基于改进YOLOv5算法的绝缘子多缺陷检测[J]. 高压电器, 2024, 60(12): 95-102, 112.

Wu Zhenliao, Wu Zhengping, Sun Shuifa. Multiple defect detection of insulators based on improved YOLOv5 algorithm[J]. High Voltage Apparatus, 2024, 60(12): 95-102, 112.

[7] 高黎明. 基于轻量化目标检测的绝缘子缺陷识别[J]. 高压电器, 2023, 59(12): 237-244.

Gao Liming. Insulator defect identification based on lightweight object detection[J]. High Voltage Apparatus, 2023, 59(12): 237-244.

[8] 刘志颖, 缪希仁, 陈静, 等. 电力架空线路巡检可见光图像智能处理研究综述[J]. 电网技术, 2020, 44(3): 1057-1069.

Liu Zhiying, Miao Xiren, Chen Jing, et al. Review of visible image intelligent processing for transmission line inspection[J]. Power System Technology, 2020, 44(3): 1057-1069.

[9] 赵振兵, 蒋志钢, 李延旭, 等. 输电线路部件视觉缺陷检测综述[J]. 中国图象图形学报, 2021, 26(11): 2545-2560.

Zhao Zhenbing, Jiang Zhigang, Li Yanxu, et al. Overview of visual defect detection of transmission line components[J]. Journal of Image and Graphics, 2021, 26(11): 2545-2560.

[10] 齐冬莲, 韩译锋, 周自强, 等. 基于视频图像的输变电设备外部缺陷检测技术及其应用现状[J]. 电子与信息学报, 2022, 44(11): 3709-3720.

Qi Donglian, Han Yifeng, Zhou Ziqiang, et al. Review of defect detection technology of power equipment based on video images[J]. Journal of Electronics & Information Technology, 2022, 44(11): 3709-3720.

[11] 谢庆, 张煊宇, 王春鑫, 等. 新一代人工智能技术在输变电设备状态评估中的应用现状及展望[J]. 高压电器, 2022, 58(11): 1-16.

Xie Qing, Zhang Xuanyu, Wang Chunxin, et al. Application status and prospect of the new generation artificial intelligence technology in the state evaluation of power transmission and transformation equipment [J]. High Voltage Apparatus, 2022, 58(11): 1-16.

[12] 刘开培, 李博强, 秦亮, 等. 深度学习目标检测算法在架空输电线路绝缘子缺陷检测中的应用研究综述[J]. 高电压技术, 2023, 49(9): 3584-3595.

Liu Kaipei, Li Boqiang, Qin Liang, et al. Review of application research of deep learning object detection algorithms in insulator defect detection of overhead transmission lines[J]. High Voltage Engineering, 2023, 49(9): 3584-3595.

[13] Liu Yue, Liu Decheng, Huang Xinbo, et al. Insulator defect detection with deep learning: a survey[J]. IET Generation, Transmission & Distribution, 2023, 17(16): 3541-3558.

[14] Liu Jun, Hu Mingming, Dong Junyuan, et al. Summary of insulator defect detection based on deep learning[J]. Electric Power Systems Research, 2023, 224: 109688.

[15] 赵振兵, 李延旭, 戚银城, 等. 基于动态焦点损失函数和样本平衡方法的绝缘子缺陷检测方法[J]. 电力自动化设备, 2020, 40(10): 205-211.

Zhao Zhenbing, Li Yanxu, Qi Yincheng, et al. Insulator defect detection method based on dynamic focus loss function and sample balance method[J]. Electric Power Automation Equipment, 2020, 40(10): 205-211.

[16] 翟永杰, 杨珂, 王乾铭, 等. 基于混合样本迁移学习的盘型绝缘子缺陷检测[J]. 中国电机工程学报, 2023, 43(7): 2867-2876.

Zhai Yongjie, Yang Ke, Wang Qianming, et al. Disc insulator defect detection based on mixed sample transfer learning[J]. Proceedings of the CSEE, 2023, 43(7): 2867-2876.

[17] 白晓静, 谢雅祺, 赵淼, 等. 基于局部特征深度信息的绝缘子小样本缺陷检测[J]. 电网技术, 2024, 48(2): 740-749.

Bai Xiaojing, Xie Yaqi, Zhao Miao, et al. Few-shot insulator defect detection based on deep information of local features[J]. Power System Technology, 2024, 48(2): 740-749.

[18] 翟永杰, 胡哲东, 白云山, 等. 融合迁移学习的绝缘子缺陷分级检测方法[J]. 电子测量技术, 2023, 46(6): 23-30.

Zhai Yongjie, Hu Zhedong, Bai Yunshan, et al. Integrating transfer learning for insulator defect grading detection[J]. Electronic Measurement Technology, 2023, 46(6): 23-30.

[19] Zhai Yongjie, Hu Zhedong, Wang Qianming, et al. Multi-geometric reasoning network for insulator defect detection of electric transmission lines[J]. Sensors, 2022, 22(16): 6102.

[20] Wen Qiaodi, Luo Ziqi, Chen Ruitao, et al. Deep learning approaches on defect detection in high resolution aerial images of insulators[J]. Sensors, 2021, 21(4): 1033.

[21] 刘思言, 王博, 高昆仑, 等. 基于R-FCN的航拍巡检图像目标检测方法[J]. 电力系统自动化, 2019, 43(13): 162-168.

Liu Siyan, Wang Bo, Gao Kunlun, et al. Object detection method for aerial inspection image based on region-based fully convolutional network[J]. Automation of Electric Power Systems, 2019, 43(13): 162-168.

[22] 李鑫, 刘帅男, 杨桢, 等. 基于改进Cascade R-CNN的输电线路多目标检测[J]. 电子测量与仪器学报, 2021, 35(10): 24-32.

Li Xin, Liu Shuainan, Yang Zhen, et al. Multi-target detection of transmission lines based on improved Cascade R-CNN[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(10): 24-32.

[23] 张欣, 王红星, 陈玉权, 等. 基于改进Cascade R-CNN算法的多类型绝缘子缺陷图像联合检测[J]. 电瓷避雷器, 2022(1): 189-196.

Zhang Xin, Wang Hongxing, Chen Yuquan, et al. Multi-type insulator defect joint detection based on improved Cascade R-CNN algorithm[J]. Insulators and Surge Arresters, 2022(1): 189-196.

[24] 苟军年, 杜愫愫, 刘力. 基于改进掩膜区域卷积神经网络的输电线路绝缘子自爆检测[J]. 电工技术学报, 2023, 38(1): 47-59.

Gou Junnian, Du Susu, Liu Li. Transmission line insulator self-explosion detection based on improved mask region-convolutional neural network[J]. Transactions of China Electrotechnical Society, 2023, 38(1): 47-59.

[25] 李斌, 屈璐瑶, 朱新山, 等. 基于多尺度特征融合的绝缘子缺陷检测[J]. 电工技术学报, 2023, 38(1): 60-70.

Li Bin, Qu Luyao, Zhu Xinshan, et al. Insulator defect detection based on multi-scale feature fusion[J]. Transactions of China Electrotechnical Society, 2023, 38(1): 60-70.

[26] 陈奎, 贾立娇, 刘晓, 等. 基于多尺度特征融合的绝缘子缺陷程度检测[J]. 高电压技术, 2024, 50(5): 1889-1899.

Chen Kui, Jia Lijiao, Liu Xiao, et al. Insulator defect degree detection based on multi-scale feature fusion[J]. High Voltage Engineering, 2024, 50(5): 1889-1899.

[27] 崔克彬, 潘锋. 用于绝缘子故障检测的CycleGAN小样本库扩增方法研究[J]. 计算机工程与科学, 2022, 44(3): 509-515.

Cui Kebin, Pan Feng. A CycleGAN small sample library amplification method for faulty insulator detection[J]. Computer Engineering & Science, 2022, 44(3): 509-515.

[28] Adou M W, Xu Huarong, Chen Guanhua. Insulator faults detection based on deep learning[C]//2019 IEEE 13th International Conference on Anti-counterfeiting, Security, and Identification (ASID), Xiamen, China, 2019: 173-177.

[29] 罗潇, 於锋, 彭勇. 基于深度学习的无人机电网巡检缺陷检测研究[J]. 电力系统保护与控制, 2022, 50(10): 132-139.

Luo Xiao, Yu Feng, Peng Yong. UAV power grid inspection defect detection based on deep learning[J]. Power System Protection and Control, 2022, 50(10): 132-139.

[30] 郝帅, 马瑞泽, 赵新生, 等. 基于卷积块注意模型的YOLOv3输电线路故障检测方法[J]. 电网技术, 2021, 45(8): 2979-2987.

Hao Shuai, Ma Ruize, Zhao Xinsheng, et al. Fault detection of YOLOv3 transmission line based on convolutional block attention model[J]. Power System Technology, 2021, 45(8): 2979-2987.

[31] Liu Chuanyang, Wu Yiquan, Liu Jingjing, et al. Insulator faults detection in aerial images from high-voltage transmission lines based on deep learning model[J]. Applied Sciences, 2021, 11(10): 4647.

[32] 高健宸, 张家洪, 李英娜, 等. 基于YOLOv4的绝缘子爆裂故障识别研究[J]. 激光与光电子学进展, 2022, 59(2): 0210005.

Gao Jianchen, Zhang Jiahong, Li Yingna, et al. Insulator burst fault identification based on YOLOv4 [J]. Laser & Optoelectronics Progress, 2022, 59(2): 0210005.

[33] 刘行谋, 田浩, 杨永明, 等. 复杂环境背景下绝缘子缺陷图像检测方法研究[J]. 电子测量与仪器学报, 2022, 36(2): 57-67.

Liu Xingmou, Tian Hao, Yang Yongming, et al. Research on image detection method of insulator defects in complex background[J]. Journal of Electronic Measurement and Instrumentation, 2022, 36(2): 57-67.

[34] 李运堂, 詹叶君, 王鹏峰, 等. 基于改进YOLOV4网络的绝缘子缺陷检测[J]. 传感技术学报, 2023, 36(8): 1250-1260.

Li Yuntang, Zhan Yejun, Wang Pengfeng, et al. Inspection method for insulator defect based on improved YOLOV4 network[J]. Chinese Journal of Sensors and Actuators, 2023, 36(8): 1250-1260.

[35] Wang Shanshan, Zou Xinyi, Zhu Wei, et al. Insulator defects detection for aerial photography of the power grid using you only look once algorithm[J]. Journal of Electrical Engineering & Technology, 2023, 18(4): 3287-3300.

[36] Hao Kun, Chen Guanke, Zhao Lu, et al. An insulator defect detection model in aerial images based on multiscale feature pyramid network[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 3522412.

[37] Zhang Zhengde, Zhang Bo, Lan Zhicai, et al. FINet: an insulator dataset and detection benchmark based on synthetic fog and improved YOLOv5[J]. IEEE Transactions on Instrumentation Measurement, 2022, 71: 3194909.

[38] Ding Jian, Cao Haonan, Ding Xulin, et al. High accuracy real-time insulator string defect detection method based on improved YOLOv5[J]. Frontiers in Energy Research, 2022, 10: 928164.

[39] Chen Jiangli, Fu Zhangjie, Cheng Xu, et al. An method for power lines insulator defect detection with attention feedback and double spatial pyramid[J]. Electric Power Systems Research, 2023, 218: 109175.

[40] 赵博, 马宏忠, 张潇, 等. 定向识别航拍绝缘子及其缺陷检测方法研究[J]. 电子测量与仪器学报, 2023, 37(5): 240-251.

Zhao Bo, Ma Hongzhong, Zhang Xiao, et al. Research on directional identification of aerial insulators and their defect detection methods[J]. Journal of Electronic Measurement and Instrumentation, 2023, 37(5): 240-251.

[41] Dai Zhiyong. Uncertainty-aware accurate insulator fault detection based on an improved YOLOX model[J]. Energy Reports, 2022, 8: 12809-12821.

[42] 王韵琳, 冯天波, 孙宁, 等. 融合注意力与多尺度特征的电力绝缘子缺陷检测方法[J]. 高电压技术, 2024, 50(5): 1933-1942.

Wang Yunlin, Feng Tianbo, Sun Ning, et al. Defect detection method for power insulators based on attention and multi-scale context information[J]. High Voltage Engineering, 2024, 50(5): 1933-1942.

[43] 宋智伟, 黄新波, 纪超, 等. 基于Flexible YOLOv7的输电线路绝缘子缺陷检测和故障预警方法[J]. 高电压技术, 2023, 49(12): 5084-5094.

Song Zhiwei, Huang Xinbo, Ji Chao, et al. Insulator defect detection and fault warning method for transmission line based on flexible YOLOv7[J]. High Voltage Engineering, 2023, 49(12): 5084-5094.

[44] 亢洁, 王勍, 刘文波, 等. 融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测网络[J]. 高电压技术, 2023, 49(8): 3361-3372.

Kang Jie, Wang Qing, Liu Wenbo, et al. Detection model of multi-defect of aerial photo insulator by integrating CAT-BiFPN and attention mechanism[J]. High Voltage Engineering, 2023, 49(8): 3361-3372.

[45] 刘逸凡, 王淑青, 庆毅辉, 等. 基于EfficientDet和双目摄像头的绝缘子缺陷检测[J]. 中国电力, 2021, 54(2): 156-163, 196.

Liu Yifan, Wang Shuqing, Qing Yihui, et al. Insulator defect detection based on EfficientDet and binocular camera[J]. Electric Power, 2021, 54(2): 156-163, 196.

[46] 宋立业, 刘帅, 王凯, 等. 基于改进EfficientDet的电网元件及缺陷识别方法[J]. 电工技术学报, 2022, 37(9): 2241-2251.

Song Liye, Liu Shuai, Wang Kai, et al. Identification method of power grid components and defects based on improved EfficientDet[J]. Transactions of China Electrotechnical Society, 2022, 37(9): 2241-2251.

[47] 赵杰伦, 张兴忠, 董红月. 基于尺度不变特征金字塔的输电线路缺陷检测[J]. 计算机工程与应用, 2022, 58(8): 289-296.

Zhao Jielun, Zhang Xingzhong, Dong Hongyue. Defect detection in transmission line based on scale-invariant feature pyramid networks[J]. Computer Engineering and Applications, 2022, 58(8): 289-296.

[48] 赵锐, 赵国伟, 张娟, 等. 改进CenterNet的高压输电线路巡检故障实时检测方法[J]. 计算机工程与应用, 2021, 57(17): 246-252.

Zhao Rui, Zhao Guowei, Zhang Juan, et al. Real-time fault detection method for high voltage transmission line based on CenterNet improved algorithm[J]. Computer Engineering and Applications, 2021, 57(17): 246-252.

[49] 李发光, 伊力哈木·亚尔买买提. 基于改进CenterNet的航拍绝缘子缺陷实时检测模型[J]. 计算机科学, 2022, 49(5): 84-91.

Li Faguang, Yilihamu·Yaermaimaiti. Real-time detection model of insulator defect based on improved CenterNet[J]. Computer Science, 2022, 49(5): 84-91.

[50] 苟军年, 杜愫愫, 王世铎, 等. 轻量化特征融合的CenterNet输电线路绝缘子自爆缺陷检测[J]. 北京航空航天大学学报, 2024, 50(7): 2161-2171.

Gou Junnian, Du Susu, Wang Shiduo, et al. Insulator self-explosion detection in transmission line based on CenterNet fusing lightweight features[J]. Journal of Beijing University of Aeronautics and Astronautics, 2024, 50(7): 2161-2171.

[51] Yang Lei, Fan Junfeng, Song Shouan, et al. A light defect detection algorithm of power insulators from aerial images for power inspection[J]. Neural Computing and Applications, 2022, 34(20): 17951-17961.

[52] Wang Suzhen, Xu Hao, Shao Mingwei, et al. Insulator defect detection based on improved you-only-look-once v4 in complex scenarios[J]. Journal of Electronic Imaging, 2023, 32(2): 023029.

[53] Zan Weidong, Dong Chaoyi, Zhang Zhiming, et al. Defect identification of power line insulators based on a MobileViT-yolo deep learning algorithm[J]. IEEJ Transactions on Electrical and Electronic Engineering, 2023, 18(8): 1271-1279.

[54] 李利荣, 张云良, 陈鹏, 等. 基于轻量化YOLOv4的复杂场景绝缘子缺陷检测算法[J]. 光电子·激光, 2022, 33(6): 598-606.

Li Lirong, Zhang Yunliang, Chen Peng, et al. Insulator defect detection algorithm for complex scenes based onlightweight YOLOv4[J]. Journal of Optoelectronics·

Laser, 2022, 33(6): 598-606.

[55] 陈奎, 刘晓, 贾立娇, 等. 基于轻量化网络与增强多尺度特征融合的绝缘子缺陷检测[J]. 高电压技术, 2024, 50(3): 1289-1300.

Chen Kui, Liu Xiao, Jia Lijiao, et al. Insulator defect detection based on lightweight network and enhanced multi-scale feature fusion[J]. High Voltage Engineering, 2024, 50(3): 1289-1300.

[56] 翟永杰, 赵晓瑜, 王璐瑶, 等. IDD-YOLOv7: 一种用于输电线路绝缘子多缺陷的轻量化检测方法[J]. 图学学报, 2024, 45(1): 90-101.

Zhai Yongjie, Zhao Xiaoyu, Wang Luyao, et al. IDD-YOLOv7: a lightweight method for multiple defect detection of insulators in transmission lines[J]. Journal of Graphics, 2024, 45(1): 90-101.

[57] 邬开俊, 徐泽浩, 单宏全. 基于FasterNet和YOLOv5改进的玻璃绝缘子自爆缺陷快速检测方法[J]. 高电压技术, 2024, 50(5): 1865-1876.

Wu Kaijun, Xu Zehao, Shan Hongquan. Rapid detection method for self-exploding defects in glass insulators based on improved FasterNet and YOLOv5 [J]. High Voltage Engineering, 2024, 50(5): 1865-1876.

[58] 贾晓芬, 于业齐, 郭永存, 等. 航拍绝缘子自爆缺陷的轻量化检测方法[J]. 高电压技术, 2023, 49(1): 294-300.

Jia Xiaofen, Yu Yeqi, Guo Yongcun, et al. Lightweight detection method of self-explosion defect of aerial photo insulator[J]. High Voltage Engineering, 2023, 49(1): 294-300.

[59] 王道累, 张世恒, 袁斌霞, 等. 基于改进YOLOv5的轻量化玻璃绝缘子自爆缺陷检测研究[J]. 高电压技术, 2023, 49(10): 4382-4390.

Wang Daolei, Zhang Shiheng, Yuan Binxia, et al. Research on self-explosion defect detection of lightweight glass insulators based on improved YOLOv5[J]. High Voltage Engineering, 2023, 49(10): 4382-4390.

[60] 杨露露, 马萍, 王聪, 等. 结合特征重用与重建的YOLO绝缘子检测方法[J]. 计算机工程, 2024, 50(7): 303-313.

Yang Lulu, Ma Ping, Wang Cong, et al. Insulator detection method using YOLO combining feature reuse and reconstruction[J]. Computer Engineering, 2024, 50(7): 303-313.

[61] 谢静, 杜耀文, 刘志坚, 等. 基于轻量化改进型YOLOv5s的可见光绝缘子缺陷检测算法[J]. 电网技术, 2023, 47(12): 5273-5282.

Xie Jing, Du Yaowen, Liu Zhijian, et al. Defect detection algorithm based on lightweight and improved YOLOv5s for visible light insulators[J]. Power System Technology, 2023, 47(12): 5273-5282.

[62] 赵振兵, 金超熊, 戚银城, 等. 基于动态监督知识蒸馏的输电线路螺栓缺陷图像分类[J]. 高电压技术, 2021, 47(2): 406-414.

Zhao Zhenbing, Jin Chaoxiong, Qi Yincheng, et al. Image classification of transmission line bolt defects based on dynamic supervision knowledge distillation [J]. High Voltage Engineering, 2021, 47(2): 406-414.

[63] Ling Zenan, Zhang Dongxia, Qiu R C, et al. An accurate and real-time self-blast glass insulator location method based on faster R-CNN and U-net with aerial images[J]. CSEE Journal of Power and Energy Systems, 2019,5(4): 474-482.

[64] Sampedro C, Rodriguez-Vazquez J, Rodriguez-Ramos A, et al. Deep learning-based system for automatic recognition and diagnosis of electrical insulator strings[J]. IEEE Access, 2019, 7: 101283-101308.

[65] Tao Xian, Zhang Dapeng, Wang Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1486-1498.

[66] 何宁辉, 王世杰, 刘军福, 等. 基于深度学习的航拍图像绝缘子缺失检测方法研究[J]. 电力系统保护与控制, 2021, 49(12): 132-140.

He Ninghui, Wang Shijie, Liu Junfu, et al. Research on infrared image missing insulator detection method based on deep learning[J]. Power System Protection and Control, 2021, 49(12): 132-140.

[67] 王卓, 王玉静, 王庆岩, 等. 基于协同深度学习的二阶段绝缘子故障检测方法[J]. 电工技术学报, 2021, 36(17): 3594-3604.

Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.

[68] 卞建鹏, 李凡, 郝培旭, 等. 复杂环境下输电线路绝缘子的破损识别与定位[J]. 高电压技术, 2022, 48(2): 681-688.

Bian Jianpeng, Li Fan, Hao Peixu, et al. Damage identification and location of transmission line insulator in complex environment[J]. High Voltage Engineering, 2022, 48(2): 681-688.

[69] Zhang Zhaoyun, Huang Shihong, Li Yanxin, et al. Image detection of insulator defects based on morphological processing and deep learning[J]. Energies, 2022, 15(7): 2465.

[70] Liu Jingjing, Liu Chuanyang, Wu Yiquan, et al. Insulators' identification and missing defect detection in aerial images based on cascaded YOLO models[J]. Computational Intelligence and Neuroscience, 2022, 2022: 7113765.

[71] 汝承印, 张仕海, 张子淼, 等. 基于轻量级MobileNet-SSD和MobileNetV2-DeeplabV3+的绝缘子故障识别方法[J]. 高电压技术, 2022, 48(9): 3670-3679.

Ru Chengyin, Zhang Shihai, Zhang Zimiao, et al. Fault identification method for high voltage power grid insulator based on lightweight MobileNet-SSD and MobileNetV2-DeeplabV3+Network[J]. High Voltage Engineering, 2022, 48(9): 3670-3679.

[72] 陈庆, 闫斌, 叶润, 等. 航拍绝缘子卷积神经网络检测及自爆识别研究[J]. 电子测量与仪器学报, 2017, 31(6): 942-953.

Chen Qing, Yan Bin, Ye Run, et al. Insulator detection and recognition of explosion fault based on convolutional neural networks[J]. Journal of Electronic Measurement and Instrumentation, 2017, 31(6): 942-953.

[73] Wang Shuqing, Liu Yifan, Qing Yihui, et al. Detection of insulator defects with improved ResNeSt and region proposal network[J]. IEEE Access, 2020, 8: 184841-184850.

[74] Antwi-Bekoe E, Liu Guisong, Ainam J P, et al. A deep learning approach for insulator instance segmentation and defect detection[J]. Neural Computing and Applications, 2022, 34(9): 7253-7269.

[75] Ye Bo, Li Feng, Li Mingxuan, et al. Intelligent detection method for substation insulator defects based on CenterMask[J]. Frontiers in Energy Research, 2022, 10: 985600.

[76] 王道累, 孙嘉珺, 张天宇, 等. 基于改进生成对抗网络的玻璃绝缘子自爆缺陷检测方法[J]. 高电压技术, 2022, 48(3): 1096-1103.

Wang Daolei, Sun Jiajun, Zhang Tianyu, et al. Self-explosion defect detection method of glass insulator based on improved generative adversarial network[J]. High Voltage Engineering, 2022, 48(3): 1096-1103.

[77] Deng Fangming, Luo Wei, Wei Baoquan, et al. A novel insulator defect detection scheme based on deep convolutional auto-encoder for small negative samples [J]. High Voltage, 2022, 7(5): 925-935.

[78] Xu Weifeng, Zhong Xiaohong, Luo Man, et al. End-to-end insulator string defect detection in a complex background based on a deep learning model[J]. Frontiers in Energy Research, 2022, 10: 928162.

[79] Cheng Yang, Liu Daming. An image-based deep learning approach with improved DETR for power line insulator defect detection[J]. Journal of Sensors, 2022, 2022: 6703864.

[80] 姜香菊, 王瑞彤, 马彦鸿. 基于轻量级改进RT-DETR边缘部署算法的绝缘子缺陷检测[J].电工技术学报, 2025, 40(3): 842-854.

Jiang Xiangju, Wang Ruitong, Ma Yanhong. Insulator defect detection based on lightweight improved RT-DETR edge deployment algorithm[J]. Transactions of China Electrotechnical Society, 2025, 40(3): 842-854.

[81] 赖秋频, 杨军, 谭本东, 等. 基于YOLOv2网络的绝缘子自动识别与缺陷诊断模型[J]. 中国电力, 2019, 52(7): 31-39.

Lai Qiupin, Yang Jun, Tan Bendong, et al. An automatic recognition and defect diagnosis model of transmission line insulator based on YOLOv2 network[J]. Electric Power, 2019, 52(7): 31-39.

[82] Ullah I, Khan R U, Yang Fan, et al. Deep learning image-based defect detection in high voltage electrical equipment[J]. Energies, 2020, 13(2): 392.

[83] 陈潇, 徐曙, 张成巍, 等. 基于改进U-Net网络对输电塔陶瓷绝缘子表面缺陷的识别算法[J]. 陶瓷学报, 2022, 43(3): 469-477.

Chen Xiao, Xu Shu, Zhang Chengwei, et al. Identification algorithm of ceramic insulator surface defects on power transmission towers based on improved U-net network[J]. Journal of Ceramics, 2022, 43(3): 469-477.

[84] Tomaszewski M, Ruszczak B, Michalski P. The collection of images of an insulator taken outdoors in varying lighting conditions with additional laser spots[J]. Data in Brief, 2018, 18: 765-768.

[85] Prates R M, Cruz R, Marotta A P, et al. Insulator visual non-conformity detection in overhead power distribution lines using deep learning[J]. Computers & Electrical Engineering, 2019, 78: 343-355.

[86] Andrel V. Unifying public datasets for insulator detection and defect classification in electrical power lines[DB/OL]. [2024-04-09]. https://github.com/ heitorcfelix/public-insulatordatasets.

[87] Lewis D, Kulkarni P. Insulator defect detection [DB/OL]. (2023-03-27)[2024-04-09]. https://doi.org/ 10.21227/vkdw-x769.

Research Progress of Deep Learning Methods for Insulator Defect Detection in UAV Based Aerial Images

（1. College of Electronic and Information Engineering Nanjing University of Aeronautics and Astronautics Nanjing 211106 China 2. College of Mechanical and Electrical Engineering Chizhou University Chizhou 247000 China）

Abstract Insulator is one of the most common and widely used electrical components in transmission lines, which plays a critical role in electrical insulation and mechanical support, ensuring that the current flows along the specified path and reducing electromagnetic interference with the surrounding environment. Since insulators are installed outdoors, they are exposed to wind, sunlight, rain, ice, frost and other bad weather for a long time, and their surface defects are inevitable. If the insulator appears self-explosion or drop string, which will cause leakage due to the loss of insulation, leading to electric shock accidents, thus resulting in huge economic losses. Relying on computer vision and deep learning technology, insulator defect detection from massive UAV aerial images has become an urgent problem for power operation and maintenance. However, the backgrounds of aerial images from overhead transmission line corridors are complex. Under different lighting conditions, shooting angles, shooting distances, etc., the scale of insulators in aerial images varies greatly, and the insulator strings are prone to occlusion, the defect area of the insulator is much smaller than the insulator itself. Therefore, there are numerous difficulties in detecting insulator defects in practical applications.

In recent years, compared with the traditional object detection methods, deep learning methods can quickly and accurately identify insulators and their defects from power inspection images. There is still a lack of comprehensive review of the latest progress in insulator defect detection in existing literature, without introducing object detection algorithms such as anchor free algorithm, YOLOv7, Transformer, and knowledge extraction techniques. In view of this, this article summarizes and analyzes a large number of visual methods for insulator defects detection, systematically reviews deep learning methods for insulator defect detection in drone aerial images, aiming to select appropriate detection methods for specific insulator defects and provide valuable reference for researchers engaged in transmission lines fault diagnosis.

This paper reviews the research progress of deep learning methods for insulator defect detection in UAV aerial images. Firstly, the current research status of transmission lines inspection based on deep learning is briefly reviewed. Then, the insulator defect detection methods based on deep learning are explained, mainly from the target detection models, lightweight network models, cascade detection models and other methods are summarized, which is conducive to the comparison between different deep learning methods and more helpful for power inspection personnel to select appropriate deep vision detection methods for fault diagnosis of specific electrical component. And the target detection models based on two-stage algorithms, one-stage algorithms and anchor-free algorithms are elucidated. The lightweight network models based on model pruning, knowledge distillation, low-rank decomposition, network quantization and the target detection model based on Transformer are summarized. Next, the self-built and public datasets for insulator defect detection are introduced. Due to the lack of training samples and unified dataset for insulator defect detection, scholars mostly conduct defect detection research through self-built datasets in different detection scenarios. Finally, the challenges faced by insulator defect detection methods based on deep learning are elucidated, including insufficient defect samples, low defect detection accuracy, difficulty in detecting small target defects, and feature extraction, etc. Based on existing deep learning techniques and recent research ideas, several important research directions in the future are pointed out, including expanding insulator defect samples, establishing unified performance evaluation indicators, small and zero sample learning, new defect detection frameworks, multi-level detection of small defects, deep fusion of multiple learning technologies, cloud-edge-end collaborative fusion, and improving network model stability and real-time performance.

Keywords：Defect detection of insulator, UAV based aerial image, deep learning, computer vision

国家自然科学基金项目（61573183）和安徽省高校自然科学研究项目（2023AH052358, 2024AH051365）资助。

刘传洋男，1982年生，博士，研究方向为图像处理与机器视觉，输电线路视觉检测与故障诊断。

吴一全男，1963年生，教授，博士生导师，研究方向为视觉检测与图像测量、图像处理与分析、红外目标检测与识别、视频处理与智能分析等。