图1 绝缘子航拍图的标签树
Fig.1 Label tree of insulator aerial image
摘要 绝缘子是电力线路中重要且使用广泛的器件，随着近年来无人机巡线的迅速普及，从航拍图像中检测绝缘子自爆缺陷成为热点问题。在航拍图像中，自爆绝缘子与正常绝缘子的区分难度相对更大，该文提出一种基于层次多任务深度学习的绝缘子自爆缺陷检测模型，使用专用的卷积神经网络区分自爆绝缘子和正常绝缘子，并结合多任务学习和特征融合方法提高分类准确率。同时，针对缺乏自爆类数据的问题，提出制作合成图像的数据增强方法。实验结果表明，添加合成图像能有效提高自爆类召回率；层次多任务学习模型与平面分类模型及普通层次模型相比具有更强的分类能力。
关键词：绝缘子 多任务学习 缺陷检测 深度学习 层次分类
绝缘子是输电线路重要的组成部分，架空线通过绝缘子实现对杆塔和大地的绝缘。绝缘子在过电压作用下会出现闪络[1-2]，是故障多发元件，传统的巡线方式是人工巡线，可用热红外成像技术[3]方法检测缺陷。由于无人机巡线具有更高效、更安全等优势，近年来无人机巡线迅速发展，利用计算机视觉技术对拍摄的绝缘子航拍图进行分析成为研究的热点问题。
传统的绝缘子自爆缺陷检测算法主要先利用图像分割技术从航拍图中分割出绝缘子串，得到绝缘子的轮廓特征，再按照人工设计的特征判断是否存在缺陷，其中Otsu方法[4]等技术得到了充分应用和发展。然而航拍得到的图像的背景多为杆塔、农田、山峦等复杂场景，且不同环境条件下得到的图像差异较大。传统图像处理方法应用于航拍图像时，难以获得满足算法要求的分割结果，造成准确率低的问题。
神经网络已被应用于多个领域[5-9]，在图像领域中卷积神经网络（Convolutional Neural Networks，CNN）能够实现端到端的学习，且得到的特征相比于传统的人工设计的特征具有更强的泛化性，已有国内外学者将深度学习方法应用于绝缘子自爆缺陷检测。应用于绝缘子自爆检测的深度学习方法按处理步骤可分为两种：单阶段方法和双阶段方法。单阶段方法直接在航拍图上进行自爆缺陷检测；双阶段方法则先得到绝缘子串所在区域，再对绝缘子串区域进行进一步处理。
单阶段方法采用的算法可分为两种，一种是采用区域提名或回归分类的目标检测算法直接对自爆缺陷进行检测。文献[10]利用在线困难样本挖掘、样本优化等方法改进基于区域的全卷积网络，实现对包括绝缘子自爆缺陷在内的多种目标的检测。文献[11]运用Faster R-CNN[12]，实现了对包括绝缘子自爆缺陷在内的输电线路六种目标的检测。文献[13]使用经过轻量化的YOLOv3模型[14]对绝缘子串和自爆缺陷区域进行检测。然而自爆缺陷在航拍图像中所占比例较小，属于小目标检测，由于目标检测算法中多次使用下采样，在多次下采样后自爆缺陷区域的特征图变得很小，丢失图像特征，因而采用目标检测算法的单阶段方法准确率较低。第二种是先由滑动窗口对航拍图片进行裁剪，再对裁剪得到的图片块进行分类。文献[15]在用滑动窗口裁剪航拍图片后，在分类模型中添加空间金字塔池化模块对图片块进行分类。
双阶段方法在检测绝缘子串所在区域时所用方法多为目标检测算法；在检测自爆缺陷时或使用目标检测算法进行检测，或使用滑动窗口裁剪绝缘子串区域后再对得到的图片块进行分类。文献[16]先使用Faster R-CNN算法实现对绝缘子的定位，并将绝缘子角度校正，再裁剪成小块后输入具有反馈机制的卷积神经网络进行分类。文献[17]采用级联形式的网络，先使用目标检测方法实现绝缘子串定位，然后将绝缘子区域输入下一级目标检测网络实现对自爆绝缘子区域的定位。文献[18]实现一个级联网络，先由一个分类网络进行分类，若分类结果为正常则输入下一级由Fast R-CNN构成的检测器进行自爆缺陷检测作为验证。文献[19]将弱监督细粒度分类思想应用于绝缘子自爆缺陷检测，在得到绝缘子串区域后，使用多个卷积神经网络分别提取绝缘子的物体级和部位级特征，然后对两种特征进行特征融合，利用融合后的特征对绝缘子进行分类。可见双阶段方法中非级联网络需要训练多个网络以分别实现绝缘子串定位和自爆缺陷检测，加大了模型的训练难度；级联网络由于需要实现两个功能，参数量和需要的计算量都较大，对硬件要求较高。
基于上述分析，本文选择对由滑动窗口裁剪后得到的图片块进行分类的方法，用一个网络实现绝缘子自爆缺陷检测。考虑到无人机在航拍过程中易受天气等因素干扰导致图像模糊[20]，影响图像的质量和信息，造成检测算法漏检，本文在实现自爆缺陷检测的同时实现对模糊图像的识别。相对于背景，自爆绝缘子与正常绝缘子的区分难度更大，本文提出一种基于层次多任务深度学习的绝缘子自爆缺陷检测模型，使用专用的卷积神经网络区分自爆绝缘子和正常绝缘子，提高分类准确率。针对层次分类中的路径错误问题，本文将层次分类模型与多任务学习算法相结合以增加粗粒度类别分类准确率，从而减少路径错误问题。
此外，由于目前没有标准的自爆绝缘子数据集，而航拍图片中存在自爆缺陷的绝缘子数量、形态有限，导致卷积神经网络学习到的自爆缺陷特征不足。卷积神经网络学习到的特征决定了模型的性能，若学习到的特征不足将导致模型泛化能力弱，发生过拟合问题，因此需要对自爆绝缘子类别进行数据增强。
传统的数据增强方法主要是翻转、随机裁剪、亮度变换等。在此基础上，文献[21]提出了使用3D软件进行正常绝缘子建模的方法，但背景纯净的绝缘子图片失去了绝缘子航拍图像的背景复杂的特点。文献[17]提出运用U-Net[22]将破损绝缘子串分割出来，再与复杂背景图融合的方法进行数据增强，然而只是更换了背景和进行旋转，自爆缺陷特征并未有效增加，并且由于图像分割的精度有限，绝缘子图像周围存在背景的残余像素。本文结合两种方法，提出将仿真自爆缺陷绝缘子与复杂背景融合得到合成图片以实现数据增强。
1.1.1 层次分类
在分类任务中，一些类别比其他类别更难区分，传统的平面分类（flat classification）将所有类别映射到同一个特征空间，忽视了不同类别之间的视觉可分离性是非常不均匀的。层次分类（hierarchical classification）使用粗粒度分类器先进行粗粒度分类，再使用细粒度分类器对粗粒度类别下的细粒度类别进行分类。对于细粒度分类器，其区分的类别数小于总的细粒度类别数，降低了分类的复杂度，且使其可以专注于该粗粒度类别下的视觉特性[23]。
1.1.2 用于自爆缺陷检测的层次多任务分类模型
标签树由各种标签按照一定的逻辑关系组织形成，绝缘子航拍图片的标签树如图1所示。依托标签树结构构建层次分类网络，其重点在于契合粗粒度类别与细粒度类别间的关系，需要解决的是路径错误问题，即当中间节点分类错误时必然会导致子类错误。文献[24]依托深度为3的标签树构建了层次分类网络（Hierarchical Deep-CNN, HD-CNN），由粗粒度分类器得到粗粒度类别概率，按阈值使对应的细粒度分类器动作得到细粒度类别概率，最终以粗粒度类别概率作为细粒度类别概率的权重得到最终预测概率，然而没有考虑深度更深的标签树对应的网络的构建。文献[24]在构建层次分类模型时为避免路径错误，若不在同一粗粒度类别下的多个细粒度类别特征相似，则将这些细粒度类别一起添加到多个粗粒度类别下，以训练更具分类能力的分类器。
图1 绝缘子航拍图的标签树
Fig.1 Label tree of insulator aerial image
图1的绝缘子航拍图标签树的特点在于一些粗粒度类别下没有细粒度类别，即A中的模糊类和B中的背景类。由于背景类下没有细粒度类别，背景和绝缘子的分类将仅依赖背景与绝缘子分类任务的结果，可能会发生路径错误。本文借鉴文献[24]，依托绝缘子航拍图的标签树构建层次多任务卷积神经网络，并根据绝缘子航拍图的标签树的特点结合多任务学习改进。
本文采用的模型如图2所示。粗粒度层A与粗粒度层B和细粒度层C对应的网络分别为网络1、网络2和网络3。将航拍图片的图片块按模糊图片和清晰图片分类的二分类任务作为任务1；按背景图片和绝缘子图片分类的二分类任务作为任务2；按背景图片、正常绝缘子图片和自爆绝缘子图片分类的三分类任务作为任务3。对于任务2和任务3，由于源域相同（清晰图片），目标域相近，故将任务3添加到粗粒度层B的网络与任务2构成多任务学习。多任务学习在模型中的作用有三点，一是提高粗粒度层B对应网络的泛化能力；二是在预测时综合两个任务的输出概率作为背景和绝缘子二分类的最终概率（见1.3节），以提高分类准确率，避免发生路径错误；三是对于绝缘子图片块，其经过粗粒度层B对应的卷积网络提取的特征中，包含了正常与自爆的分类特征，因此粗粒度层B对应的网络提取到的图片特征可以作为细粒度层C提取得到的图片特征的补充信息。以正常绝缘子和自爆绝缘子二分类任务为任务4。
图2 层次多任务学习模型
Fig.2 Hierarchical multi-task learning model
输入的图片块大小为3×224×224（通道数×高×宽，下同），网络1、网络2和网络3共享底层卷积层，即共享层。3个子网络都由卷积神经网络和全连接层组成，全连接层与对应的Softmax层构成分类器，对图片经过CNN2输出的特征与CNN3输出的特征以特征向量级联的方式进行特征融合，并切断任务4损失函数向CNN2的反向传播。训练时通过标签和损失函数的设置，图片数据流向对应的标签树层级所对应的网络。该模型具有较强的功能扩展性，若要增加识别雨天、雾天图片，可添加到粗粒度层A，对网络1，即共享层、CNN1和全连接层1进行微调（固定共享层的参数）；若要对其他绝缘子缺陷进行识别，则将任务添加到粗粒度层C对应的网络3，此时需要对整个模型进行训练。样本标签见表1。
表1 样本标签
Tab.1 Labels of samples
类别标签1标签2标签3标签4 模糊图片1343 清晰图片背景2113 绝缘子正常绝缘子2221 自爆绝缘子2232
使用Softmax层输出分类的概率值，将预测结果与标签值输入损失层，然后通过随机梯度下降法（Stochastic Gradient Descent, SGD）迭代更新网络参数。Softmax公式（省略偏置项）为
（1）式中，xl为第l个样本；yl为网络预测
的类， yl=i表示样本xl被预测为第i类；
表示样本xl属于第i类的概率值；k为总的类数；
为与最后一层全连接层输出的向量中第i个量相关的权重参数矩阵的转置。
损失函数采用负对数似然函数，即
（2）式中，m为一个批次中的样本数；Yl为样本xl的标签。
为示性函数，当
时为1，否则为0。设s1、s2和s3为一个批次中的总样本数、清晰图片样本数和绝缘子图片样本数，
为样本xl的第n个标签，
为分类器n预测xl的类，则损失函数Ln为
（3）式（3）中mn和kn随n变化的取值见表2。
表2 mn和kn的取值
Tab.2 Values of mn and kn
n1234 mns1s2s2s3 kn2232
总损失函数L为
（4）综合特征提取能力、参数量和计算量的考虑，本文采用Resnet网络[25]作为特征提取网络进行实验。Resnet网络在2015年的ILSVRC(imagenet large scale visual recognition challenge)中的分类任务上取得第一，其引入了短路连接结构构成残差模块，解决了卷积神经网络训练中可能出现的梯度消散问题和当网络较深时出现的网络退化问题，使更深的卷积神经网络得以实现。考虑任务的难度，网络1选择Resnet-18结构，网络2和网络3选择Resnet-50结构，并改动了全连接层的参数，网络结构及参数见表3。由于网络3的全局平均池化层输出的特征向量与网络2的进行级联，因此对于全连接层4，其输入为4 096维的特征向量。倒数第二层之前的全连接层的输出按顺序经过BN层、ReLU激活函数和概率为0.5的dropout层后输入下一层。倒数第二层的全连接层的输出按顺序经过BN层和ReLU激活函数后输入最后一层。最后一层全连接层后为Softmax层，输出各个类概率值。
表3 网络结构及参数
Tab.3 Network structure and parameters
共享层输入层输入图片3×224×224 卷积层卷积核大小7×7，通道数64，步长2 池化层卷积核大小3×3，步长2 CNN1CNN2CNN3 子网络残差模块 残差模块 残差模块 残差模块— 全局平均池化层全局平均池化全局平均池化全局平均池化 全连接层1全连接层2全连接层3全连接层4 全连接层512~2562048~5122048~5124096~1024 全连接层256~128512~128512~2561024~512 全连接层128~2128~3256~128512~256 全连接层——128~4256~3 SoftmaxSoftmaxSoftmaxSoftmaxSoftmax
以训练过程中测试得到的自爆绝缘子召回率结果最高的模型作为推断（inference）的模型。进行推断时，滑动窗口大小为124×124，步长为124。其中124为经验参数，124×124大小的图像块已能包含自爆缺陷区域。分别以坐标（0, 0）、（31, 31）和（62, 62）为起点对原始航拍图进行三次裁剪，裁剪三次可以避免绝缘子自爆缺陷位置处于两个滑动窗口之间导致模型无法做出正确分类的情况。将得到的图片块放大到224×224，输入训练好的模型中，若分类器1的分类结果为模糊图片，则另外三个分类器的分类结果无效。当分类器1的分类结果为清晰图片时，设置α和β作为权重对分类器2和分类器3的输出概率进行加权求和作为背景和绝缘子的最终概率。对于一个样本，设分类器2将其分类为绝缘子的分类概率为
，分类器3将其分类为正常绝缘子和自爆绝缘子的分类概率分别为
和
，则样本为绝缘子的概率
如式（5）所示，其中α和β的值根据分类器2和分类器3的具体性能确定（见4.4节）。
（5）现实中输电线路上的绝缘子占绝大多数且为正常绝缘子，自爆绝缘子航拍图片难以收集，导致自爆类数据量不足。公开数据集CPLID(Chinese power line insulator dataset)[17]中有600张正常绝缘子航拍图和248张有自爆缺陷的绝缘子图片，而248张自爆绝缘子航拍图片是由9张原始自爆绝缘子航拍图片经过数据增强得到的，自爆类数据量过少。训练数据不足将导致卷积神经网络过拟合，影响模型性能，因此对自爆类进行数据增强是必要的。经过观察，真实自爆绝缘子的特点是伞裙缺失而铁帽、钢脚仍然存留。根据其特点可通过对正常绝缘子航拍图像进行图像处理，以及通过合成自爆类图像对自爆类数据进行数据增强。
2.1.1 对正常绝缘子航拍图进行图像处理
使用图像处理软件对正常绝缘子的航拍图像进行图像处理以获得自爆绝缘子[26]，如图3所示。通过该方法获得的自爆绝缘子图片样本作为真实来源的样本用于卷积神经网络的训练和测试。
2.1.2 合成自爆类图片
利用3D建模软件进行绝缘子建模，并将仿真绝缘子与复杂背景融合实现自爆类数据增强。使用这种方法可得到伞形、角度、颜色和尺度等特征不同且具有自爆缺陷的大量绝缘子航拍图片。
图3 对正常绝缘子图像进行图像处理
Fig.3 Digitally altering the pictures of normal insulator
观察数据集CPLID中的绝缘子特征，伞形为双伞形或钟罩形，长度为500~800像素。按照这些特征在3D建模软件中进行绝缘子串建模与渲染。存在自爆缺陷的双伞形和钟罩形仿真绝缘子串如图4所示。
图4 双串仿真绝缘子
Fig.4 Double string simulation insulator
通过对数据集CPLID中的航拍图的分析，可见绝缘子航拍图的背景多为农田、山峦、河流及电力杆塔，因此搜集包含这些元素的航拍图，与仿真绝缘子串融合。由于无人机拍摄的图片相对模糊，因此融合后的图片要经过高斯模糊处理。实验中采用标准差为0.8、高斯核大小为
的高斯模糊。合成航拍图制作过程如图5所示。
图5 制作合成航拍图过程
Fig.5 The process of making synthetic aerial picture
图6为对正常绝缘子的航拍图像进行图像处理得到的自爆绝缘子（上栏）与特征相似的合成自爆绝缘子（下栏）的对比。可见与合成绝缘子图片相比，对正常绝缘子图像进行图像处理得到的图片更接近真实图片，但是绝缘子串的形态无法更改；合成自爆绝缘子图片方法能够获得与真实自爆绝缘子相似的形状特征，具有能快速获得大量不同伞形、不同角度、不同光照、不同尺度的具有自爆缺陷的绝缘子图片的优点。
图6 真实绝缘子图像与合成绝缘子图像
Fig.6 Real insulator images and synthetic images
由于合成图像在颜色上与真实的差异较大，因此对图片块进行灰度化处理。采用较小的滑动窗口对航拍图像进行裁剪再将图片块放大为224×224作为网络输入，以避免在下采样过程中损失过多图像特征。最后对图像块进行水平翻转和水平剪切变换的数据增强操作。模糊航拍图片由互联网收集得到，最终数据集中数据分布情况见表4。
表4 数据集中的数据分布
Tab.4 Distribution of picture samples in data set
样本来源模糊图片清晰图片 背景正常绝缘子自爆绝缘子 训练真实60001000167005534 合成00310613000 测试真实5000500046704380 合成0000
使用准确率评价分类器整体性能，使用精确率、召回率和F1分值评价对某一类别的分类性能。
本文使用torch7框架进行实验，操作系统为Ubuntu16.04，显卡驱动为Nvidia 384.130，GPU并行计算库为Cuda8.0。硬件配置中CPU为Intel(R) Xeon(R)Bronze 3106，主频1.70GHz，显卡为两块Nvidia GeForce GTX 1080ti。训练参数见表5。
表5 训练参数
Tab.5 Training parameters
参数数值 优化器sgd 学习率（learning rate）0.001
（续）
参数数值 学习率衰减（learning rate decay）0.000 001 权重衰减（weight decay）0.000 5 动量（momentum）0.9 每批次的样本数（batchSize）32 时期（epoch）150
为了验证本文提出的制作合成自爆类图像的数据增强方法的有效性，比较平面分类模型下未添加合成图片时与添加合成图片后的自爆类测试召回率。平面分类模型由特征提取网络和全连接层构成，其中特征提取网络为Resnet-50，全连接层结构同表3中的全连接层3，任务为模糊图片、背景、正常绝缘子和自爆绝缘子四分类任务。自爆类召回率的结果如图7所示。从图7中可以看出，不添加合成图片时，由于训练集中自爆绝缘子数据过少，特征泛化能力差，召回率较低且存在振荡；添加合成图片后自爆绝缘子召回率显著提高，且收敛较快，证明了制作合成自爆类图像的数据增强方法的有效性。
图7 测试中添加合成图片前后的自爆类召回率曲线
Fig.7 The recall rate curves of self-explosion category before and after adding synthetic pictures in testing
层次多任务模型四个任务的测试准确率随时期的变化曲线如图8所示。从图8中可看出，区分模糊图像和清晰图像的任务1的准确率最高，接近于1；区分背景和绝缘子的任务2的准确率收敛后达到了98%以上；任务3和任务4的主要分类难点为正常绝缘子和自爆绝缘子的分类，准确率最低，符合层次分类中粗粒度和细粒度的分类难度。由于CNN2与CNN3进行了特征融合，任务3和任务4的准确率曲线非常相近，且由于任务4只区分正常类和自爆类，任务4在准确率上整体略高于任务3，体现了层次分类优于平面分类。
图8 层次多任务模型四个任务的测试准确率曲线
Fig.8 Test accuracy curves of 4 tasks in hierarchical multi-task model
当任务4的准确率最高时的模型为最优模型，最优模型的四个任务的测试准确率见表6。
表6 最优模型的四个任务的测试准确率
Tab.6 Test accuracy of the four tasks of the optimal model
任务1任务2任务3任务4 测试准确率（%）99.9499.1198.4398.74
以任务4准确率最高时的模型为最优模型，为减少路径错误，找到最优模型下区分背景和绝缘子类的性能最优的权重α和β，令α从0开始以0.001的数值增加到1，β相应的从1开始以0.001的数值减小到0，得到(0,1)，(0.001,0.999)，…，(1,0)共1 001个权重组，其中权重组(0,1)表示分类结果完全根据任务3决定。每个权重组都对应一组绝缘子类的精确率、召回率及F1分值，画出绝缘子类的精确率、召回率和F1分值随权重组的变化曲线，如图9所示。以F1分值为最终评价指标，第335个权重组下F1分值为最高值，对应的权重为(0.334,0.666)，此时精确率为0.996 7，召回率为0.990 6，F1分值为0.993 6。
图9 绝缘子类分类结果随权重组的变化曲线
Fig.9 Variation curves of insulator classification results with weight
在得到最优权重后，综合四个任务的结果得到层次分类模型的自爆类分类性能。由被误分类为自爆类的模糊类、背景类和正常类的数量之和与自爆类中分类正确的数量计算自爆类精确率；由自爆类中分类错误的数量与分类正确的数量计算自爆类召回率。
为了验证本文提出的层次多任务模型的有效性，比较层次多任务模型、普通层次模型（即无任务3和特征融合结构）与平面分类模型对自爆类的分类性能，实验结果见表7。
表7 三种模型的自爆类分类性能实验结果
Tab.7 The experimental results of classification performance of the self-explosion class for three models
模型精确率(%)召回率(%)F1分值 平面分类模型99.8695.370.975 6 普通层次模型99.1196.980.980 3 层次多任务模型99.4497.210.983 1
由表7可以看出，三种模型的自爆类精确率都较高，说明被误分类为自爆类的图片数量较少。层次多任务模型及普通层次模型的自爆类F1分值高于平面分类模型，说明采用层次模型提高了卷积神经网络的特征学习能力，比平面分类模型更好地解决了绝缘子自爆缺陷检测问题。层次多任务模型在三个指标上优于普通层次模型，说明层次多任务学习模型采用的多任务学习以及特征融合方法使模型的分类能力得到提升。
为了解决自爆绝缘子图片数据不足的问题，本文提出利用3D软件进行绝缘子建模并与复杂航拍背景融合制作合成图片的方法。由于自爆绝缘子与正常绝缘子的区分难度更大，本文提出一种基于层次多任务深度学习的绝缘子自爆缺陷检测模型，并实现了对模糊图片和清晰图片的分类。针对层次分类模型中的路径错误问题，在层次分类模型中引入多任务学习，减少路径错误。实验结果显示，合成数据实现了数据增强，有效地防止了网络出现过拟合问题；选择合适的权重综合任务2和任务3的结果后减少了路径错误；层次多任务学习模型的自爆绝缘子分类召回率达到97.21%，F1分值达到0.983 1，相比于平面分类模型和普通层次模型更高，说明采用层次多任务模型的特征学习能力更强。
下一步应收集覆冰绝缘子等其他绝缘子缺陷类型图像，实现对各种绝缘子缺陷的有效检测。
参考文献
[1]王渊, 马国明, 周宏扬, 等. SF6/N2混合气体中直流叠加雷电冲击复合电压作用下绝缘子闪络特性[J].电工技术学报, 2019, 34(14): 3084-3092. Wang Yuan, Ma Guoming, Zhou Hongyang, et al. Flashover characteristics of spacers in SF6/N2-filled under composite voltage of DC and lightning impulse[J]. Transactions of China Electrotechnical Society, 2019, 34(14): 3084-3092.
[2]张汉花, 邹军, 田蓓, 等. 高空核爆电磁脉冲激励下架空输配电线路绝缘子闪络情况分析[J]. 电工技术学报, 2020, 35(2): 435-443. Zhang Hanhua, Zou Jun, Tian Bei, et al. Flashover possibility analysis of overhead power transmission and distribution line insulators with the excitation of high altitude electromagnetic pulse[J]. Transactions of China Electrotechnical Society, 2020, 35(2): 435-443.
[3]王旭红, 李浩, 樊绍胜, 等. 基于改进SSD的电力设备红外图像异常自动检测方法[J]. 电工技术学报, 2020, 35(增刊1): 302-310. Wang Xuhong, Li Hao, Fan Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-310.
[4]周封, 任贵新. 基于颜色空间变量的输电线图像分类及特征提取[J]. 电力系统保护与控制, 2018, 46(5): 89-98. Zhou Feng, Ren Guixin. Image classification and feature extraction of transmission line based on color space variable[J]. Power System Protection and Control, 2018, 46(5): 89-98.
[5]左国玉, 马蕾, 徐长福, 等. 基于跨连接卷积神经网络的绝缘子检测方法[J]. 电力系统自动化, 2019, 43(4): 101-108. Zuo Guoyu, Ma Lei, Xu Changfu, et al. Insulator detection method based on cross-connected convolutional neural network[J]. Automation of Electric Power Systems, 2019, 43(4): 101-108.
[6]王浩, 杨东升, 周博文, 等. 基于并联卷积神经网络的多端直流输电线路故障诊断[J]. 电力系统自动化, 2020, 44(12): 84-95. Wang Hao, Yang Dongsheng, Zhou Bowen, et al. Fault diagnosis of multi-terminal HVDC transmission line based on parallel convolutional neural network[J]. Automation of Electric Power Systems, 2020, 44(12): 84-95.
[7]冯双, 陈佳宁, 汤奕, 等. 基于SPWVD图像和深度迁移学习的强迫振荡源定位方法[J]. 电力系统自动化, 2020, 44(17): 78-91. Feng Shuang, Chen Jianing, Tang Yi, et al. Location method of forced oscillation source based on SPWVD image and deep transfer learning[J]. Automation of Electric Power Systems, 2020, 44(17): 78-91.
[8]李建闽, 林海军, 梁成斌, 等. 基于双分辨率S变换和学习向量量化神经网络的电能质量扰动检测方法[J]. 电工技术学报, 2019, 34(16): 3453-3463. Li Jianmin, Lin Haijun, Liang Chengbin, et al. Detection method of power quality disturbances based on double resolution S transform and learning vector quantization neural network[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3453-3463.
[9]向川, 王惠, 史鹏飞, 等. 基于改进脉冲耦合神经网络模型的真空电弧燃烧过程研究[J]. 电工技术学报, 2019, 34(19): 4028-4037. Xiang Chuan, Wang Hui, Shi Pengfei, et al. Research on the combustion process of vacuum arc based on an improved pulse coupled neural network model[J]. Transactions of China Electrotechnical Society, 2019, 34(19): 4028-4037.
[10]刘思言, 王博, 高昆仑, 等. 基于R-FCN的航拍巡检图像目标检测方法[J]. 电力系统自动化, 2019, 43(13): 162-172. Liu Siyan, Wang Bo, Gao Kunlun, et al. Object detection method for aerial inspection image based on region-based fully convolutional network[J]. Automation of Electric Power Systems, 2019, 43(13): 162-172.
[11]白洁音, 赵瑞, 谷丰强, 等. 多目标检测和故障识别图像处理方法[J]. 高电压技术, 2019, 45(11): 3504-3511. Bai Jieyin, Zhao Rui, Gu Fengqiang, et al. Multi-target detection and fault recognition image processing method[J]. High Voltage Engineering, 2019, 45(11): 3504-3511.
[12]Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[13]吴涛, 王伟斌, 于力, 等. 轻量级YOLOV3的绝缘子缺陷检测方法[J]. 计算机工程, 2019, 45(8): 275-280. Wu Tao, Wang Weibin, Yu Li, et al. Insulator defect detection method for lightweight YOLOV3[J]. Computer Engineering, 2019, 45(8): 275-280.
[14]Redmon J, Farhadi A. YOLOv3: an incremental improvement[EB/OL]. [2018-12-13]. https: //arxiv. org/pdf/ 1804. 02767. pdf.
[15]Bai Ruixian, Cao Hui, Yu Yajie, et al. Insulator fault recognition based on spatial pyramid pooling networks with transfer learning (Match 2018)[C]// 2018 3rd IEEE International Conference on Advanced Robotics and Mechatronics (ICARM), Singapore, 2018: 824-828.
[16]张倩, 王建平, 李帷韬. 基于反馈机制的卷积神经网络绝缘子状态检测方法[J]. 电工技术学报, 2019, 34(16): 3311-3321. Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.
[17]Tao Xian, Zhang Dapeng, Wang Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1486-1498.
[18]侯春萍, 章衡光, 张巍, 等. 输电线路绝缘子自爆缺陷识别方法[J]. 电力系统及其自动化学报, 2019, 31(6): 1-6. Hou Chunping, Zhang Hengguang, Zhang Wei, et al. Recognition method for faults of insulators on transmission lines[J]. Proceedings of the CSU-EPSA, 2019, 31(6): 1-6.
[19]潘哲, 张兴忠, 杨罡, 等. 弱监督细粒度分类在绝缘子故障识别中的应用[J/OL]. 山西大学学报: 自然科学版, 2020: 1-12. Pan Zhe, Zhang Xingzhong, Yang Gang, et al. Application of weakly supervised fine-grained classification in insulator fault identification[J]. Journal of Shanxi University: Natural Science Edition, 2020: 1-12.
[20]李喆, 李建增. 小型无人机模糊图像复原问题分析[J]. 兵器装备工程学报, 2019, 40(3): 165-168. Li Zhe, Li Jianzeng. Analysis of blurred image restoration for small UAV[J]. Journal of Ordnance Equipment Engineering, 2019, 40(3): 165-168.
[21]程海燕, 韩璞, 董泽, 等. 无人机航拍电力部件图像准确分类[J]. 计算机仿真, 2018, 35(8): 424-428. Cheng Haiyan, Han Pu, Dong Ze, et al. Accurate classification of UAV aerial images contained power facilities[J]. Computer Simulation, 2018, 35(8): 424-428.
[22]Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]//International Conference on MedicalImage Computing and Computer-Assisted Intervention, 2015: 234-241.
[23]赵其鲁, 李宗民. 基于深度多任务学习的层次分类[J].计算机辅助设计与图形学学报, 2018, 30(5): 886-892. Zhao Qilu, Li Zongmin. Deep multi-task learning for hierarchical classification[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(5): 886-892.
[24]Yan Zhicheng, Zhang Hao, Piramuthu R, et al. HD-CNN: hierarchical deep convolutional neural networks for large scale visual recognition[C]//Proceedings of International Conference on Computer Vision, Los Alamitos: IEEE Computer Society Press, 2015: 2740-2748
[25]He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, DOI: 10. 1109/CVPR. 2016. 90
[26]Han Jiaming, Yang Zhong, Zhang Qiuyan, et al. A method of insulator faults detection in aerial images for high-voltage transmission lines inspection[J]. Applied Sciences, 2019, 9(10): 2009.
Insulator Self-Explosion Defect Detection Based on Hierarchical Multi-Task Deep Learning
Abstract Insulators are important and widely used devices in power lines. With the rapid popularization of unmanned aerial vehicles in recent years, detecting insulator self-explosion defect from aerial images has become a hot issue. In aerial images, distinguishing self-explosion insulators from normal insulators is more difficult than from other contents. The paper proposed an insulator self-explosion defect detection model based on hierarchical multi-task deep learning, using a dedicated convolutional neural network to distinguish self-explosion insulators from normal insulators. To improve the classification accuracy, multi-task learning and feature fusion method were used in the hierarchical model. Furthermore, in view of the lack of self-explosion insulator data, the paper proposed to use synthetic pictures for data augmentation. The experimental results show that adding synthetic pictures can effectively improve the recall rate of self-explosion class, and the hierarchical multi-task learning model achieves stronger classification performance than the flat classification model and the ordinary hierarchical model.
Keywords：Insulator, multi-task learning, defect detection, deep learning, hierarchical classification
中图分类号：TP216
DOI:10.19595/j.cnki.1000-6753.tces.L90049
国家自然科学基金（51774088）和黑龙江省自然科学基金（LH2019E016）资助项目。
收稿日期 2020-06-10
改稿日期 2020-12-09
徐建军 男，1971年生，教授，博士生导师，研究方向为电力系统安全稳定。E-mail：xujj@nepu. edu. cn
闫丽梅 女，1971年生，教授，博士，研究方向为电力系统安全稳定。E-mail：yanlimeidaqing@163.com（通信作者）
（编辑 郭丽军）