基于YOLO-2MCS的输电线路走廊隐患目标检测方法

郑含博1 胡思佳1 梁炎燊1 黄俊杰2 汪 涛2

(1. 广西电力系统最优化与节能技术重点实验室(广西大学) 南宁 530004 2. 国网湖北省电力公司电力科学研究院 武汉 430077)

摘要 输电线路在跨越高速铁路、高速公路和重要输电通道场景下易受到外力破坏,可能严重影响输电线路安全可靠运行。针对此问题,该文通过构建输电线路走廊隐患目标数据集,提出新模型YOLO-2MCS用于输电线路走廊隐患目标检测。使用混合数据增强策略对数据集进行有效扩充,以提高模型在复杂场景下的泛化性和鲁棒性;在EfficientRep骨干网络引入卷积注意力机制模块,有效提升模型对多尺度目标的检测能力;构建使用softplus激活函数的双向特征金字塔结构加强模型特征学习能力;在检测头使用SIoU损失函数进一步提升模型检测精度。实验结果表明,相较于原YOLOv6网络,该模型在0.5:0.95的严苛阈值下平均精度均值提升4.4%;将该模型与主流的检测模型Faster R-CNN、YOLOX、YOLOv5和YOLOv7分别进行对比评估,该模型的检测精度、检测速度、模型复杂度均获得最优性能,其平均检测速度高达约300帧/s,且内存仅为40.7 MB,同时满足在边缘计算设备上部署的要求。

关键词:输电线路走廊 防外破 目标检测 注意力机制

0 引言

输电线路作为电力系统的重要组成部分,承担着电能传输的作用,其运行状态直接影响电网整体运行的稳定和安全[1]。随着我国一系列超/特高压输电工程的建成或改造,电网公司曾专门出台相关文件[2],明确规定输电线路工程跨越高速铁路、高速公路和重要输电通道(简称“三跨”)属于四级以上安全风险施工。在输电线路“三跨”覆盖范围不断扩大的同时,输电线路走廊也存在着诸多潜在安全风险问题,极易引发例如违规施工机械进入输电线路危险区间或触碰输电线路等外力破坏事件,如图1所示。此类事故的发生可能造成输电设备损坏、输电线路跳闸停电,甚至引发人员意外触电等安全事故[3]。根据2021年电网公司统计数据[4],在725起电网/设备事件中,由环境因素引发的生产安全事件共228起,占比超过30%;其中外力破坏导致的安全生产事件共119起,占受环境因素引发的生产安全事件的52%。同时,外力破坏造成的输电线路故障重合闸动作成功率较低,会对电网安全稳定运行造成严重影响[5]。因此,对隐患目标进行准确识别和精确定位是必要的输电线路巡查检修措施[6]

width=198.75,height=98.25

图1 输电线路受到外力破坏的事故场景

Fig.1 Accident scenes in which transmission lines are damaged by external force damage

输电线路走廊是指沿高压架空电力线路边导线,向两侧伸展规定宽度的线路下方带状区域。输电线路的巡查检修是通过获取输电线路走廊中架空电力线、绝缘子、建筑物、过往车辆等对象的图像及空间数据信息,实现输电设备状态的监测和故障诊断,观测并判断输电线路走廊中的潜在隐患。我国现有的超/特高压输电线路巡检方式包括人工巡检、机器人巡检、直升机巡检[7]及无人机巡检[8]等多种方式,并逐渐形成“无人机巡检为主,人工巡检为辅”的输电线路巡检及运维模式。但是无人机巡检也存在操作难度较大、飞行距离有限、野外不确定因素较多等限制,不适宜大范围推广。在此背景下,使用固定位置的单目相机作为视觉终端监拍输电线路走廊,再利用计算机视觉技术对实时监测数据进行信息提取[9],准确地识别出障碍物,是输电线路走廊防外破研究的一个重要方向[10]

随着计算机视觉技术不断发展,以深度卷积神经网络(Deep Convolutional Neural Network, DCNN)为基础的一系列深度学习算法在目标检测方面取得了引人瞩目的成果[11],在输电线路隐患目标检测领域也有一定的应用[12]。当前基于DCNN的主流目标检测算法,根据有无候选框生成阶段分为双阶段(two-stage)检测网络和单阶段(one-stage)检测网络两大类。

1)双阶段检测网络:首先获取目标候选区域,然后提取目标特征、分类、边界框回归,此类算法具有较高的准确率。典型的two-stage算法包括快速区域卷积神经网络(Faster Region Convolutional Neural Network, Faster R-CNN)[13]、Mask R-CNN[14]、Cascade R-CNN[15]等。文献[16]提出一种基于Mask R-CNN的输电线路绝缘子缺陷检测改进模型,与原始模型相比,在多故障目标和复杂背景条件下仍可实现对缺陷目标的准确定位和分割;但受改进策略影响,过高的浮点运算率不利于模型的实际应用部署。

2)单阶段检测网络:直接在特征提取网络后分类与边界框回归,输出预测目标位置与所属类别,典型算法包括YOLO(you only look once)系列[17-22]、SSD(single shot multibox detector)[23]等。文献[24]针对电力设备的红外图像检测,提出了一种平均精度表现良好的改进YOLOv3电力设备红外目标检测模型,但检测速度仍略低于原始模型。文献[25]在原YOLOv5算法的基础上引入注意力机制模块,以增强模型的特征提取能力和不同环境下对于隐患目标的识别能力,但没有考虑模型复杂度问题。

基于深度学习的目标检测算法依托数据集得以训练[26],但是大部分现役输电线路走廊的巡检图像并未公开,而当前有限的公开数据集主要集中于电力线[27]、绝缘子[28]等设备的缺陷诊断,极少数涉及外破隐患目标。针对现有输电线路巡检方法的局限性,本文提出基于YOLO-2MCS的输电线路走廊隐患目标检测方法:

1)采用Mosaic+Mixup的混合数据增强策略[29]对数据集进行有效扩充,避免场景单一可能造成的模型训练过拟合问题。

2)在EfficientRep骨干网络引入卷积注意力机制模块(Convolutional Block Attention Module, CBAM)[30],减少原骨干网络提取过程中的特征损失,提升模型对隐患目标的识别和定位能力。

3)构建使用softplus激活函数[31]的双向特征金字塔结构(Feature Pyramid Network, FPN)[32]颈部,加强模型特征学习能力和训练过程中的收敛速度。

4)在检测头部分引入SIoU损失函数[33],通过高效反向传播优化模型参数,有效提高模型检测精度和检测速度。

1 YOLOv6基线网络

1.1 YOLOv6结构

相较于YOLOv5、YOLOX和PP-YOLOE[34]等具有代表性的YOLO系列算法,YOLOv6在骨干网络(Backbone)、颈部(Neck)、检测头(Head)以及训练策略等方面进行改进,在COCO公共数据集上有较好的表现效果[35]

YOLOv5和YOLOX基于CSPNet[36]搭建骨干网络和颈部,YOLOv6则依托于RepVGG-style[37]结构,设计出更高效、硬件更友好的骨干网络EfficientRep。检测头部分沿用了YOLOX中的解耦头(Decoupled Head)结构并稍作修改,优化升级为更简洁有效的Efficient Decoupled Head,在维持精度的同时进一步降低了由解耦头带来的额外延时损失。在训练策略上,YOLOv6采用无先验框的anchor-free方法,避免多目标检测任务中不便设计超参数的问题;辅以SimOTA标签分配策略,进一步提高检测精度。

1.2 RepVGG-style结构

RepVGG-style结构是在训练时采用多分支拓扑,在推理时等效融合为单路的可重参数化结构。图2展示了包含一次下采样和一个RepVGG模块的RepVGG-style网络结构。

参考ResNet、DenseNet[38]等模型,在训练时采用多分支结构能够增加模型的表征能力,因此RepVGG-style结构在每一个RepVGG模块中并行三个分支:一个卷积核大小为3×3的主分支,一个卷积核大小为1×1的捷径分支(shortcut)以及一个直连(identity)分支,如图2a所示。但是,多分支结构在推理时需要先分别计算各分支结果再做进一步融合,导致复杂度不同的分支不能同步完成计算,硬件算力得不到充分利用。因此,在推理时将多分支结构转换为单路结构能够获得更好的计算速度和计算效率,同时减少硬件的内存占用,故RepVGG-style结构具有网络表征能力强和硬件计算能力好的特点,如图2b所示。

width=183,height=149.25

图2 RepVGG-style在不同阶段时的网络结构

Fig.2 Structure of RepVGG-style network

2 YOLO-2MCS网络

针对输电线路分布广泛、沿线地形复杂多样、外破事故存在偶发性等特点,本文采集并构建输电线路走廊监拍数据集,设置起重机(crane)、卡车(truck)和汽车(car)三类隐患目标。针对输电线路走廊外破隐患目标特点及监拍设备硬件条件,构建YOLO-2MCS目标检测网络模型,结构如图3所示。

2.1 混合数据增强策略

受限于拍摄手段和硬件条件,本文所构建的数据集场景较为单一,且其中个别隐患目标姿态相似。为避免因数据集缺陷而导致的训练过拟合,本文采用Mosaic和Mixup混合数据增强策略对数据集进行扩充强化。

YOLO-2MCS网络结构如图4所示,Mosaic数据增强图像由随机四张原始图像经过缩放、切割、拼接并筛选处理缺陷目标框后形成。处理后的增强图像有更大概率包含小尺寸隐患目标,在扩展数据集数量的同时有利于提升模型对小尺寸目标的分类和定位性能。

width=456,height=342.3

图3 YOLO-2MCS网络结构

Fig.3 Structure of YOLO-2MCS

width=468.75,height=198.75

图4 针对输电线路走廊隐患目标的Mosaic数据增强

Fig.4 Mosaic data augmentation for hidden danger objects in transmission line corridors

Mixup是一种采用线性插值方式的数据增强算法,常用于神经网络模型训练中。针对输电线路走廊隐患目标的Mixup数据增强如图5所示,通过混合两张原始图像及标签,在一定程度上扩展训练数据的分布空间,从而有效提升模型的泛化性和鲁棒性。

width=230.4,height=130

图5 针对输电线路走廊隐患目标的Mixup数据增强

Fig.5 Mixup data augmentation for hidden danger objects in transmission line corridors

2.2 注意力机制模块

卷积注意力机制模块(CBAM)是一种用于前馈卷积神经网络的简单而有效的注意力机制模块。卷积注意力机制模块主要从通道和空间两个独立的维度推断注意力图,并结合输入特征图,将通道注意图和空间注意图依次加权后进行自适应特征优化。

CBAM结构如图6所示,其由通道注意力模块(Channel Attention Module, CAM)和空间注意力模块(Spatial Attention Module, SAM)两部分组成。设输入特征图为width=50.1,height=13.25C为通道数,H为高度,W为宽度),经通道注意力模块得到一维通道注意力图width=50.1,height=16.15和二维空间注意力图width=53.55,height=16.15,最终输出特征图width=15,height=12.1。整体计算过程表达式为

width=73.15,height=15(1)

width=78.3,height=15 (2)

式中,width=10.95,height=12.1为矩阵逐元素相乘。

width=216.75,height=101.25

图6 CBAM结构

Fig.6 Structure of CBAM

CAM首先将输入的特征图F分别经过最大池化(MaxPool)和平均池化(AvgPool)操作,两个并行的池化层可以提取到更全面、更丰富的高层语义特征信息。输入的特征图F在空间维度上被压缩为聚合特征映射的一维矢量,送入共享多层感知机,通过Sigmoid函数激活后得到一维通道注意力图。

然后,经由CAM得到的一维通道注意力图MC与输入特征图F结合后得到width=13.8,height=12.1并输入SAM。与CAM相同,输入的特征图width=13.8,height=12.1同样分别经过最大池化和平均池化操作,提取出两个大小为1×H×W的二维张量,通过堆叠和激活操作后得到二维空间注意力图MS

CBAM作为一种通用的注意力机制模块,适配于大部分卷积神经网络架构,可以集成在YOLO- 2MCS目标检测网络的EfficientRep骨干网络中的不同位置,在不过度影响网络复杂度的同时提高网络性能。

2.3 双向特征金字塔结构

多尺度的特征集成是目标检测网络关键且有效的组成部分。特征金字塔网络(FPN)自顶而下地聚合高层和低层语义特征,提供更准确的定位;PANet在FPN的基础上额外增加了一条自底向上的路径,缩短了底层语义特征和顶层语义特征间的信息路径,便于底层特征的信号传播。YOLO-2MCS颈部网络在经典PANet网络的基础上引入BiC模块,在不增加过多计算量的同时融合相邻三层特征语义信息,构建有利于小尺度目标检测的双向特征金字塔结构颈部,并使用softplus激活函数替换卷积模块中的ReLU激活函数。

softplus激活函数见式(3),其函数图像如图7所示。softplus激活函数在保持ReLU系列稀疏激活性的同时更为平滑,可有效地避免梯度激增对模型训练过程造成的干扰,使模型在训练过程中获得更好更快的收敛效果。

width=92.7,height=16.15 (3)
width=173.25,height=111

图7 激活函数图像

Fig.7 Graph of activation function

2.4 SIoU损失函数

在目标检测任务中,输入的特征值通过模型得到预测值,这个过程称为前向传播;将预测值和真实值的差值减小,需要更新模型中的参数,这个过程称为反向传播。损失函数基于这两种传播,起到承上启下的作用,接收模型的预测值并计算出差值,为反向传播提供输入数据。常用的损失函数如CIoU[39]、EIoU[40]等,一般通过对比预测框和真实框的距离、重叠区域和纵横比等位置信息进行预测与改进。本文所采用的SIoU损失函数则在此类交并比损失函数的基础上,进一步考虑预测框回归真实框时两框中心点间的向量角度,使预测框得以快速移动到距离最近的坐标轴,再由单一坐标(xy)回归,有效减少损失函数中的自由变量,提高目标检测模型的分类准确率。

角度代价函数的提出,改变了传统损失函数多以目标检测框中心点间“距离”为主要变量的特点,将减小直线“距离”转换为减小与相邻坐标轴间的角度,进而沿着相关坐标轴持续减小预测框与真实框间的距离。角度代价函数计算示意图如图8所示,若预测框中心点Bpr(xBpr, yBpr)与真实框中心点B(xB, yB)间的向量角度α≤π/4,收敛过程将首先最小化α;反之,则最小化β。为实现这一点,引入并定义角度代价函数为

width=160.15,height=28.8 (4)

其中

width=167.65,height=40.3 (5)

width=186,height=177

图8 角度代价函数计算示意图

Fig.8 Schematic of angle cost function

根据式(4),当α趋近于0时,角度代价函数对于损失函数的贡献更大;反之,当α趋近于π/4时,距离代价函数等传统的以“距离”作为主要变量的代价函数的贡献值更大。引入角度代价函数的检测头可以使训练过程中的损失函数尽快收敛并完成反向传播的参数调节,网络模型可获得更好、更快的目标定位性能。

3 实验与结果分析

3.1 实验环境和训练策略

为保证实验数据的可靠性,本文中各项实验的训练和测试均在版本为Pytorch 1.8.1和CUDA 10.1的深度学习服务器进行,其设备相关配置情况见表1。输入训练样本图像尺寸为640×640的RGB彩色图像,其中动量设置为0.9,初始学习率设置为0.01,权重衰减为0.000 5;每个训练批次训练32个样本,共训练400个批次。在模型训练后期关闭数据增强策略,可使检测器在真实数据集中完成最终的收敛,故在第385批次时设置关闭数据增强。

表1 服务器配置

Tab.1 Configuration of server

设备型号 操作系统Ubuntu 18.04LTS CPUIntel Xeon W-2145 GPUNVIDIA Geforce RTX 2080Ti×2 RAM16 GB DDR4×4 内存1 TB SATA

目标检测任务中,损失函数一般由分类损失、框回归损失和可选对象损失组合而成。在YOLOv6基线网络的损失函数消融实验中已证实,对象损失函数会给网络精度带来负增益,故在总损失函数中去除对象损失函数。训练损失函数曲线如图9所示,训练过程中的分类损失函数(cls_loss)和使用SIoU函数的框回归损失函数(iou_loss)在关闭数据增强策略后,都有显著降低。

width=221.25,height=125.25

图9 训练损失函数曲线

Fig.9 Graph of loss function during training

3.2 数据集

由于目前暂无公开的输电线路走廊隐患目标数据集,因此本文首先通过监拍装置采集多场景下的输电线路走廊监拍图像,根据输电线路走廊环境特点和外破事故发生特点,设置三类典型外破隐患目标,进而筛选并标记原始图像集。

本文使用labelme软件对数据集中未被遮挡且可能造成有效威胁的隐患目标进行分类并标记,并将图像数据与标签文件按照YOLO数据集格式进行转换并整合,生成输电线路走廊隐患目标数据集。本文所构建的输电线路走廊隐患目标数据集共包含1 724张图片,按照8:2的比例分为训练集和验证集/测试集。数据集中包含的标签信息见表2。

表2 数据集

Tab.2 Dataset

隐患目标类型训练集标签数量验证集/测试集标签数量 起重机(crane)1 159588 卡车(truck)2 086376 汽车(car)3 997448

3.3 评价指标

对于输电线路走廊的外破隐患目标检测算法的评估,需要同时考虑模型的检测精度、检测速度、内存大小等指标。本文采用不同阈值下的平均精度均值(mean Average Precision, mAP)评估模型检测精度;使用1 s内识别的图像数/帧数(frames per second, fps)评估模型检测速度;使用模型内存大小、参数量、浮点运算次数评估模型复杂度。本次实验共设置三类外破隐患目标,故当类别数为3时的mAP计算过程为

width=53.55,height=25.9 (6)

width=55.85,height=25.9(7)

width=66.8,height=21.9(8)

width=78.3,height=28.8 (9)

式中,P为准确率;R为召回率;TP为识别正确的样本数量;FP为误识别为其他类别的样本数量;FN为将其他类别误识别为本类别的样本数量;AP为各类别的平均精度。

3.4 实验结果及分析

3.4.1 消融实验

本文提出的YOLO-2MCS输电线路走廊隐患目标检测模型在数据预处理部分采用融合Mosaic和Mixup数据增强算法的混合数据增强策略,在骨干网络引入卷积注意力机制模块,将双向特征金字塔结构中的ReLU激活函数替换为softplus激活函数,并在检测头部分使用SIoU损失函数。为评估本文所采用的各项改进策略对于目标检测算法的影响程度,在本文所构建的输电线路走廊隐患目标数据集中采用消融实验的方式,定量地分析不同改进策略的表现效果,消融实验结果见表3。

表3 消融实验结果

Tab.3 Results of ablation experiment

编号改进策略mAP@0.5:0.95(%)mAP@0.5(%)检测速度/(帧/s)参数量/106浮点运算次数/GFLOPs内存/MB AYOLOv664.588.4284.118.5045.1740.6 BA+Mosaic65.5(+1.0)88.2(-0.2)289.618.5045.1740.6 CB+Mixup66.9(+2.4)89.4(+1.0)286.518.5045.1740.6 DC+CBAM(C3)66.8(+2.3)90.0(+1.6)284.918.5145.1840.6 EC+CBAM(C4)66.0(+1.5)90.1(+1.7)295.018.5145.1840.7 FC+CBAM(C5)67.5(+3.0)90.2(+1.8)289.018.5445.1940.7 GF+softplus67.6(+3.1)90.3(+1.9)294.118.5445.1940.7 HG+SIoU68.9(+4.4)90.9(+2.5)300.3(+16.2)18.54(+0.04)45.19(+0.02)40.7(+0.1)

实验结果表明,依次加入Mosaic、Mixup数据增强算法后,使用混合数据增强策略的模型在严苛的0.5:0.95阈值下,精度指标提高2.4%。分别在EfficientRep骨干网络的不同位置(图3中C3/C4/C5)插入CBAM,对比实验结果表明在骨干网络的C5位置插入时,精度提升效果最为显著。激活函数更换为softplus函数后,模型检测精度进一步提高,且检测速度显著提升。在检测头部分引入SIoU损失函数,模型精度在不同交并比阈值下分别提升4.4%和2.5%,检测速度高达约300帧/s。

由于改进策略对模型结构存在一定的增改,故模型参数量、浮点运算数和内存均存在可忽略不计的小幅上涨,但检测速度指标仍然提升,达到约300帧/s的优秀表现效果。总体而言,本文所采用的改进策略在不过分影响模型复杂度的同时,能够显著地提高模型检测精度和检测速度各项指标,达到较好的改进效果。

图10展示了YOLO-2MCS目标检测模型的可视化检测效果。其中图10a和图10c为带有标签框的原始图像,图10b和图10d为目标检测结果。图中边界框上的英文为模型识别的隐患目标类别,数字为模型预测该类别的置信度。可以看出,本文提出的目标检测模型不仅可以满足特定监拍场景下外破隐患目标检测需求,并且在背景干扰物较多、目标尺寸较小、目标被遮挡等情况下仍然能对外破隐患目标进行精准定位和有效分类。

3.4.2 对比实验

为验证改进模型的有效性和优越性,将本文提出的YOLO-2MCS网络模型与当前主流的目标检测模型Faster R-CNN、YOLOX、YOLOv5和YOLOv7进行对比实验。对比实验在实验室专用服务器中进行,各对比模型均使用相同的超参数和本文所构建的输电线路走廊隐患目标数据集进行训练,对比实验结果见表4。

width=175.65,height=452.15

图10 本文方法在部分图像上的检测结果

Fig.10 Detection results of the proposed method in some images

图11展示了各对比实验模型在含被遮挡目标图像上的可视化检测效果。其中,Faster R-CNN和YOLOX模型并未检测出被遮挡目标,YOLOv5检测出被遮挡目标置信度为0.70,YOLOv7检测出被遮挡目标置信度为0.49,均低于本文提出模型。

表4 对比实验结果

Tab.4 Results of comparative experiment

网络模型mAP@0.5:0.95(%)mAP@0.5(%)检测速度/(帧/s)参数量/106浮点运算数/GFLOPs内存/MB Faster R-CNN62.588.845.4841.591.41333.5 YOLOX64.486.696.158.9733.51108.2 YOLOv566.386.763.3046.1107.792.80 YOLOv768.390.6222.236.5103.274.80 本文方法68.990.9300.318.545.1940.70

width=378.75,height=365.25

图11 对比实验在含被遮挡目标图像上的检测结果

Fig.11 Detection results of comparative experiment on images containing occluded objects

对比实验结果表明,本文提出方法的检测精度和检测速度各项指标均显著优于Faster R-CNN、YOLOX、YOLOv5和YOLOv7网络模型,且能较好地检测出被遮挡目标,证明本文提出方法具有良好的表现性能,能够更好更快地识别和定位输电线路走廊外破隐患目标,满足实际工业部署需求。在模型复杂度方面,虽然本文方法在参数量和浮点运算数指标上略逊于YOLOX网络模型,但内存明显小于其他模型,证明YOLO-2MCS网络中的RepVGG-style在推理时的单路结构能够在有效减少内存占用的同时加快推理速度,使得模型更适合部署在算力有限的边缘端设备,满足输电线路走廊巡查检修方法智能化发展的需求。

4 结论

针对输电线路走廊外破隐患目标的识别和定位,本文采集并构建了构建输电走廊隐患目标数据集,提出一种基于YOLO-2MCS的输电线路走廊隐患目标检测方法,主要通过数据增强、引入注意力机制和更换损失函数的方式对YOLOv6模型进行改进。改进后的模型针对数据集中设置的三类外破隐患目标(起重机、卡车和汽车)进行训练,并设置消融实验和对比实验。结果表明:

1)本文模型检测三类外破隐患目标的均值平均精度高达90.9%,检测速度约为300帧/s,内存仅为40.7 MB,与YOLOv6模型相比可获得较好的改进效果。

2)在同一实验平台上进行训练测试,本文模型的检测精度、检测速度和内存大小等指标均优于Faster R-CNN、YOLOX、YOLOv5和YOLOv7模型。

综上所述,本文模型不仅可以准确地识别输电线路走廊监拍场景下的外破隐患目标类别,并且能快速精准定位隐患目标位置,同时满足安装在移动边缘端设备的需求,为输电线路走廊防外破工作提供了智能化新方法。未来工作开展方向应当持续聚焦输电线路走廊隐患目标数据集的数量扩充和隐患类别扩充,同时针对黑夜、雨天、雾天等特殊天气场景对模型进行进一步改进,以满足实际应用场景中全天候监拍需求。

参考文献

[1] 和敬涵, 罗国敏, 程梦晓, 等. 新一代人工智能在电力系统故障分析及定位中的研究综述[J]. 中国电机工程学报, 2020, 40(17): 5506-5516.

He Jinghan, Luo Guomin, Cheng Mengxiao, et al. A research review on application of artificial intelligence in power system fault analysis and location[J]. Proceedings of the CSEE, 2020, 40(17): 5506-5516.

[2] 国家电网公司. 架空输电线路“三跨”重大反事故措施(试行)[Z]. 2016-03-01.

[3] 沙洁韵. “三跨”输电线路智慧巡检中的车辆检测技术研究[D]. 西安: 西安电子科技大学, 2021.

Sha Jieyun. Research on vehicle detection technology in intelligent inspection of “three span” transmission line[D]. Xi’an: Xidian University, 2021.

[4] 国家电网有限公司安全监察部. 国家电网有限公司2021年生产安全事故事件分析报告[M]. 北京: 中国电力出版社, 2022.

[5] 陆佳政, 周特军, 吴传平, 等. 某省级电网220kV及以上输电线路故障统计与分析[J]. 高电压技术, 2016, 42(1): 200-207.

Lu Jiazheng, Zhou Tejun, Wu Chuanping, et al. Fault statistics and analysis of 220 kV and above power transmission line in province-level power grid[J]. High Voltage Engineering, 2016, 42(1): 200-207.

[6] 刘传洋, 吴一全. 基于深度学习的输电线路视觉检测方法研究进展[J]. 中国电机工程学报, 2023, 43(19): 7423-7446.

Liu Chuanyang, Wu Yiquan. Research progress of vision detection methods based on deep learning for transmission lines[J]. Proceedings of the CSEE, 2023, 43(19): 7423-7446.

[7] 彭向阳, 易琳, 钱金菊, 等. 大型无人直升机电力线路巡检系统实用化[J]. 高电压技术, 2020, 46(2): 384-396.

Peng Xiangyang, Yi Lin, Qian Jinju, et al. Practical research on patrol inspection system of electric power line based on large scale unmanned helicopter[J]. High Voltage Engineering, 2020, 46(2): 384-396.

[8] 仲林林, 胡霞, 刘柯妤. 基于改进生成对抗网络的无人机电力杆塔巡检图像异常检测[J]. 电工技术学报, 2022, 37(9): 2230-2240, 2262.

Zhong Linlin, Hu Xia, Liu Keyu. Power tower anomaly detection from unmanned aerial vehicles inspection images based on improved generative adversarial network[J]. Transactions of China Electrotechnical Society, 2022, 37(9): 2230-2240, 2262.

[9] Li Jinheng, Shuang Feng, Huang Junjie, et al. Safe distance monitoring of live equipment based upon instance segmentation and pseudo-LiDAR[J]. IEEE Transactions on Power Delivery, 2023, 38(4): 2953-2964.

[10] 宋立业, 刘帅, 王凯, 等. 基于改进EfficientDet的电网元件及缺陷识别方法[J]. 电工技术学报, 2022, 37(9): 2241-2251.

Song Liye, Liu Shuai, Wang Kai, et al. Identification method of power grid components and defects based on improved EfficientDet[J]. Transactions of China Electrotechnical Society, 2022, 37(9): 2241-2251.

[11] Wu Xiongwei, Sahoo D, Hoi S C H. Recent advances in deep learning for object detection[J]. Neurocomputing, 2020, 396: 39-64.

[12] Zheng Hanbo, Cui Yaohui, Yang Wenqiang, et al. An infrared image detection method of substation equipment combining iresgroup structure and CenterNet[J]. IEEE Transactions on Power Delivery, 2022, 37(6): 4757-4765.

[13] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[14] He Kaiming, Gkioxari G, Dollár P, et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017: 2980-2988.

[15] Cai Zhaowei, Vasconcelos N. Cascade R-CNN: delving into high quality object detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018: 6154-6162.

[16] 苟军年, 杜愫愫, 刘力. 基于改进掩膜区域卷积神经网络的输电线路绝缘子自爆检测[J]. 电工技术学报, 2023, 38(1): 47-59.

Gou Junnian, Du Susu, Liu Li. Transmission line insulator self-explosion detection based on improved mask region-convolutional neural network[J]. Transa-ctions of China Electrotechnical Society, 2023, 38(1): 47-59.

[17] Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017: 6517-6525.

[18] Redmon J, Farhadi A. YOLOv3: an incremental improvement[EB/OL]. (2018-04-08)[2023-09-07]. https://arxiv.org/abs/1804.02767.

[19] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: optimal speed and accuracy of object detection [EB/OL]. (2020-04-23)[2023-09-01]. https://arxiv. org/abs/2004.10934.

[20] Ge Zheng, Liu Songtao, Wang Feng, et al. YOLOX: exceeding YOLO series in 2021[EB/OL]. (2021-08-06) [2023-09-01]. https://arxiv.org/abs/2107. 08430.

[21] Li Chuyi, Li Lulu, Jiang Hongliang, et al. YOLOv6: a single-stage object detection framework for industrial applications[EB/OL]. (2022-09-07)[2023-09-01]. https:// arxiv.org/abs/2209.02976.

[22] Wang C Y, Bochkovskiy A, Liao H Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[EB/OL]. (2022-07-06) [2023-09-01]. https://arxiv.org/abs/2207.02696.

[23] Liu Wei, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//Computer Vision-ECCV 2016, Amsterdam, the Netherlands, 2016: 21-37.

[24] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398.

Zheng Hanbo, Li Jinheng, Liu Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398.

[25] 龙乐云, 周腊吾, 刘淑琴, 等. 改进YOLOv5算法下的输电线路外破隐患目标检测研究[J]. 电子测量与仪器学报, 2022, 36(11): 245-253.

Long Leyun, Zhou Lawu, Liu Shuqin, et al. Identification of hidden damage targets by external forces based on domain adaptation and attention mechanism[J]. Journal of Electronic Measurement and Instrumentation, 2022, 36(11): 245-253.

[26] 唐志国, 曹智, 何宁辉. 卷积神经网络迁移学习在局部放电类型诊断中的应用[J]. 高压电器, 2022, 58(4): 158-164.

Tang Zhiguo, Cao Zhi, He Ninghui. Application of convolutional neural network transfer learning in partial discharge type diagnosis[J]. High Voltage Apparatus, 2022, 58(4): 158-164.

[27] Yetgin Ö E, Benligiray B, Gerek Ö N. Power line recognition from aerial images with deep learning[J]. IEEE Transactions on Aerospace and Electronic Systems, 2019, 55(5): 2241-2252.

[28] 李斌, 屈璐瑶, 朱新山, 等. 基于多尺度特征融合的绝缘子缺陷检测[J]. 电工技术学报, 2023, 38(1): 60-70.

Li Bin, Qu Luyao, Zhu Xinshan, et al. Insulator defect detection based on multi-scale feature fusion[J]. Transactions of China Electrotechnical Society, 2023, 38(1): 60-70.

[29] Pacal I, Karaboga D. A robust real-time deep learning based automatic polyp detection system[J]. Computers in Biology and Medicine, 2021, 134: 104519.

[30] Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]//Computer Vision – ECCV 2018, Munich, Germany, 2018: 3-19.

[31] Ding Xin, Wang Z J, Welch W J. Subsampling generative adversarial networks: density ratio estimation in feature space with softplus loss[J]. IEEE Transactions on Signal Processing, 2020, 68: 1910-1922.

[32] Wang Jingyao, Yu Naigong. UTD-Yolov5: a real-time underwater targets detection method based on attention improved YOLOv5[EB/OL]. (2022-07-02) [2023-09-01]. https://arxiv.org/abs/2207.00837.

[33] Gevorgyan Z. SIoU loss: more powerful learning for bounding box regression[EB/OL]. arXiv, 2022: 2205.12740. https://arxiv.org/abs/2205.12740.

[34] Xu Shangliang, Wang Xinxin, Lü Wenyu, et al. PP-YOLOE: an evolved version of YOLO[EB/OL]. (2022-05-25)[2023-09-01]. https://arxiv.org/abs/2203.16250.

[35] Li Chuyi, Li Lulu, Geng Yifei, et al. YOLOv6 v3.0: a full-scale reloading[EB/OL]. (2023-01-13)[2023-09-01]. https://arxiv.org/abs/2301.05586.

[36] Wang C Y, Mark Liao H Y, Wu Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, WA, USA, 2020: 1571-1580.

[37] Ding Xiaohan, Zhang Xiangyu, Ma Ningning, et al. RepVGG: making VGG-style ConvNets great again[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021: 13728-13737.

[38] Yin Lifeng, Hong Pujiang, Zheng Guanghai, et al. A novel image recognition method based on DenseNet and DPRN[J]. Applied Sciences, 2022, 12(9): 4232.

[39] Zheng Zhaohui, Wang Ping, Liu Wei, et al. Distance-IoU loss: faster and better learning for bounding box regression[EB/OL]. (2019-11-19)[2023-09-01]. https:// arxiv.org/abs/1911.08287.

[40] Yang Zuomin, Wang Xianlun, Li Jianguang. EIoU: an improved vehicle detection algorithm based on VehicleNet neural network[J]. Journal of Physics: Conference Series, 2021, 1924(1): 012001.

A Hidden Danger Object Detection Method for Transmission Line Corridor Based on YOLO-2MCS

Zheng Hanbo1 Hu Sijia1 Liang Yanshen1 Huang Junjie2 Wang Tao2

(1. Guangxi Key Laboratory of Power System Optimization and Energy Technology Guangxi University Nanning 530004 China 2. State Grid Hubei Electric Power Research Institute Wuhan 430077 China)

Abstract Transmission lines are vulnerable to external breakage when crossing high-speed railways, highways and important transmission channels (referred to as “Three-Span”). The occurrence of such accidents is highly random, and may causes damage to transmission equipment, power grid tripping, power outages, and even accidental electric shock and other safety accidents, which seriously affect the safe, reliable and stable operation of transmission line. The existing super-high/UHV transmission line inspection methods include manual inspection, robot inspection, helicopter inspection and UAV inspection, etc., and gradually form the maintenance and operation mode with UAV inspection as the main and manual inspection as the supplement. However, UAV inspection also has limitations such as difficult operation, limited flight distance, and many uncertainties in the field, which is not suitable for large-scale promotion.

Aiming at the limitations of the existing transmission line inspection methods and the lack of the external force damage object dataset, this paper collected and constructed a hidden danger object dataset of transmission line corridor, which contains three typical hidden danger object categories and 8 654 targets in total. The hybrid data augmentation strategy is used to effectively enrich the dataset to improve the generalization and robustness of the model in complex scenarios and avoid the model overfitting problem during training caused by a single scenario. The convolutional block attention module (CBAM) is introduced in the EfficientRep backbone network to reduce the feature loss in the extraction process of the original backbone network and improve the model's ability to identify and locate occluded objects. The bidirectional feature pyramid network using the softplus activation function enhance the feature learning ability of the model and the convergence speed during training. The SIoU loss function that defines the angle cost function is introduced in the detector, which can make the loss function in the training process converge as soon as possible and complete the parameter adjustment of backpropagation, so that the model can obtain better and faster object positioning performance.

The results of ablation experiments showed that the strategies proposed in this paper can significantly improve the detection accuracy and detection speed of the model without unduly affecting the complexity of the model in the hidden danger object dataset of transmission line corridor constructed in this paper. Compared with the original YOLOv6 model, the average accuracy of the new model is improved by 4.4% under the strict threshold of 0.5:0.95, the average detection speed is as high as about 300 frames per second, and the memory size is only 40.7MB. The results of comparative experiments showed that the detection accuracy and detection speed of the proposed method are significantly better than the Faster R-CNN, YOLOX, YOLOv5 and YOLOv7 under the same hyperparameters and the same dataset. The visualization results showed that when there is a hidden danger object that are occluded, the proposed model can also better identify and locate it.

Based on the above experimental results, the YOLO-2MCS model proposed in this paper can not only accurately identify the categories of external force damage in the transmission line corridor monitoring scene, but also quickly and accurately locate the hidden danger object, all while meeting the needs of devices installed on the mobile edge. The hidden danger object dataset of transmission line corridor constructed in this paper provides effective support for subsequent model training and iteration, and effectively develops the intelligent development of the prevention of external force damage in transmission line corridor.

keywords:Transmission line corridor, prevention of external force damage, object detection, attention mechanism

DOI: 10.19595/j.cnki.1000-6753.tces.230666

中图分类号:TM85

国家自然科学基金(52367014, 52277139)和广西科技基地和人才专项(2020AC19010)资助项目。

收稿日期 2023-05-14

改稿日期 2023-06-11

作者简介

郑含博 男,1984年生,副教授,博士生导师,研究方向为电力设备的状态评估和智能诊断。E-mail:hanbozheng@163.com(通信作者)

胡思佳 女,1999年生,硕士研究生,研究方向为电力设备的图像识别与智能诊断。E-mail:husj78@126.com

(编辑 李 冰)