基于目标像素宽度识别的电力设备红外成像单目测距改进算法

杨 帆1 王梦珺1 谭 天1 卢 旭2 胡 冉2

(1. 输配电装备及系统安全与新技术国家重点实验室(重庆大学) 重庆 400044 2. 深圳供电局有限公司电力科学研究院 深圳 518000)

摘要 拍摄距离是影响红外成像效果的主要因素之一,拍摄距离的精确测量是提升红外成像检测设备故障准确度的主要方法之一。针对红外热像仪在电力设备巡检过程中的自动测距需求,该文研究了一种基于目标像素宽度识别的电力设备红外成像单目测距改进算法,实现了利用红外图像中电力设备的像素宽度自动识别距离,解决了电力设备红外成像因拍摄角度变换及设备拍摄不全导致的距离识别难度大的问题,实现了12种常见电力设备的距离自动识别。首先基于SSD算法进行红外图像中设备类型的自动识别,获得设备类别及识别框的坐标;接着分析电力红外巡检的特点,提出基于目标像素宽度对单目测距算法进行改进;再通过图像处理识别设备的最小邻接矩形,计算目标的像素宽度;最终输出设备类型及距离。实验结果表明,该改进算法可以满足电力设备红外图像的单目测距需求。

关键词:电力设备 红外成像 单目测距 SSD

0 引言

变电站电力设备在长久的运行中不可避免地会产生故障,当其出现故障时最明显的特征是温度异常[1]。由于红外图像可以反映物体的热辐射[2],红外热像仪可以在不停电、不接触设备的情况下检测设备运行温度,监测设备运行状态[3-5],适合高电压带电体温度的实时监测[5]。所以近年来,红外热像仪在电力设备状态监测中已开展了大范围应用。

然而,尽管热成像在电力设备监测中的应用越来越多,但针对热成像的潜在缺陷和局限性的研究相对较少[6]。影响红外成像的因素有很多,其中,被测物体与相机之间的距离是影响红外热像仪温度值的主要因素之一。现场使用红外相机对电力设备进行测温时要求在安全范围内缩短与设备之间的距离。但因为变电站内电力设备一般都架设在高处,且设备本身尺寸较大,现场拍摄时检测人员与设备之间的距离一般都在4~15 m之间,对于某些高度大于6 m的高压设备,加上底部支架后,拍摄距离可能达到20 m以上[7]。E. Faye的研究表明,距离对温度的影响在20 m内最大,测温误差可达到4 ℃[8]

当前,适用于电气检测的热像仪产品在使用时需要自己输入拍摄距离,每拍摄一个设备需要重新输入距离参数,且仅可以设置为整数,为了方便拍摄,检测人员根据目测设置一个平均距离后便不再改变,导致红外图像数据并不准确。除此之外,当画面中拍摄的设备数量大于1时,每个设备的拍摄距离都不相同,认定为同一距离也会为成像结果带来误差。而根据现行的带电设备红外诊断应用规 范[8],需要通过设备的表面温度判断其是否存在缺陷,那么距离带来的测温误差会直接导致对电力设备运行状态的判断错误,严重时可能会导致人力物力的重大损失,影响整个电力系统的稳定[10-13]。要想实现电力设备的精确测温,有必要根据图像进行设备距离的识别。

基于视觉的测距算法根据摄像头数量分为单目测距和双(多)目测距两种[14],由于红外热像仪的限制,选择单目测距算法。近年来在可见光领域的单目测距算法[15-16]的研究已经很成熟,该算法具有感知视角大、感知灵活的特点[17-18],基于红外图像的汽车测距也具有良好的效果,可以在夜间和能见度低的条件下精准测距[19]。按照测量原理,单目测距算法可分为基于已知运动和已知物体的测量方 法[20],基于已知运动是指利用相机移动信息和相机得到的图片测得深度距离,已知物体是指在物体尺寸信息已知的情况下得到距离信息,对于电力设备的识别属于已知物体的情况。在电力设备测距方面,胡旻昊等[21]利用双目测距原理计算可见光巡检图中感兴趣区域的视差图,从视差图中获得电力设备的距离信息分布。另外,随着深度学习技术的快速发展,目标识别的精度已经大大提高[22],目标识别大多基于YOLO(you only look once)算法、SSD(single shot MultiBox detector)算法、R-CNN(region- convolutional neural network)算法等,这些算法对于电力设备均有较好的识别结果,其中SSD算法因其省略了预测框的筛选和优化过程,所以检测速度快、实时性更高。要想实现多种设备的测距,首先需要得到图像中的设备类型,那么必须将目标识别与单目测距结合起来。

本文提出一种基于目标像素宽度的电力设备红外成像单目测距改进算法。首先基于SSD算法进行目标检测,实现12类常见设备类型的自动识别;接着建立单目测距模型,通过分析电力巡检场景下红外热像仪的特点,发现目标设备的像素宽度不受拍摄角度的影响,据此对单目测距算法进行改进,解决了电力设备红外成像因拍摄角度变换及设备拍摄不全导致的距离识别难度大的问题;然后通过图像处理识别设备最小邻接矩形,计算设备像素宽度,实现距离的自动识别;最后用户外激光测距仪验证了测距结果的准确性。

1 基于SSD算法的目标检测模型

以SSD算法[23]为代表的单阶段目标检测模型能较好地实现计算精度、计算速度与计算复杂度之间的折中。该算法的主网络采用VGG16(visual geometry group)[24],将最后两个全连接层改为卷积层,并且增加了4个卷积层。对不同卷积层进行综合从而实现不同大小目标的检测。

SSD具有良好的识别效果,一是因为它具有多尺度:使用6个不同特征图检测不同尺度的目标,底层预测小目标,高层预测大目标;二是设置了多种宽高比的anchor(先验框)。值得一提的是,针对不同的应用场景,SSD的anchor需要进行不断调整以达到最优的检测效果,当anchor大小合适时可以有效地减少模型训练时间,其大小的设置基于数据集中的目标长宽比存在一定分布规律的原理,可以在一定程度上减少模型训练参数以及降低训练难度,对于预测也可以更加准确。通过对本文红外图像中的电力设备进行标注,按照标注框的长宽比规律设置先验框长宽比为width=74,height=29

SSD的损失函数包含两个部分。对于训练样本集合,其损失函数[23]

width=175,height=26 (1)

式中,width=44,height=15为置信损失,是前景(即电力设备)分类和背景(即非设备区域)分类的损失和;width=48,height=15为定位损失,是用于前景分类的anchor的位置坐标的损失和;N为匹配到前景的anchor的数量;width=11,height=10为置信损失和定位损失的调节比例;g为标注框;l为模型输出的预测框;x为预测框是否匹配到了某类标注框,其值为0或1;c为类别置信度预测值。

完成后算法会返回每张图识别到的对象的标签(即设备类型)及标注框的坐标,坐标形式为左上角及右下角顶点所在像素位置的横纵坐标值。

2 基于目标像素宽度的单目测距改进算法

与普通场景不同,大部分电力设备的形状为柱状,由于设备本身尺寸较大,要想把设备本体大部分都包括在画面范围内,拍摄角度会倾斜,但这样也不可避免地会无法拍到设备整体,所以要想实现精准测距,需要解决的问题有以下两点:①拍摄画面并未包括设备整体;②设备拍摄角度倾斜,目标检测框的像素宽度不是设备实际宽度所对应的像素宽度。根据这两个问题对单目测距算法进行改进。

2.1 单目测距模型

单目测距是利用小孔成像模型[25]描述三维空间中的点到相机图像中的点的关系,对于世界坐标系中的物体可以基本满足测距要求[20]。首先需要在小孔成像模型中建立世界坐标系(OW-XW-YW-ZW)、摄像机坐标系(OC-XC-YC-ZC)、成像平面坐标系(O-x-y)和像素坐标系(OO-u-v)4个坐标系,进行三维空间到成像平面的坐标转换,坐标系之间关系如图1所示。定义空间中P点在4个坐标系下的坐标分别为(XW, YW, ZW)、(XC, YC, ZC)、(x, y)、(u, v)。

width=233.55,height=125.1

图1 小孔成像原理

Fig.1 Pinhole camera model

与一般测距不同的是,本文研究基于电力设备红外图像的测距模型,目标距离指的是摄像头与设备之间的直线距离,并非水平距离。由图1中的比例关系可知,世界坐标系与摄像机坐标系之间是平移和旋转的关系,二者的对应关系[26]

width=216,height=51(2)

式中,AB分别为两坐标系之间相对位置和姿态。

成像平面到摄像机焦平面之间是投影关系,转换关系为

width=113,height=47 (3)

式中,f为成像平面到摄像机焦平面之间的距离,即焦距;(x, y)为成像点在成像平面中的坐标;(XC, YC, ZC)为目标在摄像机坐标系中的坐标。

成像坐标系到像素坐标系之间的转换为

width=106,height=77 (4)

式中,(u, v)为成像点在像素坐标系中的坐标;dxdy分别为每个像素点在成像平面坐标系x方向和y方向上的物理尺寸;(u0, v0)为成像平面坐标系的原点在像素坐标系中的位置。

联立式(2)~式(4),就可以得到像素坐标系和世界坐标系的变换关系为

width=225,height=49(5)

式中,rxry为使用像素宽度和高度作单位时的焦距长度,rx=f/dxry=f/dy;矩阵M只与相机内部参数有关,A、B为相机的外参数。

一般情况下,在相机标定完成后,若已知世界坐标系中某点的坐标,就可以根据式(5)得出该点的像素坐标。

2.2 单目测距算法的改进

本文研究电力设备的测距,针对红外巡检这一应用场景以及设备的外观和形状特点设计一种改进算法。

当拍摄电力设备时,相机镜头角度存在两个变化:首先,为了在近距离内将设备主体拍摄进画面中,相机与水平面垂直方向存在角度,图像中设备角度倾斜(见图2a),有些大尺寸设备拍摄不全(见图2b),此时成像坐标系与像素坐标系之间不是平行关系,式(4)不再适用,联立式(2)和式(3)得到成像坐标系与世界坐标系间的关系为

width=150,height=49 (6)
width=233.75,height=100.9

图2 电力设备红外图像存在的问题

Fig.2 Problems existing in infrared image of power equipment

其次,拍摄时镜头对准目标设备的中心,镜头与水平面也会存在角度,光轴与地面不平行,所以关注相机与目标之间的直线距离,即相机光心与目标设备中心之间的距离,为了方便描述测距模型,近似认为目标平面垂直于光轴,世界坐标系与摄像机坐标系之间只存在Z轴上的相对位置变化,那么A=Iwidth=67,height=20,其中d为测距距离,成像模型如图3所示,式(6)化为

width=229.55,height=110.05

图3 光轴与目标平面近似垂直

Fig.3 The optical axis is approximately perpendicular to the target plane

width=199,height=49(7)

平面垂直于光轴,那么ZW=0,点P的坐标为(XW, YW, 0),式(7)化为

width=67,height=47 (8)

从式(8)中可以看出,成像坐标系与世界坐标系之间满足几何测距算法中的相似三角形原理,那么成像坐标系中一段线段的宽度与世界坐标系中对应线段的宽度之间也满足相似三角形原理,即宽度之比等于fd之比(width=22,height=15)。

成像坐标系的原点是光轴与成像平面的交点处,像素坐标系的原点在图像顶点处,两坐标系之间的关系如图4所示,可以发现,即使设备角度倾斜,但由于电力设备外观整体呈圆柱形,无论从哪个角度拍摄,设备的最大宽度并不会发生变化;即使设备拍摄不全,但其宽度仍可以体现。提出通过目标像素宽度求解两坐标之间的变换式为

width=155,height=42.95 (9)

式中,width=11,height=10为目标设备在图像中的像素宽度。

根据式(8)得到width=31,height=28(其中L为设备实际宽度),设备的实际宽度与像素宽度之间的关系如图5所示,最终距离计算式为

width=162,height=37 (10)
width=165.5,height=196.2

图4 成像坐标系与像素坐标系间的关系

Fig.4 The relationship between the imaging coordinate system and the pixel coordinate system

width=233.4,height=122.2

图5 实际宽度和像素宽度的对应关系

Fig.5 Correspondence between actual width and pixel width

式中,f、dxdy可以通过相机标定得到;u0、v0uv需要从红外图像中识别。

2.3 目标像素宽度的识别

对应目标设备宽度,需要求出图像中代表设备宽度的像素宽度。由于设备角度倾斜,那么SSD目标检测框的宽度不能代表设备实际的像素宽度,需要进一步处理图像,找到图像中设备的像素宽度。

以220 kV电流互感器的红外图像为例,通过OpenCV中的图像处理算法识别目标设备的像素宽度,如图6所示,步骤如下:

(1)对于红外图像①,得到其SSD目标检测框②,读取设备box坐标,去除box之外的图像,得到③。

(2)基于掩模技术提取图像中的设备区域(白色部分),得到④。

(3)可以看到设备周围有电线等噪声干扰,会影响对设备最小轮廓的判断,故对图像进行腐蚀膨胀的开运算操作,去除噪声,得到⑤。

width=224.4,height=250.9

图6 识别设备的像素宽度

Fig.6 Identify the pixel width of the device

(4)对图⑤进行轮廓拟合识别设备的最小邻接矩形,输出矩形4个顶点的坐标,得到⑤中的红框,对应到原图中即为⑥。

(5)可以发现像素宽度等于最小邻接矩形框短边长,距离计算可化为

width=168,height=37 (11)

当图像中设备数量大于1(如电流互感器的三相)时,会对目标识别到的三相设备在各自的识别框内按照图6步骤分别进行目标像素宽度的识别。

综上所述,本文首先基于SSD算法识别设备类型,进行设备定位,再对图像进行分割去除噪声以实现旋转框的定位,进而识别目标设备的像素宽度。优点如下:①本文所用方法计算复杂度小,处理速度快;②旋转框定位准确,目标像素宽度识别精度高,有利于提高距离识别的精度。

2.4 单目测距改进算法流程

总结本文改进的单目测距算法流程如图7所示。

3 实验与结果

3.1 实验基础

本文研究变电站中常见电力设备的测距,包括避雷器、电流互感器、电压互感器、断路器及电抗器。由于不同电压等级下每类设备的外观及尺寸均不同,需要将设备按照电压等级进行细分,具体研究110 kV避雷器、220 kV避雷器、500 kV避雷器、110 kV电流互感器、220 kV电流互感器、500 kV电流互感器、110 kV电压互感器、220 kV电压互感器、500 kV电压互感器、110 kV断路器、220 kV断路器以及电抗器这12种设备,数据均使用FLIR T630设备拍摄得到。

width=168.95,height=187.8

图7 单目测距改进算法流程

Fig.7 Improved algorithm flow of monocular ranging

1)设备红外数据集构建与图像处理

为了实现基于深度学习方法的电力设备识别,以上文所述电力设备为研究对象建立红外数据集,收集并整理12类电力设备红外图像6 344张,图像分辨率为640´480,设备示例如图8所示。图像数据情况见表1。

width=233.55,height=151.9

图8 电力设备样本示例

Fig.8 Sample example of electrical equipment

由于拍摄到的原始热像图存在水印、温度条等干扰信息。为了最终的算法可以面向所有红外热像仪拍摄得到的图像,需要对设备原始图像进行预处理。处理后的图片服务于后续目标检测的过程。本文结合FLIR TOOLs软件编写批处理程序对图片冗余信息进行去除,完成对样本图像的预处理。去除结果如图9所示。

表1 样本组成

Tab.1 Sample composition

设备类型数 量 110 kV避雷器811 110 kV电流互感器942 110 kV电压互感器510 110 kV断路器489 220 kV避雷器479 220 kV电流互感器569 220 kV电压互感器563 220 kV断路器499 500 kV避雷器102 500 kV电流互感器495 500 kV电压互感器420 电抗器465

width=233.55,height=91.65

图9 去除红外图像的冗余信息

Fig.9 Remove redundant information from infrared images

2)目标检测

首先使用红外数据集训练SSD目标检测模型。模型训练和测试的平台为NVIDIA GeForce GTX 1660。模型的具体参数设置包括:初始学习率为5× 10-4,训练epoch为300,batch_size设置为16。训练阶段损失如图10所示。由图10可看出训练的最后损失函数已经趋于稳定,训练完成。本文使用平均准确率均值(mean Average Precision, mAP)对本目标检测模型进行评估,各类设备的检测准确率如图11所示。可以看出,本模型mAP可达到98.24 %,500 kV避雷器的识别精度由于样本数量较少而低于其他设备,但仍可以达到85 %以上,满足目标检测需求。

本文在进行测试时使用未处理过的红外原图进行目标检测,识别结果如图12所示。

width=214.55,height=160.45

图10 训练阶段损失

Fig.10 Loss in practice

width=222.1,height=182.05

图11 各类设备检测平均准确率

Fig.11 Average accuracy of

width=233.55,height=57.7

图12 目标检测结果

Fig.12 The results of object detection

3)本文研究设备对应型号及尺寸

在变电站实地进行距离识别时需要提前获取设备的实际尺寸,得到每类设备的实际宽度这一参数。本文实验数据均来自重庆某变电站,站中设备及型号见表2。

4)相机标定

本相机拍摄图像分辨率为640×480,相机标定得到f =0.520 347 m,dx=0.020 32 m,dy=0.015 27 m。

3.2 实验结果

本文对12类设备分别拍照进行距离检测,设备的实际距离使用徕卡X4户外激光测距仪检测,激光测距位置选择在设备的物理尺寸中心,该位置即为特征点。测距完成后图片会输出设备类型及距离,单目测距结果见表3。

表2 设备型号及尺寸

Tab.2 Equipment model and size

设备类型型号尺寸(宽×高)/ (mm×mm) 110 kV避雷器Y10WZ-100/260345×1 720 110 kV电流互感器LB6-110700×2 400 110 kV电压互感器TYD110/-0.01H620×1 950 110 kV断路器LW35-126390×2 840 220 kV避雷器YH10WZ-216/562800×2 330 220 kV电流互感器LB7-220740×3 500 220 kV电压互感器TYD220/-0.01H720×3 300 220 kV断路器LW-252660×5 010 500 kV避雷器Y10W5-420482×1 760 500 kV电流互感器OSKF550 TPY1 150×6 875 500 kV电压互感器TYD500/-0.01H700×6 500 电抗器CKGKL-96/35-12%1 100×660

表3 距离识别结果

Tab.3 The results of distance recognition

设备类型实际距离L/m测量距离d/m误差(d-D)/m误差率[(d-D)/D](%) 110 kV避雷器5.5015.354-0.147-2.67 110 kV电流互感器6.3126.079-0.233-3.69 110 kV电压互感器3.8423.687-0.155-4.03 110 kV断路器4.8564.9750.1192.45 220 kV避雷器6.5546.8240.2704.12 220 kV电流互感器7.2237.5550.3324.60 220 kV电压互感器6.4276.179-0.248-3.86 220 kV断路器7.4917.132-0.359-4.79 500 kV避雷器8.2417.925-0.316-3.83 500 kV电流互感器10.68710.291-0.396-3.71 500 kV电压互感器10.48510.087-0.398-3.80 电抗器3.1153.2230.1083.47

其次,本文还对同一设备进行不同距离的测距实验。但因设备尺寸及变电站现场限制,本文对同一个设备的取点无法太多,所以选择220 kV电压互感器任意取3个点进行拍摄,识别图像如图13所示,结果见表4。

从表3中可以看出,12类设备的平均误差为0.257 m,最大识别误差为0.398 m,平均误差率为1.31 %,实验结果最大误差率为4.60 %。从表4中可以看出,本文方法对于同一设备不同距离的检测误差最大不超过0.4 m,误差率在4 %以内。误差产生的原因可能是相机标定带来的;其次,相机存在非线性畸变也会对结果有一定的影响;另外,由于红外图像的成像没有可见光图像清晰,对目标最小邻接矩形的判断也会存在一定的误差,进而引起像素宽度的计算误差。

width=233.4,height=59.9

图13 220 kV电压互感器距离识别

Fig.13 Distance identification of 220 kV VT

表4 220 kV电压互感器距离识别结果

Tab.4 Distance identification results of 220 kV VT

图片号实际距离L/m测量距离d/m误差 (d-D)/m误差率[(d-D)/D](%) 16.4276.179-0.248-3.86 28.8188.471-0.347-3.94 310.0129.692-0.320-3.20

对表3数据进行分析,得到距离和误差的关系如图14所示。由图14发现,拍摄距离越远,误差就会越大,所以在安全的情况下,拍摄距离更近,拍摄精度也会更高。从文献[8]可以看出,在户外检测过程中,红外热像仪的距离误差在0.5 m范围内则对测量温度的影响小于0.1 ℃。

width=219.95,height=163.8

图14 距离和误差的关系

Fig.14 The relationship between distance and error

当视场中设备数量大于1(即同时拍摄到了同种设备的三相)时,距离识别图像如图15所示,识别结果见表5,分别对220 kV断路器三相及110 kV电流互感器三相进行距离识别。可以看出,当图像中存在三相设备时,距离识别误差最小的为距离视场中心最近的设备,这是由于拍摄时要想将设备三相均包含在内,那么相机光轴会近似垂直于最靠近视场中心的设备所在平面,其左右两相因为轴线偏转导致误差增大。在实际拍摄时,要想同时将三相设备全部包含在内,会存在距离目标设备拍摄距离较远的问题,所以在减小距离识别误差方面不建议一次拍摄过多设备。

width=232.4,height=86.15

图15 视场中存在三相设备时的距离识别

Fig.15 Distance identification in the presence of three-phase equipment in the diagram

表5 图中存在三相设备的距离识别结果

Tab.5 Distance recognition results when there are three-phase devices in the figure

设备类型实际距离L/m测量距离d/m误差(d-D)/m误差率 [(d-D)/D](%) 220 kV断路器A相11.75812.2950.5374.57 B相15.00915.4020.3932.62 C相18.97818.486-0.492-2.59 110 kV电流互感器A相13.81613.228-0.588-4.26 B相10.69111.0090.3182.97 C相8.6188.9760.3584.15

此外,由于本文识别的距离为相机与设备尺寸中心的距离,设备不同部位与红外摄像头之间会存在一定的距离误差。实际上,红外巡检的拍摄距离与设备尺寸大小有关,设备尺寸越小(高度越小)拍摄距离就越近,反之越远。从表2可以看出,尺寸较小的设备有110 kV避雷器、110 kV电压互感器以及电抗器,高度均在2 m以下,拍摄距离按照表3取最小拍摄距离3 m,根据勾股定理,设备最远端与相机之间的距离约为3.2 m。对于500 kV电压互感器等大尺寸设备,高度约为6.5 m,拍摄距离可以达到10 m以上,同样根据勾股定理可得最远端距离为10.5 m。可以看出最远端的距离与识别到的距离的误差小于等于0.5 m。由此可见,设备不同部位与红外摄像头之间存在的距离误差对红外成像温度的影响小于0.1 ℃,可以忽略。

综上所述,本文提出距离识别方法能够基本满足红外巡检中的测距需求。

4 结论

本文提出一种基于目标像素宽度的电力设备红外成像单目测距改进算法。首先基于SSD算法完成设备类型的自动检测,平均准确率可达到98.24 %;其次分析设备特点,提出适用于电力设备红外巡检的基于目标像素宽度的单目测距改进算法,解决电力设备因尺寸问题带来的拍摄不全和拍摄角度变换的问题;接着通过图像处理提取设备的最小邻接矩形,计算设备的像素宽度,进行距离的自动识别,12类设备的平均误差率为1.31 %。基于本文的测距方法,可以实现电力设备红外智能诊断装置的距离自动识别,可以通过距离与红外成像温度之间的关系实现成像温度的校正,进而提高红外的检测精度,实现电力设备的红外精确测温。

参考文献

[1] 纽春萍, 矫璐璐, 王小华, 等. 基于多场耦合的环保型GIS热特性分析[J]. 电工技术学报, 2020, 35(17): 3765-3772.

Niu Chunping, Jiao Lulu, Wang Xiaohua, et al. Thermal characteristics analysis of environmentally friendly GIS based on multi-field coupling[J]. Transa- ctions of China Electrotechnical Society, 2020, 35(17): 3765-3772.

[2] Yu Xiao, Ye Xi, Gao Qiang. Infrared handprint image restoration algorithm based on apoptotic mecha- nism[J]. IEEE Access, 2020, 8: 47334-47343.

[3] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398.

Zheng Hanbo, Li Jinheng, Liu Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Elec- trotechnical Society, 2021, 36(7): 1389-1398.

[4] 徐奇伟, 黄宏, 张雪锋, 等. 基于改进区域全卷积网络的高压引线接头红外图像特征分析的在线故障诊断方法[J]. 电工技术学报, 2021, 36(7): 1380- 1388.

Xu Qiwei, Huang Hong, Zhang Xuefeng, et al. Online fault diagnosis method for infrared image feature analysis of high-voltage lead connectors based on improved R-FCN[J]. Transactions of China Elec- trotechnical Society, 2021, 36(7): 1380-1388.

[5] 金立军, 张达, 段绍辉, 等. 基于红外与紫外图像信息融合的绝缘子污秽状态识别[J]. 电工技术学报, 2014, 29(8): 309-318.

Jin Lijun, Zhang Da, Duan Shaohui, et al. Recognition of contamination grades of insulators based on IR and UV image information fusion[J]. Transactions of China Electrotechnical Society, 2014, 29(8): 309-318.

[6] 张培铭, 江和, 李光辉, 等. 中压开关柜接头温度在线监测技术的研究[J]. 电工技术学报, 1995, 10(2): 49-52.

Zhang Peiming, Jiang He, Li Guanghui, et al. The study of on-line temperature detection technique for the contacts in MV switchgear cubicle[J]. Transa- ctions of China Electrotechnical Society, 1995, 10(2): 49-52.

[7] 胡红光. 电力设备红外诊断技术与应用[M]. 北京: 中国电力出版社, 2012.

[8] Faye E. Distance makes the difference in thermo- graphy for ecological studies[J]. Journal of Thermal Biology, 2016, 56: 1-9.

[9] 国家能源局. 带电设备红外诊断应用规范: DL/T 664—2016[S]. 北京: 中国电力出版社, 2016.

[10] 徐彪, 尹项根, 张哲, 等. 电网故障诊断的分阶段解析模型[J]. 电工技术学报, 2018, 33(17): 4113- 4122.

Xu Biao, Yin Xianggen, Zhang Zhe, et al. A staged analytical model for power system fault diagnosis[J]. Transactions of China Electrotechnical Society, 2018, 33(17): 4113-4122.

[11] 李典阳, 张育杰, 冯健, 等. 变压器故障样本多维诊断及结果可信度分析[J]. 电工技术学报, 2022, 37(3): 667-675.

Li Dianyang, Zhang Yujie, Feng Jian, et al. Multi- dimensional diagnosis of transformer fault sample and credibility analysis[J]. Transactions of China Elec- trotechnical Society, 2022, 37(3): 667-675.

[12] 尹游, 周凯, 李诗雨, 等. 基于极化去极化电流法的水树老化XLPE电缆界面极化特性分析[J]. 电工技术学报, 2020, 35(12): 2643-2651.

Yin You, Zhou Kai, Li Shiyu, et al. Interface polarization characteristics of water tree aged XLPE cables based on polarization and depolarization current method[J]. Transactions of China Electro- technical Society, 2020, 35(12): 2643-2651.

[13] 陈涛, 刘志刚, 胡轲珽, 等. 一种双重化脉冲整流器多管开路故障快速诊断方法[J]. 电工技术学报, 2020, 35(10): 2226-2238.

Chen Tao, Liu Zhigang, Hu Keting, et al. Quick diagnosis method for double-PWM rectifier multi- tube open circuit fault[J]. Transactions of China Elec- trotechnical Society, 2020, 35(10): 2226-2238.

[14] Witus Gary, Hunt Shawm. Monocular visual ran- ging[J]. Proceedings of SPIE-The International Society for Optical Engineering, 2008, 6962: 696204(7).

[15] Zhao Chaoqiang, Sun Qiyu, Zhang Chongzhen, et al. Monocular depth estimation based on deep learning: an overview[J]. Science China Technological Sciences, 2020, 63(9): 1612-1627.

[16] Shen Chao, Zhao Xiangmo, Liu Zhanwen, et al. Joint vehicle detection and distance prediction via mono- cular depth estimation[J]. IET Intelligent Transport Systems, 2020, 14(7): 753-763.

[17] Liu Qiang, Pan Ming, Li Yongwei. Design of vehicle monocular ranging system based on FPGA[J]. Chinese Journal of Liquid Crystals and Displays, 2014, 29(3): 422-428.

[18] Chen Hao, Lin Meian, Xue Lixia, et al. Research on location method based on monocular vision[J]. Journal of Physics: Conference Series, 2021, 1961(1): 012063.

[19] 刘斌, 李港庆, 安澄全, 等. 基于多尺度特征融合的红外单目测距算法[J]. 计算机应用, 2022, 42(3): 804-809.

Liu Bin, Li Gangqing, An Chengquan, et al. Infrared monocular ranging algorithm based on multiscale feature fusion Chinese full text[J]. Journal of Com- puter Applications, 2022, 42(3): 804-809

[20] 韩延祥, 张志胜, 戴敏. 用于目标测距的单目视觉测量方法[J]. 光学精密工程, 2011, 19(5): 1110- 1117.

Han Yanxiang, Zhang Zhisheng, Dai Min. Monocular vision system for distance measurement based on feature points[J]. Optics and Precision Engineering, 2011, 19(5): 1110-1117.

[21] 胡旻昊, 王海滨, 王岐, 等. 基于双目视觉图像的电力设备状态识别算法[J]. 电子世界, 2017(21): 16-18.

Hu Minhao, Wang Haibin, Wang Qi, et al. Power equipment state recognition algorithm based on binocular vision image[J]. Electronics World, 2017(21): 16-18.

[22] 董诗绘, 牛彩雯, 戴琨. 基于深度强化学习的变电站巡检机器人自动化控制方法研究[J]. 高压电器, 2021, 57(2): 172-177.

Dong Shihui, Niu Caiwen, Dai Kun. Study on automatic control method of substation inspection robot based on deep reinforcement learning[J]. High Voltage Apparatus, 2021, 57(2): 172-177.

[23] Liu Wei, Anguelov D, Erhan D, et al. SSD: single shot MultiBox detector[M]//Computer Vision—ECCV 2016. Cham: Springer International Publishing, 2016.

[24] Qassim H, Verma A, Feinzimer D. Compressed residual-VGG16 CNN model for big data places image recognition[C]//2018 IEEE 8th Annual Com- puting and Communication Workshop and Conference, Las Vegas, NV, USA, 2018: 169-175.

[25] 曾升, 耿国华, 邹林波, 等. 第一人称视角地形轮廓草图的真实空间重建[J]. 光学精密工程, 2020, 28(8): 1861-1871.

Zeng Sheng, Geng Guohua, Zou Linbo, et al. Real spatial terrain reconstruction of first person point- of-view sketches[J]. Optics and Precision Engineering, 2020, 28(8): 1861-1871.

[26] 李峰. 智能监控中对运动目标的检测和测距技术研究[D]. 合肥: 合肥工业大学, 2013.

An Improved Monocular Ranging Method for Infrared Image of Power Equipment Based on the Pixel Width Recognition of Objects

Yang Fan1 Wang Mengjun1 Tan Tian1 Lu Xu2 Hu Ran2

(1. The State Key Laboratory of Power Transmission Equipment & System Security and New Technology Chongqing University Chongqing 400044 China 2. Electric Power Research Institute Shenzhen Power Supply Co. Ltd Shenzhen 518000 China)

Abstract The shooting distance is one of the main factors affecting the infrared imaging effect. Its accurate measurement is the main method to improve the fault accuracy of the infrared imaging detection equipment. This paper studies an improved algorithm of the infrared imaging monocular ranging of power equipment based on target pixel width recognition, aiming at the requirement of automatic ranging of the infrared thermal imager in the process of power equipment patrol inspection. Automatic distance recognition is realized by the pixel width of power equipment in the infrared image. The problem of complex distance recognition caused by infrared imaging of power equipment due to shooting angle transformation and incomplete equipment shooting is solved. The automatic distance recognition of 12 kinds of common power equipment is realized.

The device type in the image must be identified first to obtain the device's distance in the image. This paper automatically identifies the device type in the infrared image based on the single shot MultiBox detector (SSD) algorithm, and obtains the coordinates of the device type and identification frame. The average accuracy can reach 98.24 %. Since most of the power equipment is columnar in shape and large in size, to increase the proportion of equipment in the picture as much as possible when taking infrared images, the angle will tilt when taking pictures. As a result, the acquired images will have the following problems: (1) The whole equipment cannot be seen in the picture; (2) The pixel width of the target detection frame cannot represent the pixel width corresponding to the actual width of the device due to the oblique shooting angle. Therefore, this paper analyzes the characteristics of power infrared patrol inspection. It is found that even though the equipment angle is inclined, the overall appearance of the power equipment is cylindrical, and the maximum width of the equipment will not change. Even if the equipment is not photographed entirely, its width can still be reflected. Accordingly, the paper proposes an improved monocular ranging algorithm based on the target pixel width. The minimum adjacent rectangle of the equipment is recognized through image processing, the pixel width of the target is calculated, and the final output device type and distance. The results show that the average error of the 12 types of equipment is 0.257 m, the maximum recognition error is 0.398 m, and the average error rate is 1.31 %.

The experimental results show that the improved algorithm can meet the requirements of monocular distance measurement of power equipment infrared images. Based on the distance measurement method in this paper, the automatic distance recognition of the infrared intelligent diagnostic device of power equipment can be realized, and the correction of the imaging temperature can be realized through the relationship between the distance and the infrared imaging temperature. Therefore, the infrared detection accuracy can be improved, and the accurate infrared temperature measurement of power equipment can be realized.

keywords:Electric equipment, infrared image, monocular ranging, single shot MultiBox detector (SSD)

DOI: 10.19595/j.cnki.1000-6753.tces.220155

中图分类号:TM507

中国南方电网有限责任公司科技资助项目(0090000KK52190170)。

收稿日期 2022-01-26

改稿日期 2022-04-12

作者简介

杨 帆 男,1980年生,教授,博士生导师,研究方向为电气设备状态监测及数字孪生。E-mail: yangfancqu@gmail.com

王梦珺 女,1998年生,硕士研究生,研究方向为电力设备红外图像智能诊断。E-mail: mengjun0602@cqu.edu.cn(通信作者)

(编辑 郭丽军)