图1 基于CABFAM-Transformer的输电线路故障辨识结构
Fig.1 Fault identification structure of transmission line based on CABFAM-Transformer
摘要 行波采集装置是电力系统保护与测距的重要设备，广泛应用于110 kV及以上输电线路，且正向配电网延拓。由于启动灵敏，非故障信息的采集给故障辨识与行波测距带来了挑战。该文提出了一种基于卷积注意力机制的特征聚合模块（CABFAM）与自适应Transformer模型的输电线路实测故障性质识别方法。首先，通过CBAM机制增强卷积层提取特征信息的表达与理解能力；然后，构建自适应编码层级调整机制的Transformer模型库，以获取多层次差异化特征信息；最后，利用云南电网110～220 kV输电线路的5 076条实测数据及220 kV DL站H-P线的 15 924条伪实测数据进行训练与测试，针对16种典型行波数据进行分类。测试结果表明，该方法降低了模型参数量，提高了准确度，算法的多个关键指标均有不同幅度的提升，表现出优异的检测精度与识别效率。
关键词：行波采集装置 基于卷积注意力机制的特征聚合模块 CABFAM 自适应Transformer 实测数据故障辨识
电力工业是每个国家最为重要的基础工业之一，它不仅深刻影响着国民经济发展，同时还对实现国家的现代化发展有着十分重要的意义[1-3]。随着电力系统规模的不断扩大和复杂性的增加，保障电力系统的安全运行成为一个重要的挑战。行波采集装置大量应用于110 kV、220 kV及其以上等级的输电线路[4]，为确保行波采集装置能够在小故障角以及高阻故障等弱故障模式下，可靠地记录故障行波数据，行波采集装置往往采用门槛值较低的突变量启动方式进行高速采录，大量的干扰杂波也会被采集并保存记录下来[5]。因此，从采集到的海量行波数据中自动辨识出故障行波尤为重要。
目前，国内外学者们在输电线路故障辨识方面展开了诸多研究，文献[6]改进了传统的支持向量机（Support Vector Machine, SVM）算法，搭建了基于决策树和最小二乘双支持向量机的多分类辨识模型，SVM在处理小规模样本数据时具有很高的精度，但对于规模较大的高维数据来说，它无法提取高维数据中的深层特征，辨识效果明显变差[7]。文献[8]采用组稀疏方法进行故障辨识，降低了对手工设计特征的要求，在处理含有噪声的数据时具有较强的鲁棒性。但由于需要人工进行特征提取，过程繁杂工程量大，效果欠佳。
近年来，随着计算机视觉算法在图像分类领域的蓬勃发展，人们开始探索将故障暂态波形信号转化为视觉线索，通过图像分类算法以实现故障辨识的思路。传统基于图像的底层信息来实现图像分类的准确率难以满足实际应用需求[9-11]，与深度学习[12-17]的分类方法相结合可以很好地解决图像特征信息提取的问题，提高了图像分类的准确率。特别是自AlexNet[18]被提出后，人们开始探索将故障暂态波形信号转化为视觉线索，以实现故障辨识的思路[19-21]。文献[22]基于深度学习理论，对故障数据进行特征自学习进而实现故障类型辨识。得益于Transformer模型[23]在自然语言处理领域取得的巨大成功，文献[24]采用Vit（vision tranformer）模型，凭借动态、全局的感受野，可以很好地学习图像不同位置之间的依赖关系。文献[25]提出分数阶傅里叶图像变换器（Fractional Fourier Image Transformer, FrIT）作为骨干网络，解决了图像中有限感受野对卷积神经网络（Convolutional Neural Networks, CNN）的限制和Vit容易丢失局部信息的问题。
为了降低故障行波数据特征量提取的复杂度，提高输电线路故障分类的准确率，本文提出了基于卷积注意力机制的特征聚合模块（Convolutional Attention Based Feature Aggregation Module, CABFAM）-Transformer的输电线路故障分类方法。首先以云南电网H-P线为例建立仿真模型，对实际情况中发生次数较少的故障采用仿真数据叠加实测噪声的方式进行批量仿真，得到伪实测故障数据集；然后测试得出了各类典型特征下的Transformer最优编码层级，建立了具有不同编码层级的Transformer模型库，采用自适应调整机制对各类故障波形进行辨识，在保证检测精度的前提下降低计算负担；最后构建并训练了基于CABFAM-Transformer的故障波形分类器，使用云南电网近15年共计约5 076条符合类别的实测数据与批量仿真得到的近15 924条伪实测数据作为模型的总数据集，按7:3的比例划分训练集与测试集，对模型进行训练测试，并与12种相关算法进行了各项指标的对比，结果表明基于CABFAM-Transformer的输电线路故障分类方法辨识率更高，训练所需时间也更短，能够很好地辨识故障类型。
本文提出的基于CABFAM-Transformer的输电线路故障分类模型采用双层信息交互耦合结构，包括训练层和测试层。特征从CABFAM模块传递到Transformer模块，在CABFAM模块中使用残差连接将不同层的特征进行融合，将特征图展平并添加位置编码后输入Transformer，进行全局特征编码，生成最终的特征表示，并使用最终特征表示进行分类或其他任务，得到输出。模型中卷积注意力机制的特征聚合模块（CABFAM）主要基于移动翻转瓶颈卷积（Mobile Inverted Bottleneck Convolution, MBConv）结构设计，其结构如图1所示。
图1 基于CABFAM-Transformer的输电线路故障辨识结构
Fig.1 Fault identification structure of transmission line based on CABFAM-Transformer
1）训练层
训练层包括数据预处理、MBConv模块以及基于相对注意力编码层级的Transformer特征提取等步骤。首先，对行波采集装置采集到的故障波形进行数据预处理，送入MBConv模块中，通过MBConv模块中卷积核从局部感受野捕获预处理数据的特征信息，既保证提取到故障波形信息的局部特征具有最强的响应，同时又降低了模型的复杂度。
然后，针对所提取到的局部特征信息，在当前编码层级的条件下基于相对注意力编码层级的Transformer特征提取模块捕获聚焦局部特征区域的特征信息，并根据配对之间的相似性计算归一化权重。
2）测试层
将测试集中的故障波形进行预处理，将处理后的结果输入Transformer模型库中进行训练，对获得的故障波形分类结果进行故障分类，得到分类结果。
行波采集装置所采集到的每一条行波波形可视为一个时间序列事件。时间序列事件是指在时间域上满足阈值范围的一系列离散数据点组成的数据集合[26]。在时间序列事件中，尽管同类事件的特征规律具有较高的相似度，但由于事件发生的位置和强度的差异化，所感知到的事件数据在不同尺度下呈现多样性。因此，为了确保行波波形在各个特征维度对目标函数的影响权重具有一致性，运用时间序列归一化公式，将行波波形归一化，公式为
（1）
式中，x'为数据归一化结果；x为未归一化时的数据；xmax为时间序列中数据的最大值；xmin为时间序列中数据的最小值。通过数据归一化，将所有数据归一化处理至[0,1]。
由于行波装置采样率高、监测回路多、故障模态多变、行波信息经同一母线投射至所有出线等情况，在面对这样的高维海量数据辨识任务时，传统方法难以兼顾分类速度和精度的要求。深度学习的快速发展成为数据研究的法宝，CNN作为发展最快、技术相对最成熟、应用最成功的深度学习模型，在图像分类领域中取得了巨大的成就。使用故障后的暂态电流波形作为模型的输入进行故障辨识时，暂态电流波形数据将被存储为高维数组，其数据结构与图像类似。暂态电流波形的数据量较大，直接使用一维CNN进行特征提取可能难以充分捕捉关键特征。将时间序列转换为二维形式，可以利用二维结构在空间上的特性来捕获更加复杂的模式，提高特征提取的效率。尽管二维形式时间序列的数据量有所增加，但这种转换能够更好地体现暂态电流波形在时空域上的信息分布，从而减轻模型对复杂特征的识别难度。引入Gram矩阵对行波波形进行时间域图像转换，不仅能够保留行波波形的时序性，同时还能够无损地将行波波形转换为N×N的二维矩阵。
Gram矩阵是由每一对向量的内积按如下形式构成的矩阵，即
（2）
式中，
为内积结果；ui、vj均为标量。通过矩阵G将时间序列T={t1, t2,···, tn}变化为
（3）
式中，
为变化后的时间序列矩阵；
为时间序列点积对。由于时间序列T是一维的，而点积计算需要有横纵坐标的二维信息。因此，为了保留行波波形的时序性，采用极坐标系计算点积。将时间序列T={t1,t2,···,tn}进行归一化处理，得到
。
对时间序列T'进行极坐标编码，有
（4）
（5）
式中，
为归一化后时间序列的点；qi为极坐标系下归一化后时间序列某点的角度；ri为极坐标系下归一化后时间序列某点的半径；n为训练样本编号。通过式（4）和式（5）把时间序列上的每一个点转换成角度和半径表示。
随着时间的增加，点半径越来越大，逐渐远离圆心。极坐标编码用半径的增加充分地保留时间序列的时序性，并通过角度变化来表示原时间序列的数值变化。因此，使用时间序列点对极坐标角度关系重构Gram矩阵，有
（6）
当i=j时，构成Gt矩阵的对角线cos(qi+qj)= 
，Gt矩阵的对角线按照t1,t2,···,tn的顺序依次排列并移动，随着Gram矩阵位置从左上角到右下角的移动，时间序列的数值逐渐被纳入矩阵中，从而保留了时间序列对时间的依赖性，并将时间维度编码到矩阵的几何结构中。由于时间信息与空间信息在不同方向上是独立的，所以可以利用矩阵进行时空转换来实现对事件发生时刻和持续时间的计算。矩阵的每一个值为所对应时间域图像中的一个对应像素点，通过Gram矩阵变换将每条波形数据转换为三张时间域图像，如附图1所示。附图1中，分别为A相短路接地（AG）、两相相间故障（AB）、两相短路接地（ABG）、三相短路故障（ABCG）、雷击故障（AL）、多重雷击故障（AML）、杂波和故障后续波形以及对应的A、B、C三相的时间域图像。
与卷积神经网络相比，Transformer结构具有更大的模型容量，但由于缺少归纳偏置，Transformer在泛化性上的表现不如卷积神经网络。同时，卷积操作在提取图片的局部特征方面有更加优越的表现。因此，本文结合两种架构的优势提出基于CABFAM-Transformer的模型。首先通过经典卷积降低空间大小，利用两个MBConv模块，从通道和空间两个维度提取特征信息，提高了特征信息提取的精准率，其中MBConv Block1在深度卷积之前通过1×1卷积扩展输入通道，MBConv Block2在加入残差之前对所提取的特征信息进行压缩，能够有效地缓解Transformer结构带来的高计算量。再送入Transformer模块编码器，利用其中的自注意力机制进行特征信息的重加权操作，使得模型在训练时能够捕获需要的特征区域。
1.3.1 CABFAM模块
CABFAM模块部分主要是基于MBConv结构设计的。由于原有MBConv结构中的压缩和激励（Squeeze-and-Excitation, SE）模块没有考虑位置信息的重要性，这里采用卷积注意力机制（CBAM）来替换MBConv结构中的SE模块，CABFAM模块结构如图2所示。
图2 CABFAM结构
Fig.2 CABFAM structure
CBAM是一种卷积神经网络中的注意力模块，它可以提高模型的表现力。该模块由通道注意力模块和空间注意力模块组成，其结构如图3所示。
图3 CBMA结构
Fig.3 CBMA structure
通道注意力模块用于计算每个通道的重要性，以便更好地区分不同通道之间的特征。它首先对输入特征图在通道维度上进行最大池化和平均池化，然后将这两个池化结果输入一个全连接层中，最后输出一个通道注意力权重向量。这个向量用于加权输入特征图中的每个通道，从而更好地区分不同通道的特征。
空间注意力模块则用于计算每个像素在空间上的重要性，以便更好地捕捉图像中的空间结构。它首先对输入特征图在通道维度上进行平均池化和最大池化，然后将这两个池化结果输入一个全连接层中，最后输出一个空间注意力权重张量。这个张量用于对每个像素在空间上进行加权，从而更好地捕捉图像中的空间结构。
CBAM模块的整体结构是将通道注意力模块和空间注意力模块串联起来，得到一个完整的CBAM模块，用于插入卷积神经网络中以提升模型性能。该模块是端到端的通用模块，可以无缝地集成到CNNs中，并且可以与基本CNNs一起进行端到端的训练。它的输入特征图与通道维度和空间维度的注意力映射相乘，从而实现自适应特征细化，增强了模型对于输入特征图的表达能力和理解能力。
MBConv模块采用深度可分离卷积来捕捉空间交互并减少计算量。同时MBConv结构和后接的Transformer中的前馈神经网络（Feed-Forward Neural Network,FFN）模块采用“倒瓶颈”的设计将CNN与Transformer很好地结合起来。
首先将输入的数据通过1×1的点卷积（PointWise Conv）上升通道数量，再经过卷积核大小为3×3的深度卷积（DepthWise Conv）提取特征信息，最后通过点卷积实现降维，映射回输入时的通道数量以实现残差连接。
非线性拟合能力关系着模型的复杂度，激活函数是模型建立过程中不可或缺的必要环节。在激活函数的选择上，常用的Sigmoid、RELU等函数都有在反向传播中发生梯度消失的可能，并且缺少正则化操作，对模型的泛化能力没有帮助。因此，这里使用SiLU（Sigmoid Linear Unit）激活函数，其结合了Sigmoid和ReLU的特点，具有平滑、非单调性和无上界、有下界等特性。SiLU函数在Sigmoid函数的基础上增加了一个线性部分，使得其可以更好地拟合线性函数，让学习过程更快、更稳定，解决了Sigmoid和RELU激活函数存在的问题，表示为
（8）
函数曲线如图4所示。
此外，卷积操作和自注意力机制都可以表示为预定感受野的加权值之和。卷积依赖固定的卷积核，以确保学习到的卷积核对输入图像的局部特征具有最强的响应能力，从局部感受野捕获图像的特征信息，同时降低图像的复杂度，但是，局部特征可能会忽略图像不同区域之间的语义相关性。并且，传统的卷积通常需要对多个感受野做匹配才能完成特征提取工作。通过自注意力机制，能够直接捕捉全局的感受野信息。然而，全局感受野的存在导致模型的计算量急剧增加。因此，在输入Transformer编码器的结构之前，通过经典卷积降低空间大小，再利用MBConv模块提取图像中需要注意的特征区域，这样可以更好地挖掘需要保留的特征信息，同时降低模型的计算复杂度，减少算力。
图4 SiLU激活函数
Fig.4 SiLU activation function
综上所述，理想的模型应当融合CNN与Transformer的优点，这里CNN采用MBConv模块设计，融合后的整体结构如图5所示。在提取图像中所感兴趣的特征区域的同时，也能将重要的特征信息赋予更大的权重，以更加全面和深入地分析。因此，在Softmax归一化操作之前，将卷积操作与自注意力机制有机地结合起来，以达到更好的效果，表达式为
图5 CNN与Transformer融合整体结构
Fig.5 Integrated structure of CNN and Transformer
（9）
式中，
分别为卷积操作中图片像素点位置i的输入与输出；wi-j为卷积操作中预定感受野的权重；V为全局空间。
1.3.2 Transformer自适应编码器结构
Transformer自适应编码器结构主要由多头自注意力机制和前馈神经网络组成。多头自注意力机制由多个自注意力机制所组成。其中自注意力机制的输入是MBConv模块输出的特征映射，即查询矩阵Q、键矩阵K和值矩阵V。前馈神经网络系统则对这些信息进行处理并产生相应结果。在注意力机制中，自注意机制是一种特殊情况，它通过序列与自身的匹配来提取部分之间的语义依赖关系，从而实现注意力机制的高效运作。每个自注意力机制的计算公式为
（10）
式中，dk为通道维度。查询矩阵Q与键矩阵K使用内积匹配，得到注意力矩阵，其值描述了Q和K在语义上的相关程度。
考虑到公式中缺乏位置信息，导致自注意力层的位置难以确定，可以采用位置自注意力来替代自注意力，并嵌入可学习的相对位置编码。每个注意力头使用一个可训练的相对位置编码，其值仅取决于像素之间的距离，相对注意力机制表示为
（11）
Transformer通过自注意力捕捉全局信息使得其计算成本变得异常沉重。为了更合理的利用计算资源，在Transformer框架中删除了Decode层，以避免交叉解码模块对收敛速度的干扰。如图6所示，本文所构建的Transformer网络框架采用自适应编码层级，由多个编码层构成，每个编码层均由一个标准结构组成，包括一个多头自注意层和一个前馈网络层。为了加速网络的收敛速度，对多头自注意层和前馈网络层的输出进行了归一化和残差操作。当前编码层级的Transformer模型对训练集训练结果的可信度评测指标
可定义为
图6 具有自适应编码层级的Transformer结构
Fig.6 Transformer structure with adaptive encoding hierarchy
（12）
式中，nmax为训练的样本总数；θ为Transformer模型的编码层级。
当Transformer的编码层级由q1提升至q2时，两个Transformer模型对原始的训练图像（共nmax幅）的辨识分类结果可信度评价指标差值y可定义为
如果检测结果y超过了模型的可信度阈值ymax，那么可以推断出基于q1编码层的原始训练图像的辨识分类结果需要进一步优化，以获得更加可靠的结果。Transformer编码层级的更新过程为，在Transformer网络层级q的情况下，yq表示辨识结果不满足可信度阈值ymax的全体样本熵损失值。在下一次识别过程中Transformer自适应调节的网络层级增量Δq计算式为
（14）
式中，⌈×⌉为上取整计算；t和x分别为每次增加的最大编码层数和增加编码层数的缩放系数，这些参数的取值则是由期望增加的编码层数而设定，若编码层级过多，则模型训练的计算量将显著增加；反之，若增加过小，则训练特征变化不充分，计算资源将被浪费。本文中期望编码层级每次增加的层数不超过3，且每次增加的层数期望为2，因此设定t=3，x=1.5。Δq为从编码层级q1到q2增加的编码层数。
输电线路的故障可以大致分为短路故障与雷击故障[27]，短路故障可以分为三相故障、两相故障、单相故障；雷击故障可以分为单重雷击故障与多重雷击故障。
多重雷击在自然界高发[28]，行波采集装置会采集到多次继后回击波形，其特征与故障行波的折反射波头有一定的相似性，若将继后回击波形误判为行波后续波头，会导致测距失败，错误地给出测距结果，对线路巡检等工作产生较大的影响，因此，准确识别多重雷击是有必要的，特别地，附图2展示了几组在云南电网高原山地输电线路采集到的多重雷击波形。综上所述，按照具体的故障相，将输电线路故障波形分为16类，如图7所示。
图7 输电线路故障波形分类
Fig.7 Transmission line fault waveform classification
由于部分故障类型发生次数较少，行波采集装置所采集到的波形数量不足，倘若在数据较少的情况下直接训练模型，容易产生过拟合、训练发散等问题，故进行以下处理：
（1）搭建仿真模型。在实时数字仿真器RTDS上依照云南电网220 kV DL站H-P线搭建仿真模型，线路全长为197.8 km，并对缺少实测数据的故障类型进行仿真。测试平台及仿真模型结构拓扑如图8所示。
（2）模拟量信号采集。以团队自主研发的XB2020行波采集与分析装置采集GTAO板卡输出的模拟量信号作为伪实测数据源。
（3）构建伪实测数据。为了更好地贴合实际情况，GTAO板卡输出的模拟量信号，将仿真数据叠加实测的噪声波形，构建伪实测数据。总数据集采用实测故障波形与伪实测波形组成。
本文选取的实测波形数据来源于行波采集装置。行波采集装置的采样率为1 MHz，输电线路电压等级为110～220 kV。结合实测数据可知，单相故障、两相故障、三相故障、多重雷击故障发生的次数较少，缺少实测数据样本，单重雷击故障虽有较多实测数据，但仍无法满足总数据集的需求。故对上述故障类型，构建伪实测数据。
本文设定不同的故障位置、过渡电阻、故障初相角、雷击电流幅值以及多重雷击的雷击时间间隔对(A/B/C)G、AB,AC,BC、(AB/AC/BC)G、ABC、(A/B/C)L、(A/B/C)ML故障进行仿真，结合现有的实测数据，构建总数据集。故障案例模拟配置及总数据集具体情况见表1、表2。
图8 RTDS测试平台
Fig.8 RTDS simulation experiment platform
表1 伪实测数据配置信息
Tab.1 Failure cases simulate configuration information
短路故障类型过渡电阻/Ω故障初相角/(º)遍历步长/km 单相短路接地(A/B/C)G0,50,100,200,30030,60,70,80,905 两相相间故障AB、AC、BC0,50,100,200,30030,60,70,80,905 两相短路接地故障(AB/AC/BC)G0,50,100,200,30030,60,70,80,905 三相短路故障ABCG0,150,30030,60,70,80,901 雷击故障类型雷电参数/μs雷击电流幅值/kA遍历步长/km 单重雷击故障(A/B/C)L1.2/50,8/20,3.83/77.5,10/35020,30,50,1002.5 多重雷击故障(A/B/C)ML击间间隔/ms100/50,100/20,50/20,100/50/50,100/50/20,100/20/20,100/50/50/50,100/50/50/20,100/50/20/20,100/20/20/2010 10,50,100,200,500
表2 总数据集构成信息
Tab.2 Total data set composition information
故障类型实测数据伪实测数据总计 单相故障AG1288723 000 BG103897 CG97903 两相相间故障AB689323 000 AC52948 BC57943 两相短路接地ABG319693 000 ACG25975 BCG18982 三相故障ABCG592 9413 000 单重雷击故障AL4855153 000 BL464536 CL471529 多重雷击故障AML89923 000 BML4996 CML6994 无效数据—3 00003 000
本文构建的总数据集共有18 000条波形数据。训练集规模占总数据集的70%，测试集规模占总数据集的30%，Transformer的训练轮数设定为20代，编码层级最大值imax=8，模型可信度阈值ymax=0.8，模型训练框架为Pytorch1.13，实验软硬件环境见表3。
由于卷积神经网络和Transformer模型对图像处理有着得天独厚的优势，根据Gram矩阵，对上述数据进行预处理，将波形无损转换为对应A、B、C三相的时间域图像，重构输入侧变量。
表3 实验软硬件环境
Tab.3 Experimental software and hardware environments
环境配置 CPUInter(R)Core(TM)i9-13900HX 内存/GB64 处理器主频/GHz5.80 GPU型号NVIDIA RTX 4090 操作系统Windows11(64 bit) 硬盘容量/TB2
本文使用受试者工作特征（Receiver Operating Characteristic, ROC）曲线，以及曲线下面积（Area Under the Curve, AUC）值对模型的综合性能进行评价。
记需要辨识的故障波形为正样本，其余的故障波形为负样本，真正类率（True Positive Rate, TPR）是指在某一类故障中，正样本总数占所有正样本总数的比例；伪正类率（False Positive Rate, FPR）是指在某一类故障中，预测错误的正样本占所有正样本总数的比例；准确率（Accurcay）是所有样本中预测正确样本所占比例；精确率（Precision）是指正确预测为正样本的比例。
（15）
（16）
（17）
（18）
式中，TP为正确辨识的正样本数；FP为错误辨识的正样本数；TN为正确辨识的负样本数；FN为错误辨识的负样本数。通过改变阈值，可获得不同的TPR和FPR，并绘制ROC曲线。然后计算AUC来得到一个整体的评估值。
基于故障波形分类检测结果的可信度评测指标，表4给出了自适应编码层级的Transformer网络在不同编码层级条件下，训练样本集中不同故障类型波形的辨识分类精度对比。
表4 不同编码层级Transformer的检测精度
Tab.4 Identification accuracy of Transformer under different encoding hierarchies
不同编码层Transformer本条数据无效短路故障雷击故障雷击未故障 2×Transformer0.9810.9080.9120.899 4×Transformer0.9850.9640.9360.924 6×Transformer0.9870.9890.9680.952 8×Transformer0.9910.9530.9500.936
由表4中可以看出，不同类型的故障波形辨识所需要的Transformer编码层级不同。浅层网络对于“本条数据无效”这类具有简单背景的故障波形辨识具有较好的检测效果，当面对具有较复杂背景的故障波形辨识时（如短路故障、雷击故障等），浅层网络难以获取故障波形的显著特征，辨识效果较深层网络明显更低。基于定义的可信度评测指标，自适应地调整Transformer模型编码层级，在更深层次的网络中提取故障波形更深层次的特征信息。但同时需考虑过拟合情况，见表4，当编码层级为8时，除了“本条数据无效”这类具有简单背景的故障波形，面对具有较复杂背景的故障波形辨识时，存在数据过拟合导致辨识率降低的问题。因此对不同故障波形类别的辨识，需要根据各类波形样本的情况来确定Transformer编码层级，进而对故障波形进行再次辨识以获得更为可靠的结果。
结合表4关于各类故障波形数据在不同编码层级Transformer的检测精度，这里给出不同故障类型所处的Transformer编码层级。
按照表5关于不同故障类型时，Transformer所处的编码层级进行训练，对于测试集的故障波形辨识结果如图9所示。从图9中可以看出，基于CABFAM-Transformer的故障波形辨识模型的准确率为98.28%。
表5 各故障类型对应的Transformer编码层级
Tab.5 The corresponding Transformer encoding hierarchies for different fault types
故障类型Transformer编码层级 本条数据无效2×Transformer 短路故障6×Transformer 雷击故障6×Transformer 雷击未故障6×Transformer
图9 测试集的故障波形辨识结果
Fig.9 Fault waveform identification results of the test set
结合实际的行波采集装置的情况，在一条线路的行波采集装置启动后所采集到的故障波形中，绝大部分属于无效波形，而故障波形很少，此时对故障波形进行辨识就显得尤为重要。电网行波检测设备采集到的“无效数据”主要由两种工况产生：一是故障数据中的非故障通道行波，由于行波采集装置通常有多路输入，同时采集同一母线的所有出线，当其中一回线路故障，行波采集装置启动录波时，会记录所有通道的行波信息，此时，非故障线路采集到的就是“无效数据”；二是故障后续波形，行波采集装置入网测试需满足短时内连续启动及记录的功能，由于行波的灵敏性，会导致一次故障启动后多次连续记录行波波形，这些故障后续波形也是“无效数据”。
对云南电网220 kV DJZ变电站从2010年6月至2020年9月，一共14 688条行波波形数据进行辨识，基于上述中不同故障类型所处的Transformer编码层级，得到ROC曲线如图10所示。计算每个分类类型的ROC曲线下面积（AUC），得到表6。
对上述四种故障类型的AUC取平均值，得到模型的平均AUC（mAUC）为0.982。
在实验过程中，还对比了本文算法与使用传统时序分类法DTW&KNN、SVM、决策树、随机森林，深度学习算法CNNs、RNNs、ResNet52、Transfomer、LSTM、BiLSTM与融合模型BiLSTM-CNN、BiLSTM-Transformer进行故障波形辨识的结果，以上模型采用与本文方法相同的数据集训练，测试集也均为不平衡样本，不同模型的故障辨识结果见表7。
图10 不同故障类别的ROC曲线
Fig.10 ROC curves of different fault types
表6 每个故障类型的AUC
Tab.6 AUC for each fault type
故障类型AUC值 本条数据无效0.987 短路故障0.952 雷击故障0.991 雷击未故障0.998
表7 不同模型的故障辨识结果
Tab.7 Fault identification results for different models
模型mAUCAccuracyPrecisionF1训练时长/h辨识时长/ms DTW&KNN0.705(27.7%↑)0.701(28.2%↑)0.688(29.3%↑)0.685(28.9%↑)41124 SVM0.796(18.6%↑)0.793(19%↑)0.775(20.6%↑)0.772(20.2%↑)35101 决策树0.801(18.1%↑)0.795(18.8%↑)0.779(20.2%↑)0.781(19.3%↑)45135 随机森林0.811(17.1%↑)0.804(17.9%↑)0.791(19%↑)0.784(19%↑)39112 CNNs0.889(9.3%↑)0.881(10.2%↑)0.877(10.4%↑)0.875(9.9%↑)102.5 RNNs0.882(10%↑)0.877(10.6%↑)0.873(10.8%↑)0.868(10.6%↑)122.6 ResNet520.903(7.9%↑)0.883(10%↑)0.865(11.6%↑)0.863(11.1%↑)102.4 Transformer0.913(6.9%↑)0.906(7.7%↑)0.901(8%↑)0.892(8.2%↑)245.1 LSTM0.884(9.8%↑)0.876(10.7%↑)0.872(10.9%↑)0.868(10.6%↑)133.2 BiLSTM0.886(9.6%↑)0.882(10.1%↑)0.879(10.2%↑)0.873(10.1%↑)133.2 BiLSTM-CNN0.925(5.7%↑)0.922(6.1%↑)0.919(6.2%↑)0.915(5.9%↑)9.52.4 BiLSTM-Transformer0.946(3.6%↑)0.937(4.6%↑)0.935(4.6%↑)0.929(4.5%↑)204.8 本文算法0.982(基准值)0.983(基准值)0.981(基准值)0.974(基准值)184.1
从实验结果可以看出，本文模型比使用传统时序分类法DTW&KNN、SVM、决策树、随机森林，深度学习算法CNNs、RNNs、ResNet52、Transfomer、LSTM、BiLSTM与融合模型BiLSTM-CNN、BiLSTM-Transformer进行故障波形辨识的精度均有所提高，表明了本文故障波形辨识的优越性。本文算法虽然在训练时长和单条波形数据辨识上比传统的CNNs与LSTM及其变种融合模型的耗时稍长，但故障辨识准确率大幅度提升且模型更稳健，这在提升行波波形故障辨识网络性能方面有着很大的进展。本文算法使用了优化卷积神经网络，从时间和空间提取特征信息并进行压缩，在降低Transformer模块处理信息量、提高辨识效率的同时，减少了无关信息对感兴趣的特征信息检测的干扰，提高了辨识精度。
为了验证每个改进点的有效性，本文通过逐步添加改进的方式开展消融实验，实验结果见表8。
表8 消融实验结果
Tab.8 Ablation experiment results
实验组SiLUCBAMTransformermAUCAccuracyPrecisionF1 10.9460.9370.9350.929 2P0.9580.9420.9540.956 3P0.9750.9640.9510.963 4P0.9770.9570.9670.962 5PPP0.9820.9830.9810.974
从表8中可以看出，在加入SiLU激活函数后，mAUC、Accuracy、Precision、F1指标分别提升了1.2、0.5、1.9和2.7个百分点；在加入CBAM模块后，四项指标分别提升了2.9、2.7、1.6和3.5个百分点；在加入自适应Transformer模块后，四项指标分别提升了3.1、2、3.2和3.3个百分点。将改进后的模型与原始模型相比较，mAUC提升了3.6个百分点，Accuracy和Precision提升了4.6个百分点，F1分数提高了4.5个百分点，以上实验结果证明了本文提出方法的有效性。
针对长期运行于电网的行波装置启动值普遍较小、启动频繁、采样数据中包含较多无用数据等影响行波测距的问题，本文提出基于CABFAM-Transformer的输电线路故障辨识方法，以电网十余年获取的数万条行波数据进行训练、测试验证，结果表明：
1）本文通过经典CNN结合第一块MBConv模块，有效地筛选出复杂故障波形中的特定特征。随后，第二块MBConv模块对提取的特征信息进行压缩与聚焦，从而提升故障波形识别的准确性，并减少Transformer的训练时间。
2）采用卷积注意力机制（CBAM）来替换MBConv结构中的SE模块，将输入特征图与通道维度和空间维度的注意力映射相乘，可以实现自适应特征细化，消融实验证明了CBAM能够增强模型的表达能力和理解能力。
3）引入SiLU激活函数，其基于Sigmoid函数的设计增加了线性部分，实验证明该函数能够更有效地拟合线性关系，从而加速学习过程并提升稳定性。同时，SiLU函数有效地解决了传统Sigmoid和ReLU激活函数在训练中遇到的相关问题。
4）通过构建故障波形辨识结果可信度指标，自适应地调整网络编码层级，建立具有不同编码层级的Transformer模型库，可以提取故障波形的多层次差异化特征，提升了辨识的精度和鲁棒性。
5）本文算法故障波形辨识的平均精度为98.28%，结合实际行波采集装置所采集到的不平衡样本，mAUC、Accuracy、Precision和F1值分别达到0.982、0.983、0.981和0.974，均优于其他的辨识方法。
本文所提出的基于CABFAM-Transformer的输电线路故障辨识模型在实现上述4类，共16种故障辨识的基础上，利用Python的实时交互性，可进一步在各条输电线路在线行波测距、雷击信息统计、易闪段识别和短路故障高发区域确认等方面应用。
附 录
附图1 八种主要分类波形与其对应A、B、C三相时间域图像
App.Fig.1 Time domain images of 8 main classification waveforms with their corresponding A, B and C phases
附图2 云南电网高原山地输电线路采集到的多重雷击波形
App.Fig.2 Multi-lightning strike waveforms collected from transmission lines in the highland mountains of Yunnan Power Grid
参考文献
[1] 戴志辉, 牛宝仪, 李铁成, 等. 基于控保协同的三端混合直流输电系统线路保护方法[J]. 电工技术学报, 2025, 40(1): 108-121. Dai Zhihui, Niu Baoyi, Li Tiecheng, et al. Line protection method of three-terminal hybrid DC transmission system based on control and protection coordination[J]. Transactions of China Electro-technical Society, 2025, 40(1): 108-121.
[2] 郑涛, 陈云飞, 马英, 等. 基于复合暂态能量的多端柔性直流电网自适应差动保护[J]. 电工技术学报, 2025, 40(5): 1440-1454. Zheng Tao, Chen Yunfei, Ma Ying, et al. Differential protection for multi terminal flexible DC power grid based on composite transient energy[J]. Transactions of China Electrotechnical Society, 2025, 40(5): 1440-1454.
[3] 许水清, 许晓凡, 何怡刚, 等. 基于自适应滑模观测器的3L-NPC并网逆变器开关管和电流传感器故障诊断[J]. 电工技术学报, 2024, 39(13): 4066-4078. Xu Shuiqing, Xu Xiaofan, He Yigang, et al. A diagnosis method for power switch and current sensor faults in grid-connected three-level NPC inverters based on adaptive sliding mode observer[J]. Transactions of China Electrotechnical Society, 2024, 39(13): 4066-4078
[4] 邱大林. 110 kV T接输电线路单端行波测距方法的研究[D]. 昆明: 昆明理工大学, 2019. Qiu Dalin. Research on single-ended traveling wave distance measurement method in 110 kV T transmission lines[D]. Kunming: Kunming University of Science and Technology, 2019.
[5] 束洪春, 田鑫萃, 吕蕾. 基于多测度的闪络故障行波与干扰杂波辨识[J]. 电力系统自动化, 2017, 41(19): 128-134. Shu Hongchun, Tian Xincui, Lü Lei. Multi-measure based identification of flashover fault traveling wave and interference noise[J]. Automation of Electric Power Systems, 2017, 41(19): 128-134.
[6] 卢晓强, 李刚, 周万竣, 等. 基于最小二乘双支持向量机的配电网短路故障辨识方法研究[J]. 武汉大学学报(工学版), 2022, 55(4): 401-408. Lu Xiaoqiang, Li Gang, Zhou Wanjun, et al. Research on identification method of short-circuit fault in distribution network based on least squares twin support vector machine[J]. Engineering Journal of Wuhan University, 2022, 55(4): 401-408.
[7] 童晓阳, 罗忠运. 基于模糊支持向量机的输电线路故障模糊分类方法及其降维显示[J]. 高电压技术, 2015, 41(7): 2276-2282. Tong Xiaoyang, Luo Zhongyun. Transmission line faults classification method based on fuzzy support vector machine and reducing-dimension display[J]. High Voltage Engineering, 2015, 41(7): 2276-2282.
[8] Shi Shenxing, Zhu Beier, Mirsaeidi S, et al. Fault classification for transmission lines based on group sparse representation[J]. IEEE Transactions on Smart Grid, 2019, 10(4): 4673-4682.
[9] Liao Wenlong, Bak-Jensen B, Radhakrishna Pillai J, et al. A review of graph neural networks and their applications in power systems[J]. Journal of Modern Power Systems and Clean Energy, 2022, 10(2): 345-360.
[10] 何志鹏, 李伟林, 邓云坤, 等. 低压交流串联故障电弧辨识方法[J]. 电工技术学报, 2023, 38(10): 2806-2817. He Zhipeng, Li Weilin, Deng Yunkun, et al. The detection of series AC arc fault in low-voltage distribution system[J]. Transactions of China Electro-technical Society, 2023, 38(10): 2806-2817.
[11] 张广斌, 陈柏宇, 束洪春, 等. 基于时域波形特征认知的输电线路近端故障辨识与定位[J]. 电力系统自动化, 2024, 48(5): 146-156. Zhang Guangbin, Chen Boyu, Shu Hongchun, et al. Identification and location of near-end faults in transmission lines based on time-domain waveform characteristic recognition[J]. Automation of Electric Power Systems, 2024, 48(5): 146-156.
[12] Chen Kunjin, Hu Jun, He Jinliang. Detection and classification of transmission line faults based on unsupervised feature learning and convolutional sparse autoencoder[C]//2017 IEEE Power & Energy Society General Meeting, Chicago, IL, USA, 2017: 1.
[13] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 2015: 1-9.
[14] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778.
[15] Oquab M, Bottou L, Laptev I, et al. Learning and transferring mid-level image representations using convolutional neural networks[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 1717-1724.
[16] Tan Mingxing, Le Q V. EfficientNet: rethinking model scaling for convolutional neural networks [EB/OL]. 2019: 1905. 11946. https: //arxiv. org/abs/ 1905. 11946v5
[17] Goodfellow I , Bengio Y, Courville A. Deep Learning Adaptive Computation and machine learning series[M]. Cambridge, MA: The MIT Press, 2016.
[18] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM, 2017, 60(6): 84-90.
[19] Cao Di, Hu Weihao, Zhao Junbo, et al. Reinforcement learning and its applications in modern power and energy systems: a review[J]. Journal of Modern Power Systems and Clean Energy, 2020, 8(6): 1029-1042.
[20] Chen Bairen, Wu Q H, Li Mengshi. et al. Detection of false data injection attacks on power systems using graph edge-conditioned convolutional networks[J]. Prot Control Modern Power Systems, 2023, 8: 16.
[21] 袁嘉玮, 焦在滨. 基于零序信号全波形识别的小电流接地系统故障选线方法[J]. 电网技术, 2024, 48(2): 839-853. Yuan Jiawei, Jiao Zaibin. Faulty feeder detection in small current grounding system based on complete waveform recognition of zero-sequence signals[J]. Power System Technology, 2024, 48(2): 839-853.
[22] 徐舒玮, 邱才明, 张东霞, 等. 基于深度学习的输电线路故障类型辨识[J]. 中国电机工程学报, 2019, 39(1): 65-74, 321. Xu Shuwei, Qiu Caiming, Zhang Dongxia, et al. A deep learning approach for fault type identification of transmission line[J]. Proceedings of the CSEE, 2019, 39(1): 65-74, 321.
[23] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.
[24] Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16×16 words: transformers for image recognition at scale[J]. ArXiv e-Prints, 2020: arXiv: 2010. 11929.
[25] Zhao Xudong, Zhang Mengmeng, Tao Ran, et al. Fractional Fourier image transformer for multimodal remote sensing data classification[J]. IEEE Transa-ctions on Neural Networks and Learning Systems, 2024, 35(2): 2314-2326.
[26] Morel M, Achard C, Kulpa R, et al. Time-series averaging using constrained dynamic time warping with tolerance[J]. Pattern Recognition, 2018, 74: 77-89.
[27] 陈柏元. 电力输电线路故障分类方法及其应用研究[D]. 重庆: 重庆理工大学, 2018. Chen Boyuan. Research on fault classification method and its application of power transmission line [D]. Chongqing: Chongqing University of Technology, 2018.
[28] Rakov V A, Borghetti A, Bouquegneau C, et al. CIGRE technical brochure on lightning parameters for engineering applications[C]//2013 International Sym-posium on Lightning Protection (XII SIPDA), Belo Horizonte, Brazil, 2013: 373-377.
Abstract This paper presents an innovative approach to fault identification for transmission lines by integrating a convolutional attention-based feature aggregation module (CABFAM) with an adaptive Transformer model. Traditional traveling wave acquisition systems often suffer from frequent triggering, significant noise interference, and difficulty in detecting weak fault signals. To address these limitations, this study proposes a method that combines the strengths of convolutional feature extraction and Transformer-based multi-layer encoding. The objective is to improve the reliability, accuracy, and efficiency of fault identification, providing robust support for the safe operation of power systems.
The methodology involves a hybrid architecture that leverages both convolutional modules and Transformer encoders. Specifically, the convolutional block attention module (CBAM) enhances feature extraction by refining channel-wise and spatial features through an attention mechanism. These refined features are then processed by an adaptive Transformer-based encoder, which extracts multi-layered characteristics from complex fault data, ensuring comprehensive analysis and classification.
A combination of real-world and simulated data was used to develop and validate the model. The dataset includes 5 076 measured waveforms from 110-220 kV transmission lines in the Yunnan power grid and 15 924 simulated fault scenarios. Key innovations include the use of SiLU (Sigmoid Linear Unit) activation functions to mitigate gradient vanishing problems, improving the stability of the backpropagation process. The model parameters were optimized through iterative training to balance computational efficiency and accuracy, ensuring scalability for large-scale applications.
The proposed model demonstrates superior performance in fault detection and classification compared to traditional methods. Key metrics from the experimental evaluation include an mAUC of 0.982, an accuracy of 0.983, a precision of 0.981, and an F1-score of 0.974, indicating the robustness of the approach. Ablation studies further revealed that integrating the CBAM module improved model performance by more than 3 percentage points, while the adaptive Transformer structure contributed an additional 4.5 percentage points increase in key performance indicators.
Comparative analysis with existing fault identification techniques highlights the advantages of the proposed model. It not only improves classification accuracy but also maintains high efficiency under noisy conditions and weak fault scenarios. The model's ability to handle diverse fault types and maintain low computational overhead makes it suitable for real-time applications. Additionally, the CABFAM-Transformer framework efficiently processes high-dimensional traveling wave data without compromising on speed, supporting fast decision-making for power grid operators.
The results of this study confirm that the CABFAM-Transformer-based fault identification method offers significant improvements over traditional approaches in terms of accuracy, robustness, and efficiency. By combining convolutional attention modules with adaptive Transformer encoders, the framework addresses the challenges posed by noisy data and weak fault signals, ensuring reliable detection across a wide range of scenarios. The use of SiLU activation functions further enhances the model's performance by stabilizing the training process and preventing gradient issues.
This method provides a scalable solution for real-world applications in power grid fault management, with the potential to improve operational efficiency and reduce downtime. Future research will explore further optimization of the Transformer architecture to reduce computational costs and enhance real-time capabilities. The application of this model to larger-scale datasets and diverse grid environments will also be investigated, with the aim of developing a comprehensive fault management system for modern power networks.
Keywords：Traveling wave acquisition device, convolutional attention-based feature aggregation module (CABFAM), adaptive Transformer, measured data samples, fault identification
DOI: 10.19595/j.cnki.1000-6753.tces.240326
中图分类号：TM773
国家自然科学基金重点资助项目（52337005）。
收稿日期 2024-03-03
改稿日期 2024-10-25
唐玉涛 男，1995年生，博士研究生，研究方向为新能源电力系统雷电防护，输电线路多重雷击致灾机理与防护。E-mail：kusttyt@sina.cn
束洪春 男，1961年生，教授，博士生导师，研究方向为电力系统新型继电保护与故障测距、电力系统稳定与控制等。E-mail：kmshc@sina.com（通信作者）
（编辑 郭丽军）