图1 检测总体流程
Fig.1 Detection procedure
摘要 常规基于图像和深度学习的扁线绕组焊点缺陷检测方法需要大量缺陷焊点数据用于训练模型，而实际生产线上扁线绕组缺陷焊点样本十分匮乏，存在小样本和样本类别不平衡的问题。该文基于特征比对提出一种扁线绕组焊点缺陷检测方法，首先使用目标检测模型检测绕组端面上的所有焊点位置，再复用模型的骨干网络提取每个焊点区域的特征，并与训练过程中通过提取正常焊点的中间层特征构建的特征库中的特征作相似性比对，进而检测缺陷并定位缺陷位置。采用产线实拍照片制作了扁线绕组焊点的数据集，并在数据集上完成了实验与对比分析。结果表明，提出的方法在不依赖缺陷样本的情况下，能够准确实现产线实拍图像上焊点的缺陷检测，分类准确率达到98.4%，对缺陷样本的检测精度达97.0%，召回率达100%，算法的受试者工作特征曲线下的面积（AUROC）指标在图像级和像素级上分别达到97.4%、98.0%，满足工业需求。
关键词：扁线绕组 激光焊接 深度学习 小样本问题 缺陷检测
相对于圆线绕组，扁线绕组提高了定子槽的槽满率，增强了散热能力，使得扁线电机的效率和能量密度都得到了提升，因此成为电动汽车驱动电机的主要选择[1-4]。制作扁线电机的主要工艺流程包括将覆有绝缘漆铜线两端的漆层除掉后，扭曲成U状，插装在定子槽内，再将两端的裸铜扭转成形，并通过激光等技术焊接连接[5]。然而，由于铜材表面对激光有较强的反射性，焊接过程中可能会出现凹坑、焊珠飞溅及焊接不充分等缺陷。这些焊接缺陷会影响焊点的力学性能和电气性能，进而对电机的安全性构成潜在威胁，因此焊接质量的监测显得尤为重要[6]。
扁线绕组焊接质量的监测评估从技术上大体可分为两种：基于物理特性的方法和基于图像的方法。物理特性检测方法通过观察焊接过程中产生的辐射、声学及光学信号，或者测量焊接后的电气性能来评估焊接质量[7-10]。基于图像的检测方法目前大多采用深度学习，该类方法由于无接触、无损伤的特点，且具备高效的自动化检测能力，已经广泛应用于各种缺陷的检测[11-14]。目前，文献中基于图像对扁线绕组焊点进行缺陷检测的方法往往利用带有标签的缺陷样本数据训练模型，以在检测阶段识别类似缺陷。文献[15]基于卷积神经网络设计了一套电机绕组激光焊接质量监测系统，实现对扁线绕组焊点不规则、凹陷、割缝、焊珠、孔洞缺陷的检测，达到92%的焊点缺陷召回率。文献[16]将扁线绕组焊点分为焊接正常、焊接不足、焊接凹坑、焊接飞溅四种类型，采用3D相机记录焊点并转换为平面灰度图像，基于卷积神经网络实现99.21%的缺陷召回率。文献[17]基于U-Net、文献[18]基于VGG-16、文献[19]基于InceptionV3网络也都实现了对扁线绕组焊点缺陷的检测。
上述文献提出的检测方法主要关注缺陷特征，有两个问题需要重视：①模型的训练依赖大量的缺陷数据；②缺陷数据的标签分类会对检测结果产生影响。然而，由于扁线绕组焊接工艺的稳定性，产线上难以获取足够的缺陷样本，一些文献中通过改变焊接条件从而获取所需的缺陷样本，造成了附加的成本；此外，焊接故障发生时，缺陷类型往往难以全面描述，且这些文献对绕组焊接缺陷类型的定义和描述存在差异[6,15-16]，将导致模型无法检测出未知类型的缺陷。
针对实际生产中缺陷焊点数据稀缺和样本类别不平衡的问题，本文提出一种在目标检测模型中采用特征比对的缺陷检测方法，该方法提取正常焊点样本的特征，并构建特征库。在检测阶段，当识别检测出产线图像上的焊点位置信息后，复用骨干网络再次提取这些位置区域的特征，逐一与特征库进行相似性比对，以判断焊点为正常或异常。不同于其他扁线绕组焊点检测方法依赖足够的焊点缺陷数据，该方法仅依靠正常焊点的样本数据即可判别焊点是否存在缺陷，并定位缺陷区域。
本文提出的基于特征比对的扁线绕组焊点缺陷检测方法的检测原理及总体流程框图如图1所示。在训练阶段，对含有预训练的Resnet50网络[20]的目标检测模型进行迭代训练以实现焊点位置检测，同时保存正常焊点经预训练的Resnet50网络提取到的中间层特征以构建特征库；测试阶段分为两步：①利用已完成训练的目标检测模型得到待检图像上焊点的位置；②复用模型中的Resnet50网络提取该区域的特征，并与特征库中存储的特征作比对，从而确定此焊点是否存在缺陷，并定位其缺陷区域。
图1 检测总体流程
Fig.1 Detection procedure
本文构建了以基于ImageNet[21]预训练的Resnet50网络为骨干网络的检测模型，该模型结构基于Yolov5[22]，颈部采用了特征金字塔网络（Feature Pyramid Network, FPN）和路径聚合网络（Path Aggregation Network, PAN）结构用于融合不同尺度的特征信息，但在检测头部分不预测类别信息，焊点目标检测模型如图2所示。最终预测输出信息为
，
为置信度，
包含边界框中心坐标和宽高即
，以
表示手工标记的真实标签，在训练阶段，网络的目标置信度损失函数和目标定位损失函数为
（1）
（2）
式中，
为二分类交叉熵损失函数；
为完全交并比损失函数，采用CIoU[23]衡量预测边界框和真实边界框
的重叠区域。
图2 焊点目标检测模型
Fig.2 Welded hairpin detection model
总损失函数为
（3）
式中，
为系数，以平衡损失函数之间的关系。
在训练时，由于基于数据集ImageNet预训练的Resnet50网络已学习到了大量不同形状、纹理和颜色的物体特征，需要利用预训练网络的物体表面特征提取能力构建正常焊点的特征库，以判别表面不同于正常焊点的缺陷焊点样本，因此在训练时冻结模型中的骨干网络Resnet50，只迭代训练颈部和检测头的部分。
训练完毕，模型能实现焊点位置信息的回归，根据预测的位置裁剪处理成新的单一焊点的图像，用来在检测过程中判别待检测焊点是否存在异常。
本文构建正常焊点样本的特征库的流程如图3所示，具体步骤如下。
1）正常焊点的特征提取
以
表示焊点形貌良好的样本训练集，
图3 特征库构建
Fig.3 Feature bank creation
为样本的数量。图像
经Resnet50后生成了不同层级的特征图，使用
表示图像
在层级
的特征图，
是三维张量，其维度分别表示通道数
、高度
、宽度
，使用
表示位置索引在
处的切片，其中
。
2）特征邻域聚合及不同层特征融合
为了增大特征图的感受野，同时不降低分辨率，对特征图采用了邻域聚合，使用
表示以为中心，l为长度的矩形区域，该区域特征表示为
（4）
式中，
为区域
中的具体位置；
为邻域聚合函数，用于将区域中所有位置的特征信息聚合起来。本文使用平均池化，即
（5）
对于特征图
的每个像素位置，即
，均进行了上述平均池化的邻域聚合操作，既增大了感受野，也增大了对噪点的鲁棒性。像素点处理后的特征集合表示为
（6）
采用不同层级间特征融合可提升检测和分割的性能，本文采用双线性插值的方法使高层级特征图与低层级特征图的尺度对齐，并沿着深度方向将不同层级特征图拼接在一起。
图像经骨干网络生成的4个层级的特征图分别提取到不同的特征信息。层级
主要提取基本的边缘、纹理、颜色等特征；层级
开始捕捉一些简单的形状和结构信息；层级
进一步提取复杂模式和局部结构，能够识别出更复杂的形状和纹理；层级
经过深层次的卷积处理，识别更抽象的语义层次的内容，如具体的物体类别、场景等。因此，本文选择层级
的中间层特征，以最大程度增强对焊点表面的细节纹理和局部结构的特征提取与识别能力，同时防止焊点图像低层级的基本特征相似或高层级的语义信息相似而难以辨别缺陷。以
表示图像根据所选层级融合后最终生成的特征图。
3）存储特征、采样得到特征库
对于所有训练中的正常图像
，特征库
的构建过程可描述为
（7）
中存储了每个位置的特征，将的维度展平成
，其中
，表示存储特征的数量。由于检测阶段使用k近邻（k-Nearest Neighbors, kNN）算法以实现异常区域检测，随着样本数量的增加，特征数量
大大增加，使得kNN算法的计算复杂度增大，检测速度减慢，根据情况对按照一定的采样率进行采样是必要的，需找到一个子集
使得
最大程度近似表达，以欧式距离表示集合中两点间的距离，以最小化集合间的Hausdorff距离为目标确定子集，即
（8）
具体实现步骤如框图4所示。
图4 构建步骤
Fig.4 Creation process
在检测阶段，实现焊点缺陷检测的流程如图5所示。对于目标检测模型检测裁剪出的焊点图像
，对复用Resnet50网络提取融合后最终生成的每一处特征
使用kNN算法，以欧式距离为度量搜索中最邻近的特征
，即
（9）
并以此距离作为
的异常分数
，即
（10）
图5 缺陷检测
Fig.5 Defect detection
考虑到中可能存在个别离群特征的干扰，如在训练时意外放入异常图像，在使用kNN算法时选取
个临近特征，对进行如下的加权放缩。
（11）
式中，
为中与最邻近的个特征，文中选取
。
根据
与给定阈值
的比较，如果
，则可判断测试图像
中该位置存在异常，并根据位置进行焊点缺陷区域的分割；反之，若全区域都不存在，则认为该焊点不存在缺陷区域，是正常样本。
实验平台在Win10系统上进行，GPU为NVIDIA Quadro RTX 6000，编译语言为Python 3.10，深度学习框架为PyTorch。
本文的实验数据为工业焊接产线流水上的图像，采集了110张产线图像，每张图像包含16～20个完整的绕组焊点样本，如图6所示。
图6 产线图像
Fig.6 Production line image
根据焊接后的焊点形貌是否符合标准，将焊点类别分为了正常、异常两类，异常焊点包括一些焊珠飞溅、焊接不充分、严重缺陷等，如图7所示。在产线图像中标注了焊点的位置和类别。由于产线上焊点缺陷率很低，这些样本中仅存在165个异常样本，存在1 760个正常样本。
图7 扁线绕组焊点类别
Fig.7 Welded hairpin classes
为衡量本文提出的焊点缺陷检测方法的效果，将所有异常标签从原图像中裁剪出来，进一步标注了所有异常焊点样本的缺陷分割掩码，如图8所示。
图8 异常样本分割掩码
Fig.8 Defect segmentation masks
1）端到端的目标检测算法实测结果
为对比起见，根据标注的数据集，采用目标检测进行端对端的缺陷检测，检测头直接预测焊点的位置和类别。将产线数据集按照4:1进行划分，89张作为训练集，22张作为测试集，采用Adam优化器，进行300轮迭代训练，以平均精度（Average Precision, AP）评估检测效果，最终得到不同类别精度-召回率曲线如图9所示。
图9 不同类别精度-召回率曲线
Fig.9 Precision-recall curves of different classes
由于数据集类别不平衡，正常样本数量远高于异常样本数量，且大部分异常样本的缺陷区域占比很小，非显著特征。训练后的目标检测模型在预测焊点类别时都偏向了正常样本，无法准确识别到异常样本，导致异常样本的AP值很低，直接采取端到端的目标检测模型对于本文的研究场景无法实现预期的效果。
因此，考虑先检测出图像焊点的位置，根据位置裁剪成单一的焊点图像，从分辨率更高的单一焊点图像尺度进行缺陷的检测。
使用目标检测算法仅回归焊点位置，检测的AP值结果如图10所示，表明能将焊点都检测出来。
图10 焊点精度-召回率曲线
Fig.10 Precision-recall curve of welded hairpin
（2）常规分类网络检测算法实测结果
根据位置裁剪得到每个焊点图像后，设置预训练Resnet50网络为骨干网络，全连接层为分类器的分类网络以在单个焊点图像的尺度上观察检测效果。为平衡样本类别，从正常样本中随机采样抽取与异常样本数量相同的样本，并按照4:1划分训练集与测试集，损失函数采用交叉熵损失，采用Adam优化器，对冻结Resnet50仅训练全连接层和训练全部网络权重两种方式分别做了训练与测试，训练过程如图11所示。
仅训练全连接层的结果发现，测试损失不会随着训练损失减小而减小，测试的准确率在50%处浮动，无法实现对焊点正常/异常分类；全训练方式会训练Resnet50网络和全连接层，无法复用目标检测模型的网络，需要额外存储一份训练权重，造成额外开销。在收敛后测试准确率可实现89.1%，对缺陷样本有87.9%的精度，90.6%的召回率。为更全面评估性能，绘制了接受者操作特性（Receiver operating, characteristic, ROC）曲线，该曲线以假正例率（False Positive Rate, FPR）为横坐标，真正例率（True Positive Rate, TPR）为纵坐标，采用受试者工作特征曲线下的面积（Area Under the Receiver Operating characteristic Curve, AUROC）作为衡量指标，全训练方式的结果如图12所示。
图11 不同训练方式的训练指标
Fig.11 Training metrics of different training methods
图12 分类网络的图像级ROC
Fig.12 Image-level ROC of classification network
（3）本文提出的缺陷检测算法实测结果
采用本文提出的缺陷检测算法，在目标检测模型中检测出焊点位置，裁剪成新图像后，复用模型中预训练的Resnet网络提取获得该焊点的中间层特征，与正常焊点图像构成的特征库中特征作相似性比对，以计算各处的异常分数，不仅可以在图像层面判别异常，还能在像素层面分割异常区域。实验测试准确率可达98.4%，对缺陷样本有97.0%的精度，100%的召回率，且达到97.4%的图像级AUROC和98.0%的像素级AUROC，结果如图13所示，与全训练方式的分类网络对比见表1。
图13 缺陷检测算法的ROC
Fig.13 ROC of defect detection algorithm
表1 不同算法的检测结果 （%）
Tab.1 Detection results of different algorithms
检测方法准确率精度召回率图像级AUROC 分类网络89.187.990.693.6 本文方法98.497.010097.4
为探究层级高低和构建特征库时的采样率对缺陷检测算法的影响，使用不同层级的特征及不同采样率进行实验。不同层级对所提出异常检测算法的影响结果见表2，可见中间层级的特征既能防止低层级较低的感受野又能避免高层级较强的语义信息而丢失局部信息，进一步融合中间层特征，更有利于提高检测指标。使用不同采样率对特征库进行构建的影响结果见表3，采样率反映了特征库与原始库占用存储空间的比率，小采样率在使得特征库的内存显著降低的情况下，仅略微降低了检测指标。
表2 不同层级的影响
Tab.2 Impact of different layers on results
采用层级图像级AUROC（%）像素级AUROC（%） 186.075.6 296.687.8 393.796.8 482.988.7 2,397.498.0
表3 不同采样率的影响
Tab.3 Impact of different sample ratios on results
采样率图像级AUROC（%）像素级AUROC（%） 0.197.498.0 0.0196.598.0 0.00192.896.3
缺陷检测部分实例如图14所示，图中真实缺陷掩码表示手工标注的基准缺陷区域，预测掩码表示算法预测的缺陷区域。
实验表明，本文提出的缺陷检测方法在缺少缺陷样本数据集的情况下，仅利用正常样本特征构建特征库，通过计算测试焊点图像特征的异常分数，仍然能够实现对缺陷焊点的检测任务，并且通过复用目标检测模型中的骨干网络Resnet50，减少了网络参数，节省了资源。
由于实际工业生产中扁线绕组焊点的缺陷数据稀缺，面临难以直接使用有监督的端对端检测算法进行缺陷识别的困难，对此，本文提出了一种不依赖缺陷数据的焊点缺陷检测技术。该技术构建正常焊点样本的特征库，在目标检测模型准确捕捉产线图像上的绕组焊点位置后，复用模型的骨干网络，提取并整合每个焊点的中间层级的特征信息，这些特征将被逐一与特征库进行相似性比对，以此来鉴别焊点是否形成了异常缺陷，并分割缺陷区域。实测结果显示，本文提出的方法在不依赖缺陷样本的情况下，实现了98.4%的分类准确率，对缺陷样本的检测达到97.0%的精度和100%的召回率，且达到97.4%的焊点图像级AUROC和98.0%的像素级AUROC，满足工业需求，克服了生产上缺陷样本数据稀缺的难题，为扁线绕组焊点缺陷检测的工业任务提供了一种新的思路。
图14 缺陷检测实例
Fig.14 Detect detection instances
参考文献
[1] Tola O J, Ambafi J G, Umoh E A, et al. Performance analysis of a PMSM for traction applications in electric vehicles with hairpin winding technology[C]// 2022 IEEE Nigeria 4th International Conference on Disruptive Technologies for Sustainable Development (NIGERCON), Lagos, Nigeria, 2022: 1-5.
[2] Berardi G, Nategh S, Bianchi N, et al. A comparison between random and hairpin winding in E-mobility applications[C]//IECON 2020 The 46th Annual Conference of the IEEE Industrial Electronics Society, Singapore, 2020: 815-820.
[3] 朱洒, 曾峰, 陆剑波, 等. 考虑PWM谐波损耗的车用扁线内嵌式永磁同步电机效率图简化工程计算[J].电工技术学报, 2022, 37(22): 5687-5703.
Zhu Sa, Zeng Feng, Lu Jianbo, et al. Simplified engineering calculation of efficiency map of interior permanent magnet synchronous machines with hairpin windings considering PWM-induced harmonic losses[J]. Transactions of China Electrotechnical Society, 2022, 37(22): 5687-5703.
[4] 王晓光, 尹浩, 余仁伟. 轴向磁通无铁心永磁电机多层矩形扁线绕组涡流损耗解析计算及优化[J]. 电工技术学报, 2023, 38(12): 3130-3140.
Wang Xiaoguang, Yin Hao, Yu Renwei. Analytical calculation and parameter optimization of eddy current loss for coreless axial flux permanent magnet synchronous machine with multilayer flat wire winding[J]. Transactions of China Electrotechnical Society, 2023, 38(12): 3130-3140.
[5] Glaessel T, Riedel A, Franke J, et al. Influence of enameled wire preparation on the laser welding of hairpin windings[C]//2022 IEEE 67th Holm Conference on Electrical Contacts (HLM), Tampa, FL, USA, 2022: 1-5.
[6] Glaessel T, Seefried J, Franke J. Challenges in the manufacturing of hairpin windings and application opportunities of infrared lasers for the contacting process[C]//2017 7th International Electric Drives Production Conference (EDPC), Würzburg, Germany, 2017: 1-7.
[7] Baader M, Mayr A, Raffin T, et al. Potentials of optical coherence tomography for process monitoring in laser welding of hairpin windings[C]//2021 11th International Electric Drives Production Conference (EDPC), Erlangen, Germany, 2021: 1-10.
[8] Omlor M, Reith J, Breitbarth A, et al. Inline process monitoring of hairpin welding using optical and acoustic quality metrics[C]//2022 12th International Electric Drives Production Conference (EDPC), Regensburg, Germany, 2022: 1-8.
[9] Glaessel T, Seefried J, Masuch M, et al. Process reliable laser welding of hairpin windings for automotive traction drives[C]//2019 International Conference on Engineering, Science, and Industrial Applications (ICESI), Tokyo, Japan, 2019: 1-6.
[10] Zhang Yu, Huangfu Yixin, Ziada Y, et al. Efficient hairpin winding fault detection using impedance measurements[J]. IEEE Access, 2023, 11: 92838-92846.
[11] 陶显, 侯伟, 徐德. 基于深度学习的表面缺陷检测方法综述[J]. 自动化学报, 2021, 47(5): 1017-1034.
Tao Xian, Hou Wei, Xu De. A survey of surface defect detection methods based on deep learning[J]. Acta Automatica Sinica, 2021, 47(5): 1017-1034.
[12] 裴少通, 张行远, 胡晨龙, 等. 基于ER-YOLO算法的跨环境输电线路缺陷识别方法[J]. 电工技术学报, 2024, 39(9): 2825-2840.
Pei Shaotong, Zhang Hangyuan, Hu Chenlong, et al. The defect detection method for cross-environment power transmission line based on ER-YOLO algorithm[J]. Transactions of China Electrotechnical Society, 2024, 39(9): 2825-2840.
[13] 张烨, 李博涛, 尚景浩, 等. 基于多尺度卷积注意力机制的输电线路防振锤缺陷检测[J]. 电工技术学报, 2024, 39(11): 3522-3537.
Zhang Ye, Li Botao, Shang Jinghao, et al. Defect detection of transmission line damper based on multi-scale convolutional attention mechanism[J]. Tran-sactions of China Electrotechnical Society, 2024, 39(11): 3522-3537.
[14] 郑含博, 胡思佳, 梁炎燊, 等. 基于YOLO-2MCS的输电线路走廊隐患目标检测方法[J]. 电工技术学报, 2024, 39(13): 4164-4175.
Zheng Hanbo, Hu Sijia, Liang Yanshen, et al. A hidden danger object detection method for trans-mission line corridor based on YOLO-2MCS[J]. Transactions of China Electrotechnical Society, 2024, 39(13): 4164-4175.
[15] Mayr A, Lutz B, Weigelt M, et al. Evaluation of machine learning for quality monitoring of laser welding using the example of the contacting of hairpin windings[C]//2018 8th International Electric Drives Production Conference (EDPC), Schweinfurt, Germany, 2018: 1-7.
[16] Vater J, Schamberger P, Knoll A, et al. Fault Classification and Correction based on Convolutional Neural Networks exemplified by laser welding of hairpin windings[C]//2019 9th International Electric Drives Production Conference (EDPC), Esslingen, Germany, 2019: 1-8.
[17] Hartung J, Jahn A, Bocksrocker O, et al. Camera-based in-process quality measurement of hairpin welding[J]. Applied Sciences, 2021, 11(21): 10375.
[18] Mayr A, Hauck L, Meiners M, et al. Prediction of the joint cross-section of laser-welded hairpin windings based on 2D image data using convolutional neural networks[C]//2020 10th International Electric Drives Production Conference (EDPC), Ludwigsburg, Germany, 2020: 1-7.
[19] Vater J, Pollach M, Lenz C, et al. Quality control and fault classification of laser welded hairpins in electrical motors[C]//2020 28th European Signal Processing Conference (EUSIPCO), Amsterdam, Netherlands, 2021: 1377-1381.
[20] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778.
[21] Deng Jia, Dong Wei, Socher R, et al. ImageNet: a large-scale hierarchical image database[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, USA, 2009: 248-255.
[22] 郎松, 曹选, 张艳微, 等. 融合改进YOLOv5算法的图像全站仪全自动测量方法[J]. 仪器仪表学报, 2022, 43(5): 120-127.
Lang Song, Cao Xuan, Zhang Yanwei, et al. Fully automated measurement method of image total station based on the improved YOLOv5 algorithm[J]. Chinese Journal of Scientific Instrument, 2022, 43(5): 120-127.
[23] Zheng Zhaohui, Wang Ping, Ren Dongwei, et al. Enhancing geometric factors in model learning and inference for object detection and instance segmentation[J]. IEEE Transactions on Cybernetics, 2022, 52(8): 8574-8586.
A Defect Detection Method for Hairpin Winding Weld Joints Independent of Defect Data
Abstract Conventional defect detection methods for hairpin winding weld joints based on image and deep learning require amount of defective weld joints data for model training, while there is a severe scarcity of such samples in actual production, resulting in challenges related to small sample sizes and imbalanced sample classes. Some existing studies have attempted to artificially create defective weld joints by controlling welding conditions, but this approach not only incurs additional costs but also fails to fully represent the types of defects that occur in real production. When the model encounters unknown defects, it cannot effectively detect or identify them. Therefore, this paper proposes a defect detection method for hairpin winding weld joints independent of defect data. The core of the method is to accurately identify defective weld joints by comparing the feature matching degree between weld joints to be detected on the production line and normal weld joints.
The proposed method consists of two parts during the training phase. On one hand, it uses images of hairpin windings with annotated weld joints locations to train an object detection model. This process involves freezing the backbone network Resnet50, which is pretrained on ImageNet, and only training the detection head responsible for outputting location parameters. On the other hand, the backbone network of the model is used to extract intermediate layer features of a large number of normal weld joints, and a feature bank is constructed based on these features. In the detection phase , the trained object detection model is first used to detect the positions of weld joints in the images to be detected, but it does not perform defect detection on the potentially defective weld joints. Then, the backbone network of the model is reused to extract intermediate layer features from each weld joint region, which are compared with the features in the feature bank constructed during training to detect defects and locate the defective regions.
The experimental data for this paper were collected from images taken by cameras on the automatic welding production line for hairpin windings, consisting of 111 images, with approximately 20 weld joints in each image. Based on whether the morphology of the weld joints met the standard, the weld joints were classified into two categories: normal and abnormal, and the positions and categories of the weld joints were annotated on the images. To evaluate the effectiveness of the proposed defect detection method, abnormal labels were cropped from the original images, and defect segmentation masks were further annotated. Comparative experimental results between the conventional classification network and the proposed method show that the accuracy, precision, and recall of the conventional classification network for defect detection are 89.1%, 87.9%, and 90.6%, respectively. In contrast, the proposed method improves these metrics to 98.4%, 97.0%, and 100%, respectively, and is also able to segment defect regions, achieving a pixel-level AUROC of 98.0%. Additionally, ablation experiments were conducted on the proposed method to explore the impact of different levels and sampling rates used in the feature bank construction process.
This paper addresses the issue of the scarcity of defective hairpin winding weld joint samples in real industrial production, which makes it difficult to directly predict defect categories using object detection algorithms. By proposing a feature comparison-based method for defect detection that does not rely on defect data, the experimental results demonstrate that the method meets industrial requirements and solves the problem of limited defect samples in industrial production, which provides a new approach to the task of defect detection for hairpin winding weld joints in industrial applications.
Keywords：Hairpin winding, laser welding, deep learning, small sample problem, defect detection
中图分类号：TM351; TH163
DOI: 10.19595/j.cnki.1000-6753.tces.L11002
国家重点研发计划课题资助项目（2022YFB2502604）。
收稿日期 2024-07-04
改稿日期 2024-07-23
史涔溦 女，1970年生，副教授，硕士生导师，研究方向为电机系统及其控制。
E-mail：singing@zju.edu.cn
史婷娜 女，1969年生，教授，博士生导师，研究方向为电机系统及其控制。
E-mail：tnshi@zju.edu.cn（通信作者）
（编辑 崔文静）