螺栓/铆钉作为输电线路、铁路交通、桥梁及飞行器等领域工程应用中不可或缺的连接紧固件，其在受到外界环境因素影响时，不免会出现销钉缺失、螺母松动、螺栓锈蚀及铆钉损伤等故障，准确识别有故障的螺栓/铆钉对保障输电线路、铁路交通、飞行器等的安全稳定运行具有重要意义。

 

随着输电线路、铁路轨道里程数的不断增长，螺栓/铆钉应用分布越来越广泛，传统人工巡检方式已无法满足当前巡检要求。

 

无人机或巡检机器人搭载摄像装置对输电线路和铁路轨道进行巡检并拍摄高清图像或视频已成为主要巡检方式。由于可见光图像具有丰富的形状、纹理等特征，其成为螺栓/铆钉故障检测的首选数据源。

 

为进一步提高无人机巡检运维工作的智能化、自动化程度，众多研究者致力于航拍图像中螺栓/铆钉故障检测研究。

 

随着航空技术的快速发展，飞行器的数量也越来越多。飞行器由数以万计的零部件装配而成，而零部件大多由铆钉进行连接，铆接质量的检测显得极其关键。因此，如何快速、准确地发现螺栓/铆钉故障并进行修复是巡检运维工作亟待解决的问题。

 

海量的无人机航拍图像中螺栓/铆钉故障检测包括人工观察法和视觉检测方法。人工观察法受主观因素影响较大，且检测效率较低。基于视觉的检测方法利用图像处理技术实现螺栓/铆钉故障快速检测，可以有效避免上述人工观察法的不足。

 

目前，视觉检测方法已广泛应用于输电线路、输电铁塔、高铁接触网、钢结构建筑、航空发电机等诸多领域的螺栓/铆钉识别及故障检测。

 

1.螺栓/铆钉故障特征及视觉检测面临的挑战

 

1.螺栓/铆钉故障类型 

 

在输电线路、铁路交通、飞行器等领域，大量的设备和零部件通过螺栓/铆钉进行固定连接。螺栓以螺纹形式连接，通常由螺钉、螺母、销钉组成；铆钉采用铆接方式连接，包括头部和钉杆。

 

螺栓/铆钉故障类型如图1所示，包括销钉缺失、螺母松动、螺钉松动、螺栓锈蚀、铆钉划痕、铆钉裂纹等。

 

图1 螺栓/铆钉故障类型

 

2.螺栓/铆钉故障检测面临的挑战

 

随着机器视觉技术的快速发展，越来越多的图像处理和深度学习技术应用到螺栓/铆钉故障检测中。螺栓/铆钉在航拍图像中占比较小，背景信息多且复杂，使用传统图像处理和深度学习方法既不能滤除大量背景信息，又难以提取特征，因此，基于视觉的螺栓/铆钉故障自动检测面临着严峻的挑战。

 

(1) 螺栓/铆钉及其故障占整幅图像的比例非常小，通常不足整幅图像面积的1%，难以获取足够的特征对其进行故障识别。

 

(2) 受光照强度、拍摄角度和拍摄距离等因素影响，图像中螺栓/铆钉及其故障的形状、大小、颜色和清晰度各不同，导致故障检测的准确率较低。

 

(3) 缺乏用于螺栓/铆钉识别的公开数据集，故障样本图像难以获取，少量的图像用于训练容易过拟合。

 

(4) 传统图像处理方法针对特定的图像有较好的检测结果，其鲁棒性和泛化能力不好。

 

(5) 更快的区域卷积神经网络（Faster R-CNN）、SSD、YOLO等主流的目标检测网络模型小目标检测效果不佳，将上述深度学习算法用于螺栓/铆钉识别及故障检测任务时，易造成漏检或误判。

 

2.螺栓/铆钉故障的深度学习

 

检测方法

 

深度学习作为机器学习的一个分支，自2006年以来在图像处理与机器视觉等领域中的应用取得了突破性进展。深度学习技术将传统目标检测方法的候选区域生成、特征提取、分类器整合到一起，利用卷积神经网络（CNN）自动提取目标特征，实现目标端到端的检测。

 

在海量数据驱动下，深度学习网络模型充分利用CNN自动逐层学习图像的深层特征，通过大规模训练优化网络模型参数，具有较强的特征提取能力和泛化能力，其检测性能相对于人工设计特征的传统目标检测方法有了大幅提升。

 

1.基于双阶段算法的螺栓/铆钉故障检测方法

 

Faster R-CNN作为主流的目标检测算法，在目标分类和定位等方面具有优良性能，是目前使用比较广泛的双阶段检测算法之一，诸多研究者利用Faster R CNN及其改进算法进行航拍图像中螺栓/铆钉故障检测研究。

 

为了实现输电线路巡检图像中电力部件故障智能识别，付晶等利用Faster R-CNN对九大类故障（杆塔、导地线、绝缘子、大尺寸金具、小尺寸金具、基础、通道环境、接地装置、附属设施）进行检测，并讨论了样本分布对算法检测准确率的影响。

 

为解决复杂背景下小尺寸目标检测难题，赵丽娟等通过叠加残差网络结构（Res2Net替代ResNet）、引入可变形卷积、平衡损失函数等策略改进Faster R-CNN，改进模型的销钉缺失故障检测准确率达到了72.3%，与原始Faster R-CNN相比提高了10%，但是改进算法检测精度的提升是以增加计算量和时间成本为代价。

 

为了提高航拍图像中小目标销钉检测准确率，顾超越等以ResNet101为前置特征提取网络，利用金字塔网络结合多尺度特征融合改进Faster R-CNN，改进模型的销钉缺陷检测精度达到了85%，与原始Faster R-CNN（68%）和YOLOv3（40%）相比，分别提高了17%和45%，但模型的小目标检测效果仍有提升空间。

 

针对小目标螺栓视觉信息丢失问题，齐鸿雨通过多尺度特征融合和扩展感兴趣区域特征提取改进Faster R-CNN，改进模型的螺栓故障检测准确率达到63.87%，与Faster R CNN（60.31%）相比提高了3.5%，但小目标特征丢失问题仍可能存在。

 

针对样本质量对网络模型检测精度的影响问题，赵振兵等提出了结合KL散度与形状约束的典型金具检测方法，在Faster R-CNN的基础上引入目标边界框分布预测和KL散度损失函数，改进模型的金具识别精度达到了83.68%，与YOLO、Cascade R-CNN、Faster R-CNN相比，分别提高了11%、6%和4%，为后续的螺栓故障状态检测奠定了基础。

 

无人机巡检输电线路的航拍图像背景复杂，深度学习网络模型在提取小目标螺栓特征时容易造成信息丢失，为了解决这一问题，一些学者通过添加注意力机制模块改进Faster R-CNN。

 

戚银城等将双注意力机制（多尺度注意力和空间注意力机制）嵌入Faster R-CNN中，通过注意力机制提高螺栓与背景的差异程度，改进网络模型如图2所示，改进模型的螺栓故障识别精度达到了82.05%，与Faster R-CNN相比提高了2%，但是多尺度注意力机制需要对不同尺度的特征进行处理和计算注意力权重，增加了模型的复杂度。

 

图2 基于双注意力机制的改进Faster R-CNN

为了提高销钉等小目标金具识别准确率，叶飞等基于方向梯度直方图（HOG）算子与局部二值模式（LBP）算子双特征融合和混合注意力机制（通道注意力机制+空间注意力机制）改进Faster R-CNN，改进模型的销钉故障检测精度达到了94.21%，与Faster R-CNN、YOLOv5、Cascade R-CNN相比，分别提高了13%、9%和6%，但是两种注意力机制结合会进一步增加计算复杂度，且超参数调整变得更加复杂。

 

为实现航拍图像中多目标和多故障检测，白洁音等结合图像预处理、基于面积的非极大值抑制、切分检测策略优化Faster R-CNN，改进模型的目标识别精度达到了91.72%，与原始Faster R-CNN相比提高了7%，该方法可在类似多目标检测场景中推广应用。

 

除上述利用Faster R-CNN进行螺栓识别及故障检测外，吴军等将Cascaded R-CNN用于航拍图像中的螺栓故障检测，实现了小目标缺陷的准确检测，为小目标故障检测的推广应用打下了基础。

 

双阶段检测算法将目标检测问题分成两个阶段，先获取区域提议，在区域建议网络中提取深层特征，然后对每个候选区域进行感兴趣目标分类和位置回归。该类算法具有良好的检测精度，但是其运算量较大，需要较长的处理时间。表1概述了基于双阶段检测算法的螺栓/铆钉故障检测研究成果。

 

表1 基于双阶段检测算法的螺栓/铆钉故障检测研究成果

 

2.基于单阶段算法的螺栓/铆钉故障检测方法

 

YOLO作为优秀的单阶段目标检测算法，其将检测和分类任务合并处理，具有算法结构简单、实时性强等优势。随着YOLOv1-YOLOv8特征提取能力的不断加强，越来越多的YOLO算法在工程中得到应用，有研究者利用YOLO算法实现螺栓/铆钉故障检测。

 

电力杆塔上的正常螺栓与缺陷螺栓类间差异较小，针对YOLOv3算法对螺栓故障检测效果不佳的问题，项辉提出了一种先检测再识别的螺栓故障检测方法，以MobileNetV3为特征提取网络取代DarkNet53，有效提高了螺栓检测精度和检测速度，与原始YOLOv3相比，航拍图像中的螺栓检测精度由83%提高到了90%，检查速度由18帧/秒（FPS）提升到了45 FPS，为进一步提高螺栓故障检测精度奠定了基础。

 

为实现动车裙板螺栓故障检测，徐文辉等提出了一种基于注意力引导改进YOLOv3螺栓缺失检测算法，利用注意力机制引导网络关注图像中与螺栓相关的关键区域和特征，从而提高检测的准确率和效率，该算法的螺栓识别准确率和召回率达到了92.1%和93.6%，与YOLOv3相比，分别提高了11.3%和13.6%。

 

 为提升小目标金具故障检测精度，王慧民通过非对称卷积块（ACB）和卷积块注意力机制（CBAM）改进YOLOv5，改进后的YOLOv5网络结构如图3所示。改进模型能够提取更多的金具目标底层语义信息和更丰富的故障特征，该模型的金具故障检测精度达到了75%，与原始YOLOv5、Faster R-CNN、YOLOv3、SSD相比，分别提高了3.9%、5.7%、8.6%和11.3%，但是CBAM注意力机制的引入使模型结构更复杂，增加了训练的难度。

 

图3 改进的YOLOv5网络结构

针对拍图像背景复杂、电力设备缺陷尺寸差异较大等问题，卢源文提出了一种基于改进YOLOX的电力设备识别和故障检测方法，在YOLOX骨干网络中引入感受野模块（RFB）以扩大感受野，添加坐标注意力机制模块（CA）更好地获取目标方向特征信息，检测头前加入自适应空间特征融合模块（ASFF），该方法实现不同尺度深浅特征的高效融合。改进模型的销钉缺失检测精度达到了86.09%，与YOLOX相比提高了14.27%，为输配电线路智能巡检提供了技术思路。

 

为实现螺栓表面故障自动检测，朱敏玲等在YOLOv7算法的基础上，通过引入SimAM注意力机制、软非极大值抑制（Soft-NMS）改进YOLOv7，改进模型有效地提高了螺栓故障检测精度，其故障检测精度高达97.3%，与YOLOv7相比提高了1.9%。

 

除YOLO算法外，还有研究者利用SSD、EfficientDet、RetinaNet等单阶段算法进行无人机航拍图像中螺栓/铆钉故障检测研究，如李瑞生等基于ResNet50残差网络和多层级特征融合改进SSD算法；李曜丞等提出了立体注意力机制模块和EfficientDet相结合的图像识别算法，其网络结构如图4所示，该算法为输电线路巡检图像的高效智能识别提供参考；李志强结合DenseNet、通道注意力机制改进RetinaNet，实现了航拍图像中销钉缺失缺销高效、快速地检测。

 

图4 EfficientDet网络结构

单阶段检测算法不需要像双阶段检测算法那样先生成候选区域，再进行分类和精确定位，其优势在于检测速度快。与双阶段检测算法相比，单阶段检测算法的检测精度略逊一筹。表2概述了基于单阶段检测算法的螺栓/铆钉故障检测研究成果。

 

表2 基于单阶段检测算法的螺栓/铆钉故障检测研究成果

 

3.基于级联检测模型的螺栓/铆钉故障检测方法

 

受复杂背景干扰、图像分辨率、故障区域相对较小、硬件计算资源条件限制等因素影响，单一目标检测算法对螺栓/铆钉小目标故障检测效果不佳。为提高小目标故障检测准确率，研究者将目标故障检测视为两级目标检测问题，先进行目标定位，再进行故障识别。

 

针对高铁接触网开口销松脱及故障样本匮乏等问题，王昕钰等提出了基于Faster R-CNN、深度卷积生成对抗网络（DCGAN）、VGG16网络框架，Faster R-CNN用于样本图像中开口销定位，DCGAN对定位后的开口销进行样本扩充，VGG16分类网络识别开口销不良状态，该级联网络框架实现了开口销故障高精度检测（故障检测精度高达99%）。

 

周雯等提出了基于2阶级联轻量化网络模型的接触网悬挂紧固件故障检测方法，先利用轻量级特征提取网络ResNet-18定位紧固件，再使用8层分类网络（4个卷积层、2个池化层、1个全连接层和1个输出层）识别紧固件故障，该方法的紧固件故障识别精度达到了95.8%，与单一检测网络Faster R-CNN（74.3%）相比提高了21.5%。

 

随着人工智能技术的发展，智能化电力系统隐患检测技术受到了越来越多的关注，徐晓华等提出了一种基于多粒度隐患检测网络（MGNet）的电力系统隐患检测方法，通过两个Faster R-CNN构建了集多粒度分割、粒度级检测网络、多粒度协作融合为一体的MGNet，该网络模型如图5所示。

 

图5 多粒度检测网络MGNet

 

MGNet模型将训练样本多粒度信息引入到级联检测网络中，以不同粒度检测结果协作融合的方式，综合捕捉杆塔连接金具隐患目标，提高隐患检测的准确性，与SSD、FasterR-CNN、YOLOv3相比，销钉故障检测精度分别提高了27.8%、8.8%和7.1%。

 

输电线路巡检会产生海量的无人机航拍图像，图像中销钉目标较小且需要结合上下文信息才能正确判断，为了准确识别销钉故障，王红星等提出了Faster R-CNN、Cascade R-CNN级联的螺栓故障检测方法。

 

 先利用Faster R-CNN定位图像中的金具连接部件，并将检测结果裁剪放大，再使用基于层级残差卷积模块、路径聚合特征金字塔、double-head结构改进的Cascade R-CNN进行销钉故障检测，该方法的销钉故障检测精度达到了81.2%，与单一检测模型Faster R-CNN（65.8%）、RetinaNet（68.4%）、Cascade R-CNN（73.4%）相比分别提高了15.4%、12.8%和7.8%；该级联检测模型具有较强的鲁棒性，能够实现复杂背景、模糊及遮挡图像中的销钉缺陷准确识别，为电力巡检图像其他目标智能检测提供了技术支撑。

 

周香君融合销钉安装位置的先验信息提出了基于YOLOv5和Faster R-CNN级联的销钉故障检测模型，先基于密度空间聚类算法设置YOLOv5预测框，再利用YOLOv5提取图像中销钉所在的上下文区域，最后利用特征金字塔网络（FPN）改进的Faster R-CNN对前级网络检测到的销钉区域进行销钉定位及状态分类。该模型的销钉故障检测精度达到82.8%，与基准模型相比提高了4.8%。该方法在很大程度上缩短了深度学习网络模型的训练和测试时间，节省了计算资源。

 

电力巡检图像中螺栓存在特征不明显、尺寸小等特点，为了实现航拍图像中螺栓故障检测，张姝等提出了一种基于SSD、YOLOv3级联的螺栓故障检测系统，该系统采用分级检测原则，先利用SSD定位、剪裁螺栓连接部位，再通过图像增强算法扩充螺栓故障数据集，最后使用YOLOv3进行螺栓故障检测，该系统可部署于无人机上用于输电线路螺栓实时检测。

 

倪源松等提出了基于自适应分块的螺栓故障级联检测方法，先利用拥挤场景识别网络（CSRNet）结合基于密度的应用空间聚类（DBSCAN）算法预测目标密度分布图和分块区域图像，再使用YOLOX对上述预测图像进行螺栓故障检测，该方法提升了深度学习网络模型对不同类型螺栓故障的识别能力，其中螺栓故障检测精度达到了75.7%，与基准模型CSRNet相比提高了15.6%。

 

为实现螺栓特征由粗粒度到细粒度提取，李延旭提出了基于复杂知识表示的螺栓故障级联检测方法，先通过前级EfficientDet检测出图像中的重锤和连板两类金具，将检测到的金具设置成感兴趣区域并进行裁剪，再利用后级EfficientDet定位出感兴趣区域的所有螺栓，最后对检测到的螺栓进行有无故障分类。实验结果证明该方法是实现电力巡检图像智能化检测的有效途径之一。

 

除了将目标检测算法级联实现螺栓/铆钉故障检测外，还有利用目标检测算法与语义分割算法级联检测螺栓/铆钉故障。罗隆福等通过SSD与DeepLab v3 plus级联进行高铁接触网顶紧螺栓故障检测，该方法在检测精度（螺栓缺陷检测精度95.9%）和检测速度（缺陷检测速度达到17.9 FPS）方面具有一定优势；于畅等利用无锚框FCOS算法与UNet级联实现螺钉缺失智能检测，该方法具有较高的检测准确率（高达99%）和自动化程度，为工业生产智能化提供了新的解决方案。

 

基于网络模型级联的螺栓/铆钉故障检测方法在小目标检测方面具有一定的优势，其故障检测精度要优于单一检测模型，但是级联网络模型复杂度和参数量明显增加，检测速度会略有下降，且对边缘计算设备的要求更高。表3总结了基于级联网络模型的螺栓/铆钉故障检测方法的相关研究成果。

 

表3 基于级联网络模型的螺栓/铆钉故障检测研究成果

 

3.典型应用场景

 

随着螺栓/铆钉故障检测需求日益增加，基于机器视觉的图像识别检测技术受到了极大关注，因此如何利用机器视觉实现螺栓/铆钉故障的自动识别是当前研究人员关注的热门课题。该部分主要围绕线路类螺栓/铆钉、箱体类螺栓/铆钉、构件类螺栓/铆钉故障的视觉检测方法进行了概括。 

 

1.线路类螺栓/铆钉故障检测

 

线路类螺栓/铆钉故障检测主要涉及输电线路、高铁接触网、桥梁钢索等关键基础设施领域。其中，输电线路作为电力传输的纽带，在我国新一代电力系统发展中处于重要地位，依托计算机视觉技术，从海量的航拍图像中实现电力设备识别及故障检测已成为该领域的研究热点。

 

螺栓作为线路中常用的紧固件，长期处于风吹雨淋等恶劣环境中，难免会出现缺销、脱落、松动、锈蚀等故障。因此，定期巡检线路，及时排查出故障螺栓，对线路安全稳定供电具有重要意义。在人工智能浪潮的推动下，研究者主要利用深度学习技术进行航拍图像中螺栓/铆钉故障检测研究。

 

基于目标检测算法的螺栓/铆钉故障检测方法

 

Faster R-CNN、SSD、YOLO等目标检测算法在通用目标检测数据集上表现良好，但对于复杂背景且螺栓占比小的特征识别效果不佳，有研究者以增强螺栓/铆钉细粒度特征表达与提取的方式提高螺栓/铆钉故障检测精度。

 

为增强深层特征的语义信息和浅层特征的位置信息深度融合，进一步提高小目标特征提取能力，李雪峰等改进FPN算法并提出了PinFPN，先利用自校正卷积网络（SCNet）取代ResNet特征提取网络（自校正卷积如图6所示），再通过路径聚合网络（PANet）和横向连接改进多尺度特征融合，最后在自建数据集（销钉故障和其他电力小目标）上验证了PinFPN算法的有效性。

 

图6 自校正卷积示意图

吴刘宸等基于区域注意力机制和多尺度特征融合改进Faster R-CNN，改进模型不仅能够更准确地定位螺栓故障，减少因背景干扰等因素导致的误检，而且还可以更好地处理不同大小的螺栓，提高对多尺度螺栓故障检测精度。

 

康高强等提出了基于Faster R CNN和SVM集成分类学习的开口销钉缺失检测方法，先利用Faster R-CNN精确定位销钉，再通过多个SVM分类器进行销钉缺失检测，该方法实现了销钉缺失自动检测。

 

高铁接触网巡检图像中的螺栓具有形状不明显、尺寸小的特征，准确识别螺栓故障难上加难。为此，卢杰等提出了目标检测YOLO算法与语义分割U-net双级联架构的螺栓故障检测方法，该方法的螺栓故障检测精度高达93.5%，具有较好的实际应用价值。

 

由于图像中存在目标不显著、目标差异较小以及背景复杂等因素，基于深度学习的单标签图像分类方法不适合直接应用于多标签图像分类任务。为解决螺栓故障识别中存在视觉不可分问题，张珂等提出了一种基于NTS-Net网络框架的螺栓属性多标签分类方法，该方法在螺栓多属性分类数据集上的检测精度达到了84.5%，与基于AlexNet、VGG16、ResNet18、ResNet34等分类方法相比提高了近10%~20%，但是该方法的检测性能在很大程度上依赖于高质量螺栓图像数据。

 

先验知识是指在进行目标检测之前预先获取的关于目标对象、场景等的信息，为了进一步提高目标检测准确率，研究者将先验知识引入到目标检测算法中。

 

 Zhao等提出了基于语义知识和结构知识的螺栓故障多标签分类框架，由视觉-语义知识网络（VFSKnet）和视觉-位置知识网络（VFPKnet）加权合并组成，VFSKnet学习螺栓故障标签之间的关系，VFPKnet捕获结构化的细粒度特征，该框架在标签级和图像级的故障检测精度分别达到了93.91%和83.29%，该方法证明了降低螺栓样本数据类内差异大、类间差异小的影响，有利于提高螺栓故障识别准确率。

 

阎光伟等提出了融合先验信息和特征约束的Faster R-CNN模型，先利用DBSCAN算法获得先验信息，再引入费舍尔损失约束样本特征，最后基于K近邻算法进行难例挖掘，改进Faster R-CNN模型的螺栓故障检测精度达到了83.9%，与原始Faster R-CNN（71.9%）、YOLOv5（80.1%）相比分别提高了12%和3.8%。

 

李刚等提出了先验知识与检测Transformer（DETR）融合的螺栓故障检测方法，该方法通过注意力机制实现螺栓视觉特征与先验知识的融合。先验知识可以帮助算法更好地聚焦于目标可能出现的区域、形状和特征，减少误检或漏检，但是如果先验知识本身不准确，对目标的形状估计错误或者对目标出现频率的统计偏差较大，将会导致算法检测性能下降。 

 

基于弱监督或无监督的螺栓/铆钉故障检测方法

 

添加注意力机制、多尺度特征融合、先验知识等策略是提高深度学习算法检测性能的有效手段，还有研究者将无监督或弱监督学习与目标检测算法结合提高螺栓/铆钉故障检测精度。

 

Zhao等基于聚类算法和Faster R-CNN结合提出了自动视觉形状聚类网络（AVSCNet），网络结构如图7所示。在训练阶段利用视觉形状聚类方法优化网络模型，并通过特征增强、特征融合和扩展感兴趣区域改进Faster R-CNN，改进模型的螺栓缺销故障检测精度达到了71.4%，与Faster R-CNN相比提高了11%，但是其检测速度仅为Faster R-CNN的三分之一。

 

图7 AVSCNet网络结构图

 

赵振兵等提出了基于DBSCN-FPN算法的销钉缺失检测方法，通过DBSCN聚类算法获取螺栓先验知识指导FPN模型训练，该方法的缺销螺栓检测精度达到了74.2%，与Faster R-CNN、基于区域的全卷积网络（R-FCN）、全卷积网络（FCN）相比分别提高了9%、8%和6%。

 

基于全监督检测模型的螺栓故障检测需要大量的目标级标注，为了减少目标级标注的人力物力消耗，赵振兵等提出了基于改进区域聚类学习（PCL）模型的销钉缺失弱监督检测方法，通过多实例学习网络、实例分类提纯网络、多任务学习网络结合通道注意力机制构建了图8所示的改进PCL模型，改进PCL模型仅利用图像级标注即可实现螺栓缺销检测，虽然螺栓缺销检测精度仅有31.6%，但是与PCL模型相比提高了25.6%。

 

图8 改进PCL模型

 

为了解决弱监督检测方法在螺栓故障检测中存在的类不平衡问题，赵振兵等提出了一种基于自适应加权损失函数（SAW）的PCL模型，SAW-PCL模型通过在主网络中添加CBAM提取螺栓精细特征，并利用SAW损失函数动态调整不同类别样本的学习程度，从而平衡不同类别目标的检测性能。

 

基于知识推理的螺栓/铆钉故障检测方法

 

近年来，图卷积网络（GCN）和门控图神经网络（GGNN）在众多领域取得了重大成功。赵振兵等基于GGNN构建了螺栓-螺母关联知识图谱，通过Faster R CNN结合目标先验知识实现了螺栓故障高效分类，弥补了一些故障检测方法仅依靠表面提取特征进行分类的仅依靠表面提取特征进行分类的不足。

 

赵振兵等根据GCN学习不同种类螺栓之间的关系，提出了基于图知识推理的螺栓故障检测方法，解决了螺栓故障识别任务中视觉不可分和类不平衡问题。针对螺栓视觉不可分和语义歧义问题，赵振兵等提出了基于联合结构-语义关系图知识推理的螺栓故障检测方法，通过GCN和图知识推理模块设计了如图9所示的动态图知识推理网络，该方法能够有效地提高螺栓故障检测准确率，其螺栓故障检测精度达到93.1%，与基准模型（Resnet-101检测精度为85%）相比提高了8.1%。

 

图9 动态图知识推理网络

除上述目标检测算法在输电线路螺栓/铆钉故障检测中应用以外，戚银城等提出了基于迁移的图像超分辨率处理方法，解决了样本图像模糊、分辨率低等问题；王健等提出了基于生成对抗网络和RetinaNet的销钉缺陷检测方法，RetinaNet算法实现销钉缺陷自动标注，解决了人工标注样本费时费力问题；赵振兵等提出了基于知识蒸馏的螺栓故障分类方法，为轻量化网络模型压缩提供了技术支持；李刚等提出了YOLOv8与语义知识融合的螺栓故障检测方法，为无人机智能巡检提供了新的检测手段。

 

深度学习技术在线路类螺栓故障检测中发挥着重要作用，上述螺栓/铆钉故障检测研究成果统计如表4所示。

 

表4 基于机器视觉的线路类螺栓/铆钉故障检测研究成果

 

2.箱体类螺栓/铆钉故障检测

 

箱体类螺栓/铆钉广泛应用于交通运输与航空航天设备中，如飞行器、船舶、动车车厢等都是这一类典型代表。铁路作为铁路交通的重要组成部分之一，在国民经济发展和国防建设中起到着举足轻重的作用。随着我国铁路运营里程数逐年增长，铁路公司不断地将机器视觉检测技术应用到铁路检测的诸多方面，如铁路货车运行故障动态图像检测系统（TFDS）。

 

为了解决TFDS中螺栓故障人工检查效率低下的问题，费垚东等提出了基于传统图像处理的螺栓故障检测方法，先利用模板匹配技术确定螺栓感兴趣区域，再基于自适应阈值的局部三值算子（LTP）提取螺栓局部特征，最后利用支持向量机（SVM）分类器进行螺栓故障分类，该方法实现了螺栓故障自动识别，螺栓故障识别准确率达到了90.88%，但是传统图像处理方法受图像质量影响较大，其鲁棒性不强。

 

为实现TFDS列车底部螺栓故障的精准定位，张幸宁提出了YOLOv3识别结合VGG16分类的高速列车底板螺栓故障检测方法，采用全局平均池化取代全连接层和模型剪枝优化VGG16，改进模型的螺栓故障检测精度达到了97.29，与原始分类网络VGG16相比，其检测效率提高了63%。

 

螺栓松动容易造成栓接结构预应力不足、承载力下降等缺陷，为实现轨道车辆螺栓松动智能监测，彭嘉悉提出了基于深度学习的动车组转向架部件故障检测方法，先以YOLOv7作为基准模型进行部件定位，再使用AlexNet、VGG16、Inception-Resnet-v2、Resnet 50分类网络进行螺栓异常分类，最后使用带有法向量约束的Ransac点云分割方法进行螺栓高度测量，该方法实现了螺栓松动的进一步精细化诊断。

 

铆接作为零件装配中一种重要紧固连接方式，广泛应用于航空航天、飞行器装配等领域。针对传统图像处理的故障检测方法存在适应性差、鲁棒性低等问题，乔天宇提出了基于深度学习的铆钉外观缺陷检测方法，利用ResNet和DenseNet并联方式加强特征信息提取和融合。

 

吕帅帅等提出了基于改进Mask R-CNN的铆钉裂纹故障识别方法，Mask R-CNN的基本框架如图10所示，通过基于位置反馈机制和裂纹的感兴趣区域筛选优化Mask R-CNN，改进模型的裂纹识别准确率达到了87.5%，与原始Mask R-CNN相比提高了近34%。

 

图10 Mask R-CNN的基本框架

为提高铆钉故障检测精度和效率，赵娜提出了基于改进U-net++网络模型的铆钉故障检测方法，通过将U-net++与ResNet残差网络进行融合来更好的提取特征信息，相比于Mask R-CNN模型，改进模型的故障检测准确率提高了10.6%，其检测速度达到了14.3 FPS。

 

基于箱体类螺栓/铆钉的故障检测还有其他深度学习方法，如王慧等提出了基于Faster R-CNN的铆钉故障检测方法，该方法的故障检测精度达到了93.9%；辛佳雯等提出了基于Faster R-CNN和改进CPN级联的螺栓安装故障检测方法，实现了航空发动机图像中螺栓及关键点检测；李宗刚等提出了基于DETR与SimAM注意力机制结合的故障检测方法，有效提高了小目标检测精度；武晓春等基于局部强化算法和多尺度通道组混排卷积改进YOLOv8，实现了螺栓锈蚀故障高效检测；陈业泓等提出了基于SSD YOLO的螺栓故障检测算法，为动车组状态检修提供了参考。

 

表5统计了机器视觉检测方法在箱体类螺栓/铆钉故障中应用的研究成果。

 

表5 基于机器视觉的箱体类螺栓/铆钉故障检测研究成果

 

3.构件类螺栓/铆钉故障检测

 

构件类螺栓/铆钉作为现代工程建设中不可或缺的关键连接件，广泛应用于大型建筑与基础设施领域，桥梁、钢构、建筑为典型代表。

 

在工程应用领域，螺栓的工作性能（滑动、分离或脱落）会对连接部件产生重要影响。为了实现桥梁螺栓松动实时检测，Cha等提出了基于Hough变换和SVM相结合的螺栓松动视觉检测方法，先对手机采集的图像进行全变差去噪，再通过Hough变换提取螺栓关键点特征，最后训练SVM分类器区分松动螺栓和正常螺栓，该方法的螺栓松动识别准确率高达95%，有望在复杂机械系统或土木结构的螺栓检测中推广使用。

 

为了实现不同角度和螺栓遮挡图像的螺栓松动检测，Luo等提出了一种基于图像透视校正的法兰板螺栓松动检测方法，该方法可以基于识别出的螺母角点对每个螺栓图像的视角畸变进行校正，有效地识别出法兰连接螺栓松动情况。

 

曾飞等提出了一种利用弹性线曲率变化的螺栓松动检测方法，通过螺栓间弹性线放大螺栓松动角度结合固定点曲率变化确定螺栓转动角度，实现了大型建筑结构中螺栓松动的早期检测，为多种类型螺栓识别及松动检测提供了技术支持。

 

上述传统图像处理方法在特征提取、检测准确率和效率、泛化能力等方面，与深度学习方法相比还存在明显不足。为提高螺栓松动检测的智能化水平，劳武略等提出了基于深度学习和传统图像处理相结合的钢桥螺栓松动检测方法，先利用YOLOv5和关键点检测模型进行螺栓定位和螺栓关键点检测，再通过Voronoi图分类、中心点匹配、最小二乘法拟合透视变换等判断螺栓是否发生松动，该方法通过对比图像关键点位置变化识别螺栓松动，大幅提升了螺栓松动检测自动化程度。

 

为了自动识别铁路桥梁中缺失的高强度螺栓，赵欣欣等提出一种基于深度学习的螺栓缺失检测方法，先搭建12层主干网络（5层卷积层、5层池化层和2个全连接层），在主干网络中添加通道和空间注意力子网路以提高特征和区域敏感性，该模型在真实场景下的螺栓故障检测准确率高达94.9%，有望在涂层裂化、异常变形等桥梁病害场景中推广应用，但是模型的训练速度还有待进一步提升。

 

鞠晓臣等提出了基于自注意力机制与中心点回归（SACPR）算法的桥梁螺栓故障检测方法，该算法的螺栓故障检测精度与RetinaNet算法相近，但是其推理速度是RetinaNet的5.6倍。

 

刘畅提出了语义分割与孪生网络相结合的螺栓松动缺陷检测方法，以DeepLabv3+作为特征提取网络、ResNet18作为判别器，螺栓松动检测准确率在95%以上。

 

牟宗涵提出了基于YOLOv5的自适应裁剪浅层注意力网络，实现了铁路桥梁钢结构表面缺陷智能检测。

 

张洪等通过引入高效通道注意力机制、优化空间金字塔池化结构、替换边界框损失函数、添加解耦检测头改进YOLOv5，改进模型的螺栓缺陷检测精度达到92.6%，与原始YOLOv5相比提高了4.3个百分点，有效解决了背景噪声干扰与小目标情况下特征提取困难的问题。

 

表6统计了机器视觉检测方法在构件类螺栓/铆钉故障检测中应用的研究成果。

 

表6 基于机器视觉的构件类螺栓/铆钉故障检测研究成果

 

4.未来研究展望

 

随着基于机器视觉的螺栓/铆钉故障检测研究的不断深入，相比于传统图像处理方法，深度学习算法对螺栓/铆钉故障检测有着较好的检测结果，但是在数据集规模及样本标注、小目标检测等方面面临着挑战。未来的研究工作将从以下几个方面展开：

 

1.建立螺栓/铆钉故障检测公开数据集

 

通过图像增强技术、多源图像融合技术、物理渲染、生成对抗网络、扩散模型等方法扩充样本数量，解决故障样本类不平衡问题，以及利用弱监督、无监督学习进行样本标注，将是未来研究热点之一。

 

2.提高模型的螺栓/铆钉小目标故障检测能力

 

图像中的螺栓/铆钉及其故障不及图像的1%，如何进行小目标故障检测是螺栓/铆钉故障检测需解决的一个问题。现有目标检测算法结合多尺度特征融合、特征金字塔网络、注意力机制、可变形卷积、调整损失函数等策略改进将成为小目标故障检测研究方向之一。

 

3.设计螺栓/铆钉故障检测性能良好的检测模型

 

CNN能够充分提取待检测目标的局部特征，但Faster R-CNN、SSD、YOLO等主流的目标检测算法对小目标检测效果欠佳。为了进一步捕捉图像的全局依赖关系，充分利用上下文信息、归一化流模型，综合现有目标检测算法、语义分割算法、基于注意力机制的视觉Transformer网络模型、图卷积神经网络算法优势，设计一个检测性能良好的深度学习网络模型将成为小目标螺栓/铆钉故障检测研究的重点。 

 

4.螺栓/铆钉故障检测网络模型轻量化

 

为满足实际场景需求，将深度学习网络模型部署在嵌入式设备上用于螺栓/铆钉故障实时检测，网络模型轻量化尤为重要。在保证网络模型检测准确率的同时，如何利用模型剪枝、知识蒸馏、低秩分解、网络量化等模型压缩技术降低模型计算开销是螺栓/铆钉故障检测研究方向之一。 

 

5.构建螺栓/铆钉故障智能检测系统

 

得益于云计算和边缘计算技术在算力分配和存储资源共享，基于人工智能技术的大模型需要具有巨大的计算能力，已远超出便携式或在线监控设备的计算能力。为了便于深度学习网络模型部署于边缘设备上，促进输电线路、铁路交通巡检技术落地，构建云-边-端协同融合检测系统具有重要研究价值。

 

作者：刘传洋1,2，吴一全1，刘景景2

工作单位：1. 南京航空航天大学电子信息工程学院

 

2. 池州学院机电工程学院

 

来源：仪器仪表学报

 

转自：智能坚固件及紧固工具

 

 

来源：Internet

关键词： 螺栓