打开文本图片集

摘要：随着计算机视觉与机器学习技术的发展，自动化检测技术在建筑工程检测领域挥着重要的作用。采用无人设备进行图像数据采集，然后用机器学习对图像数据进行分析，成为当前智能检测技术的通用方法。深度学习作为主要的机器学习方法，因其鲁棒性较高而普遍应用在图像分析中。本文首先通过显著性检测方法选取待检测螺栓感兴趣区域，再使用ResNet-18卷积神经网络对感兴趣区域进行螺栓缺陷的识别与分类。并以某钢结构桥梁上的螺栓为例，利用该方法对无人机采集的螺栓外观图像进行了识别。结果表明，该方法可有效识别螺栓缺陷与类别，识别准确率高。

关键词：计算机视觉;高强螺栓;深度学习;显著性检测;缺陷检测

引言

钢结构螺栓连接在加工制作和安装方面具有明显的优越性，在国内外钢框架结构中被大量采用，尤其是桥梁等大型钢结构设施的主要连接方式之一[1]。随着我国钢结构桥梁建设的高速发展，高强螺栓的应用越来越广泛。但随着桥梁的运行，螺栓联接结构长期承受振动、冲击和疲劳，导致螺栓出现松动甚至脱落，影响整个结构的安全。因此，螺栓状态的实时检测，具有重要的工程意义。当前螺栓外观检测方式，主要依靠人工现场以手持数码相机或手持裂缝观测仪人工操作为主。随着技术的发展，也逐渐采用辅助机械伸展臂搭载摄像头采集图像进行人机交互分析的检测手段[2]，但其深度、广度及自动化水平普遍不高。随着我国钢结构桥梁施工工艺的发展，建筑规模逐年增大，结构上所使用的螺栓也随之增加。如港珠澳大桥，全桥总长55公里，使用高强螺栓80多万套，而且分布在桥体结构的各个角落，传统的人工检测方式已无法应对海量螺栓的外观检测，而且检测过程中对安全性及时效性要求较高。因此，螺栓外观检测亟待需要采用智能化的检测技术，与目标精确定位、图像矫正、高精度识别等先进技术深入融合，提高检测技术自动化水平。

近几年，随着无人机技术的发展，搭载摄像设备的无人机在地图测绘、建筑安全检测、资源调查、交通规划等各领域都有重要的应用，该技术也可以同样适用于钢结构桥梁螺栓外观检测上，通过对无人机采集的螺栓影像数据的分析、识别、判断，感知被检测螺栓的状态，进而做出应对措施。因此，对采集的图像数据的分析、判断和识别，是基于无人机的螺栓检测中重要的技术。

深度学习是当前图像识别的主流技术，该方法通过大量的图像样本，提取、学习图像特征，并进行识别，从而判断被检测目标图像样本的类别和状态[3]。

本文将深度学习算法引入到螺栓的智能检测中。首先采用图像显著性检测方法[4]检测待识别的感兴趣区域，在使用ResNet-18[5]卷积神经网络判断待检测螺栓是否存在缺陷已经缺陷的类别，该方法可以对无人机传输回来的影像数据进行快速、有效的识别和判断，从而对螺栓外观状态进行判定，辅助工作人员做出应对措施，经计算，识别准确率较高，可以满足螺栓日常安全检测需要。

1 方法和流程

首先通过无人机对螺栓样本进行采集，并对采集回来的图像样本进行自动清洗、甄别、矫正和裁剪，并进行分类和标注，得到学习样本库。识别时，首先使用显著性检测法提取待识别螺栓的感兴趣区域，并将感兴趣区域图像输入到分类卷积神经网络中进行分析判断。具体的流程图如图1所示：

1.1 学习样本集构建

本文选取某座钢结构桥梁作为目标，利用无人机对桥梁上各部位的螺栓进行拍照，样本采集。

图像样本经过以上算法处理后，再以被标识出来的螺栓为中心，将该图像样本自动裁剪成64×64分辨率大小的单一螺栓样本，并对其类别逐一标注，作为训练正样本。

由于受采集对象限制，脱落、缺失、锈蚀的螺栓样本数据严重缺失，为了保证样本库的多样性，本文多渠道收集螺栓样本，获取了脱落、缺失、锈蚀的螺栓样本图片，经过同样的数据处理方法，裁剪成64×64分辨率大小的单一螺栓样本，并对其状态逐一标注，作为训练负样本，并对采集到的样本通过放大、缩小、颜色空间变换、旋转、翻转等操作，对数据进行扩充，以提高后续模型的泛化性能。

1.2 感兴趣区域检测

采用显著性检测法对螺栓待检测感兴趣区域进行提取，显著性检测算法与目标检测算法不同，显著性检测算法，是无差别地检测图中有边界且显著的目标区域。这类模型旨在预测人眼的显著目标观察方式，显著性检测算法是很多计算机视觉任务的第一步，将显著性区域作为感兴趣区域，并针对这些显著性区域进行进一步判断和预测。显著性检测算法通常检测速度较快，深度学习的图像分类算法，可以只在显著性区域上运行，以缩小检测范围，加快检测速度，提高检测精度。这里选择文献[15]的方法进行显著性感兴趣区域检测，该算法先计算出一批的建议框，这些建议框为待检测螺栓可能存在的区域，再通过非极大值抑制剔除多余的建议框。无论螺栓连接节点是否存在缺陷，都会在螺栓节点板上留下明显痕迹，因此可以通过显著性检测法提取出来。实现该算法时可以通过调用OpenCV的saliency.ObjectnessBING_ create（）模块实现。

1.3 螺栓缺陷分类模型

许多不同结构的知名卷积神经网络可以用于特征提取，如AlexNet、MobileNets、GoogleNet。其中，ResNet-18的模型效率强且易于优化。ResNet-18有17个卷积层和8个跳跃连接，然后是一个全局平均池化层、一个全连接层和一个Sigmoid层。该网络的输入大小为64×64×3，使用ImageNet[6]进行预训练，有利于提高模型的识别精度。

2 计算案例

本文以某钢结构桥梁上的高强螺栓为例，通过无人机进行螺栓样本采集，经过数据标准化处理，形成螺栓样本库，再利用本文介绍的方法，进行识别和判定。该钢结构桥梁为某跨河铁路桥，形式为铆接钢桁梁桥，采用具备定位复拍功能的大疆M300无人机进行图像数据采集，采集到130张清晰的螺栓图像。