打开文本图片集

摘要：针对煤矿生产过程中难以区分煤和矸石误检和漏检的问题，结合目标检测分类技术和深度学习算法，提出了基于双网络特征融合（Double Feature Fusion Network，DFF-Net）的煤矸石分选方法。首先，采用YOLOv5网络进行目标检测，对煤矸石进行定位。其次，将定位到的煤和矸石的图像分别输入到深度残差网络（Deep Residual Network， ResNet）和Inception V3网络中，获得不同的煤矸石特征图；然后，将这两种网络在softmax层之前的最后一层的特征进行拼接并作为线性分类器的输入，以此对煤矸石图像进行分类；最后，验证双网络特征融合算法的可行性。实验结果表明：双网络特征融合的Precision，Recall和F¬1-Score分别达到了93.48%，92.70%和92.68%，与YOLOv5网络和Inception网络的分选方式相比，本文所提方法的选矸率提升了10.32%，在准确度与识别速度上达到了良好的平衡，能够对煤和矸石进行有效的识别，提高了煤矸石分选工作的效率。

关键词：煤矸石，YOLOv5，特征融合，ResNet，InceptionV3

引言

煤炭作为中国的传统能源之一，在中国能源产业中具有重要的战略地位。为了更清洁、更高效地利用煤炭，必须将矸石与煤分离。人工分选是矸石预分选最常见的形式，但效率低，易发生事故。同时，煤矿的工作环境恶劣且工作强度较大，影响煤矸石分选工人的身心健康。为了提高煤矸石分选的准确率和效率，使用煤矸石分选机器人代替人工分选具有重要意义。

早期的煤矸石分选机器人大多使用图像学技术，丁泽海等[1]通过从煤和矸石的图像中提取灰度均值和标准差来作为分选指标，从而进行煤矸石分类工作；兰添才[2]通过煤矸石图像进行预处理， 选取多个纹理特征作为分类器的输入特征， 并对分类特征进行内部归一化， 最后采用支持向量机（Support Vector Machines， SVM）实现煤矸石的分选。单纯的图像学技术的准确率和鲁棒性并不能完全满足如今煤矸石分选任务的需求。

与传统的机器学习图像识别算法相比，卷积神经网络采用了端到端训练的方法，直接以原始图像作为输入，通过深度网络自动提取图像特征，实现图像识别。Li等[3]提出了一种基于深度学习模型的分层煤矸石检测框架，并基于提取的候选区域构建卷积神经网络对煤矸石进行识别和定位。曹现刚等[4]使用基于迁移学习的改进AlexNet网络和BPN网络获取煤矸混合特征图像样本的分类信息和像素坐标，通过相机标定方法获得像素坐标在相机坐标系中的位置坐标，从而完成煤矸石分选；沈科等[5]通过在Yolov5s模型BackBone区域嵌入自校正卷积 解决YOLOv5模型多尺度特征提取不充分的问题，并且对YOLOv5中的Neck区域进行精简，从而提高了模型煤矸石检测的精度。

上述研究表明，依托深度学习来从图像中识别煤矸石是一种有效的煤矸石分选方式。由于不同的深度学习模型对同一数据集表达能力不同，提取到的特征图也不相同。因此本文提出了一种基于双特征融合网络（Double Feature Fusion Network，DFF-Net）的煤矸石分选框架。首先，通过YOLOv5目标检测算法对煤矸石进行精准定位，获得煤矸石图像；其次将图像送入到结合ResNet网络和的Inception V3网络的特征融合分类器中进行特征提取，获得同一图像的两种特征图；最后，将两种网络提取到的煤矸石特征图进行拼接后输入到线性分类器中进行分类。

1 煤矸石分选机器人系统

随着煤炭分选行业对煤矸石分选技术智能化的智能化需求增长，煤矸石分选机器人已经成为煤矿行业内研究的焦点[6]。煤矸石分选机器人是将待选的原煤通过原煤供给系统平铺到平面皮带运输机上，使用采用视频分析和大数据智能识别，对煤与矸石进行数字化识别，再通过高压气源分拣执行机构可精准、 高效针对 50-300mm 粒级煤与矸石进行筛选。

2 DFF-Net框架

双特征融合网络DFF-Net是一种通过目标检测算法检测目标并将目标图像输入到特征提取网络中进行特征提取，并输出到线性分类器中进行分类的一种煤矸石分选框架。

2.1 YOLOv5架构

YOLOv5网络结构包括Input、Backbone、Neck和Prediction[7]四个处理阶段。在DFF-Net框架中，YOLOv5网络通过对输入的图像进行检测并将定位到的煤矸石图像输出到特征融合分类器中。

2.2 特征提取网络结构

DFF-Net的特征提取网络主要由ResNet和Inception V3两种卷积神经网络（Convolutional Neural Networks， CNN ）组成。

ResNet通过引入残差块[8]解决了随着网络深度增加带来的模型退化问题。对于ResNet中一个残差块来说，其学习到的残差特征F（x）可以表示为：

其中， 为此残差块的输入； 为此残差块的期望输入。

当煤矸石图像输入到特征融合网络中时，ResNet与 InceptionV3模型并行的对煤矸石图像进行特征提取并进行特征融合，特征提取网络最终的特征图输出 表示为：

其中， 为ResNet网络输出的特征， 为InceptionV3网络输出的特征， 为拼接函数。

2.3 损失函数

特征融合网络输出特征向量h由softmax函数进行归一化。由softmax获得的向量作为前向传播的输出z，z可表示为：

3 实验与分析

3.1 数据集

为了验证双特征融合网络DFF-Net的在煤矸石分选任务上的性能，在黑龙江省双鸭山市东荣三矿现场采集50-300mm粒级煤与矸石图像组成煤矸石数据集。

3.2 实验方案及设置

为了验证DFF-Net框架的检测性能及和算法复杂度，分别设置了分类实验和时间损耗实验。实验中当IoU（Intersection over Union）大于等于0.5时认为检测到目标。

在实验中，选择YOLOv5s、YOLOv5l模型作为基线，参数设置如下：

YOLOv5：学习率为0.01；batchsize为32；迭代轮数为300； L2正则化参数为 ；训练优化器选择SGD优化器。

ResNet：学习率为0.01；batchsize为16；迭代轮数为300；L2正则化参数为 ；训练优化器选择Adam优化器。

DFF-Net：DFF-Net模型定位部分使用的目标检测模型为YOLOv5模型，因此定位模型的实验设置与YOLOv5模型相同；分类模型的超参数设置为：学习率为0.005；batchsize为16；迭代轮数为200轮；训练优化器选择SGD优化器；动量系数为0.9。

实验中通过每秒检测帧数（frames per second，FPS）来评价模型推理速度。另外在实验中选用三个常用的指标：准确率Precision，召回率Recall和F¬1-Score来衡量模型分类性能。

其中：TP为真正率（True Positive， TP），表示被模型分类为矸石的矸石样本；FP为假正率（False Positive， FP），被模型分类为矸石的煤样本；FN为假反例（False Negative， FN），被模型分类为煤的矸石样本。

3.3 实验结果

3.3.1结果可视化

图1为DFF-Net定位正确并识别正确的结果图。图2为DFF-Net的误识别图，图中蓝色框标出的为DFF-Net将矸石检测为煤的误识别样本。图中红色框标出的为煤，绿色框标出的为矸石。

3.3.2结果分析

煤矸石分选实验中DFF-Net框架与基线模型的性能对比结果见表2，最优性能通过加粗标出。图3、图4、图5分别为DFF-Net、YOLOv5s、和YOLOv5l在验证集上的混淆矩阵，0类代表矸石，1类代表煤。

如表2所示，在东荣三矿的煤矸石数据集上，DFF-Net的Precision， Recall和F-1-Score均为最优。这是由于DFF-Net通过ResNet和InceptionV3网络分别从深度和广度两个方面学习煤矸石图像的特征并且进行融合。因此，在煤矸石分选实验中DFF-Net能够精准的识别煤和矸石的特征并分类，并且其Precision，Recall和F¬1-Score较YOLO5s分别提升了8.66%，10.32%，10.54% 。

在实际煤矸石分选任务中，模型的Recall越高，选矸率也就越高。但是，在提升选矸率的同时也要减少将煤误识别成矸石的概率。结合表2和图3，图4和图5，DFF-Net将煤误识别成矸石的数量最少，并且具有最高的选矸率。因此可以得出结论；对比YOLOv5与Inception，DFF-Net在煤矸石分选任务上具有最优的性能。

时间损耗实验的结果见表3。

如表3所示，由于DFF-Net采取的先目标检测后图像分类的框架，因此在图像分类时造成了一定的时间损耗，在三个模型中的FPS最低。虽然YOLOv5s具有最高的FPS，但其在煤矸石分选数据集上的误识别数量最高，并且其选矸率最低。虽然YOLOv5l 比DFF-Net的FPS略有提升，但是其Precision， Recall和F¬1-Score均低于DFF-Net。因此可以的出结论：DFF-Net在以较小的时间损耗为代价提升了模型在煤矸石分选任务上的性能。

4 结论

本文提出了一种双网络特征融合的煤矸石分选框架：首先，通过YOLOv5模型对煤矸石进行定位；其次将定位到的图像输入ResNet和InceptionV3网络中，并将两个网络提取的特征图进行融合；最后将融合的特征图进行分类，完成煤矸石分选任务。实验证明，DFF-Net在煤矸石分选任务上有着较优的性能。

虽然DFF-Net在煤矸石分选任务上具有一定的性能提升，但是其模型的检测速度比YOLOv5模型检测速度慢。因此，未来的将会在提升DFF-Net的模型推理速度上进行下一步的研究。

参考文献

[1]丁泽海，薛斌，窦东阳.图像处理在煤矸石分选系统中的应用[J].煤矿机械，2017，38（03）：173-175.

[2]兰添才.基于多特征融合和支持向量机的煤矸石自动分选研究[J].科技信息（科学教研）， 2008， 20：7-8.

[3]Li D， Zhang Z， Xu Z， et al. An Image-Based Hierarchical Deep Learning Framework for Coal and Gangue Detection[J]. IEEE Access， 2019， 7： 184686-184699.

[4]曹现刚，刘思颖，王鹏，许罡，吴旭东.面向煤矸分拣机器人的煤矸识别定位系统研究[J].煤炭科学技术，2022，50（01）：237-246.

[5]沈科，季亮，张袁浩，邹盛.基于改进YOLOv5s模型的煤矸目标检测[J].工矿自动化，2021，47（11）：107-111+118.

[6]亢健东.煤矸分拣机器人控制系统研究[J].中国石油和化工标准与质量，2021，41（06）：155-157.

[7]Gao R， Sun Z， Li W， et al. Automatic coal and gangue segmentation using u-net based fully convolutional networks[J]. Energies， 2020， 13（4）： 829.

[8]Lai W， Hu F， Kong X， et al. The study of coal gangue segmentation for location and shape predicts based on multispectral and improved Mask R-CNN[J]. Powder Technology， 2022： 117655.

作者简介：杨帆，女，1992年生，硕士，工程师；研究方向：视觉测量、数字图像处理、模式识别等；

通讯作者邮箱：E-mail：yangfan.ysu@qq.com

课题：河北省高等学校科学技术研究项目（ZC2023189）