- 收藏
- 加入书签
基于改进YOLO V7的乒乓球轨迹检测方法研究与实现
摘要:乒乓球轨迹检测,是指识别和跟踪乒乓球在复杂环境下的实时轨迹,旨在帮助观众了解比赛细节,为使用计算机的训练爱好者提供参考。早年人们采用基于传统图像处理技术的方法来进行乒乓球轨迹检测,例如基于帧差法、背景建模法和光流法等。这些方法虽然可以实现一定程度的效果,但是由于乒乓球高速运动、频繁变化方向和角度的特殊性质,其精度和鲁棒性还不够理想。本文提出了一种基于计算机视觉的乒乓球轨迹实时检测方法,主要采用改进YOLO v7网络,其深度卷积神经网络对每帧图像进行特征提取后检测目标,通过循环计算相邻两帧物体对象中心点或边界框之间的距离、角度和速度等参数来实现物体运动轨迹的生成。
关键词:乒乓球轨迹检测;YOLO;V7;扩展高效层聚合网络ELAN
0 引言
近年来,乒乓球赛事不断受人们热议,其参赛选手高超的发球运球等动作技巧也不断受到关注。而在乒乓球比赛中,人们的反应往往难以跟上一个回合中乒乓球的速度,其乒乓球的运动轨迹则更是难以琢磨。本文提出基于深度学习的物体识别算法YOLO(You Only Look Once)V7可以对乒乓球进行实时识别和定位。
1 框架设计
该框架的大致流程是通过输入处理后的图像、视频等YOLO格式数据,选用整图训练模型,回归目标的bounding box及其类别,快速实现端点之间的定位和识别,最后整合端点信息,输出乒乓球动态的物理空间坐标和轨迹变道模型。
1.1 YOLO V7神经网络
YOLO v7 算法主要由输入端(input)、主干网络(backbone)、颈部网络(neck)、预测端(prediction)构成,原始。输入端主要实现数据的增强操作,包括 Mosaic 数据增强,自适应锚框计算和自适应图片放缩;主干网络由 Conv(卷积)结构、Concat(拼接)结构和MP(最大池化)结构组成,实现图像目标特征提取;颈部网络包括CSPNet(跨阶段局部网络)和 PANet(双向融合)结构,完成特征融合操作,使网络同时包含低层位置信息及深层语义信息;预测端使用CIOU_Loss 函数,主要预测信息的损失。由于YOLOv7 算法使用多尺度训练及预测,会产生多个预测框,因此在预测段使用 NMS(非极大值抑制)只保留一个最优的预测框。
1.2 辅助头检测
深度监督是深度网络训练中常重和辅助损失作为指导。 即使对于ResNet和densenet这样通常收敛良好的架构,深度监督仍然可以显著提高模型在许多任务上的性能。 其主要思想是在网络的中间层增加辅助头部,以浅层网络权测器架构。 在本文中,我们称负责最终输出的头部为引导头,称辅助训练的头部为辅助头。
1.3 动态标签分配
在过去的深度网络训练中,标签分配通常直接引用GT(真实标签),并根据给定的规则生成硬标签。对于如何给辅助头和引导头分配软标签这个问题,目前最常用的方法是将辅助头和引导头分开,利用各自的预测结果和GT来执行标签分配。但本文使用了一种引导头预测的同时引导辅助头和引导头的标签分配新方法。 换句话说,我们以引导头预测结果为指导,生成粗到细的层次标签,分别用于辅助头和引导头学习。但是,我们必须注意,如果粗标签的权重接近细标签的权重,可能会在最终预测时产生较差的结果。因此,为了使粗标签的影响更小,我们在解码器中加入限制,使粗网格不能完美地产生软标签。上述机制使细标签和粗标签的重要性在学习过程中动态调整,使细标签的可优化上界始终高于粗标签。
2 模型训练
将获取的数据集进行数据预处理操作后,按照8:2划分训练集与测试集分别用于模型的训练与测试。根据任务类型和模型结构选择适当的损失函数,以衡量模型预测的输出与真实标签之间的差距。将训练集输入到网络模型后进行通过前向传播得到损失函数值,再通过随机梯度下降的方法反向传播计算损失函数对于网络参数的梯度,以便于网络进行参数更新。如此不断迭代,直到达到预设的训练标准,最后将测试集用于训练完成模型的性能测试
3 测试结果
改进后的YOLO v7网络,引入了辅助头检测采用动态标签分配的策略。加快了目标实时监测,提高了检测性能。
我们训练完成的模型,在测试集上得到的结果:Precision(查准率)与Recall(查全率)均在95%以上,训练速度和检测速度也得到很大改善。
4 小结
早年已经有人使用不同的方法对乒乓球轨迹进行检测,但是取得的效果都很有限。我们利用基于改进YOLO V7的乒乓球轨迹检测算法,输入事先处理好的大量训练数据,不断修正参数使其无限趋近真实值,提高实时检测准确率。在实际应用中能够对图像、视频进行分析预测,达到实时检测乒乓球轨迹的效果。
参考文献
[1]Dapeng ZHANG,Jianchang ZHANG,Minglu ZHANG,Shanshan ZHAO.Research on The Vision-Based Navigation and Object Detection System for Mobile Manipulator[Z].Proceedings of the International Conference on Mechanical Engineering and Mechanics 2005(Volume 1),2005.
[2]Qinghe Liu,Weihao Chen,Lijun Zhao,Conggan Ma.Research On Cone Bucket Target Detection Based On Improved Faster R-CNN Deep Network[Z].Proceedings of 2019 5th International Conference on Applied Materials and Manufacturing Technology(ICAMMT 2019),2019
[3]高颂爱,王少伟.乒乓球机械发球轨迹智能预测方法研究[J].机械设计与制造.
[4]曾荣飞.基于多目视觉的乒乓球三维轨迹预测研究[D].华东交通大学,2021(01).
[5]李思奇.乒乓球落点检测及擦边感知系统的研究[D].哈尔滨理工大学,2021(09).
[6]Konstantinos Sidiropoulos,Savvas Ilias Christofilos,Konstantinos Tsikopoulos,Dimitrios Kitridis,Lorenzo Drago,Gabriele Meroni,Carlo Luca Romanò,Venu Kavarthapu.Viral infections in orthopedics: A systematic review and classification proposal[J].World Journal of Orthopedics,2022,13(11):1015-1028.
作者简介:温文锦(2003-),男,江西赣州人,本科在读;李金骏(2003-),男,福建三明人,本科在读;刘彪(2003-),男,江西吉安人,本科在读;彭星晨(2004-),男,江西抚州人,本科在读;刘晨宇(2001-),男,宁夏中卫人,本科毕业。
京公网安备 11011302003690号