- 收藏
- 加入书签
基于注意力机制的无人机目标跟踪技术研究与设计
摘要:本文研究了基于注意力机制的无人机目标跟踪技术,并提出了一种新型的目标跟踪算法。文中阐述了无人机目标跟踪技术的重要性及现有方法存在的问题,介绍了注意力机制的基本原理及其在目标跟踪中的应用,提出了一种基于注意力机制的无人机目标跟踪算法。该算法能够自适应地调整跟踪窗口的大小和位置,从而实现对目标的精确跟踪。通过实验验证与比较,结果表明本文提出的算法在目标跟踪精度和鲁棒性方面均优于现有方法。
关键词:无人机,红外目标跟踪,孪生网络,注意力机制
引言
随着机器视觉技术的快速发展,无人机在航空、地图绘制等领域得到了广泛的应用。无人机视觉技术主要是通过图像来获得场景内的环境信息,并通过对这些信息的分析做出相应的判断,从而实现智能地完成任务。在机器视觉的基础上,对无人飞行器进行目标跟踪,是目前国际上的一个研究热点。在此基础上,利用无人机携带的摄像头采集到当前角度的视频影像,利用目标追踪算法对视频影像进行实时处理,从而完成对特定目标的追踪。与手工操纵无人机进行追踪飞行不同,采用无人机、机载电脑、相机等为硬件平台,采用目标追踪技术来实现无人机的自主飞行,可以减少人员的消耗,达到智能化的目的。
相对于传统的地面目标跟踪,无人机视觉在实际应用中还存在着许多问题。如无人机在空中飞行时,由于视角变化大,容易受到目标遮挡、尺度形态变化、相似物体干扰等问题。同时,无人机视角下的目标体积很小,特征数量很少,这给目标跟踪的精度和鲁棒性提出了更高的要求。在硬件平台上,由于无人机载荷受限,搭载的CPU运算能力不强,很难支持复杂目标跟踪算法的实时求解,因而对跟踪算法的复杂性和快速性提出了更高的要求。所以,研究一种高精度、高速度的目标跟踪方法是非常必要的。
1 算法原理
1.1算法整体框架设计
SiamR-CNN通过两级双生结构进行再探测。已有研究证明,这种架构能更好地处理UAV中的目标丢失问题,因此,本项目引入一种双重再探测的双层孪生架构,从而有效地减少了在目标丢失情况下的再发现与跟踪。如图1所示,图1显示了GASiam算法的网络结构。
两级架构对多个跟踪数据进行备份,保证了再探测的成功率。然而,在无人机红外影像中,由于目标纹理细节缺失、背景复杂等问题,其提取方法的复杂性将极大地降低对目标的跟踪性能。
为此,我们利用图神经网络直接学习图的结构,利用注意力模型使网络更多地关注关联节点,并融合二者的优势,设计一种基于图注意力机制的局部特征匹配算法。在此基础上,提出一种基于视觉感知的图像分割方法,以实现对图像中图像的低维特征量的有效提取,同时保持图像的局部细节。由于项目提出的方法是基于点到点的融合,而不是在互相关运算中进行全局信息的传递,从而有效地降低了目标在运动中的尺度、形状等因素对目标的影响。
1.2 基于图注意力机制的局部特征匹配模块构建
图结构是一类比树结构更为复杂的非线性网络。在图结构中,任何两个结点都可以相互关联,也就是结点间的相邻关系可以是任意的。图是一种用来刻画对象(结点)间相互联系的连线。图神经网络(GNN)是最早用于图上神经网络建模的方法。
在认知领域,人们受信息加工“瓶颈”影响,往往只注意其中一部分,而忽视另一部分,即注意机制。注意机制的优势在于能够对不同数量的输人进行分配。在此基础上,将注意力机制引入到图神经网络中,通过对两个节点的权值进行计算,得到权值对各节点进行更新。因此,本项目提出了一种基于视觉感知的图网络模型,通过引入注意力机制,提高了图网络的鲁棒性和解释性。
基于上述分析,本项目提出了一种新的思路,即与仅对图像块进行对比的互相关算法相比,图神经网络能够将目标特征以节点的方式进行学习,并将其与待搜索区域间的对象特征进行有效的转移。项目针对UAV中目标形变问题,拟融合图神经网络与注意力机理,引入人信息嵌入模型,设计基于图注意力机制的局部特征匹配模型,以解决UAV中目标形变问题。同时提出了一种新的基于图的视觉感知模型,该模型包含了一种新的视觉感知方法,它是一种新的视觉感知方法。如图2所示,每一个检索结点都是由相邻的目的结点所提供的信息来重构的。改进后的MobileNetV2骨干网络结构如表1所示。
2 红外无人机单目标跟踪实验结果及分析
2.1 测试条件
项目利用反无人机公共数据库对提出的方法进行实验验证。通过选取三种常用的单一目标追踪方法,分别评价了不同的测量指标:精度地图、成功率图和交迭精度。其中,精度地图是指由追踪算法估算出的目标位置的中心点到手动标记的真值盒子的中心点之间的间隔,该间隔比给定的阈值要小。根据一般指数,本文将该指数设为20pt作为该指数的阈值。成功率图用来计算当并发比率超过设定阈值时,追踪框架在全部框架中所占的比例,并且用它的曲线下区域来评价追踪效能。
2.2消融实验
通过对各模块分别开展消融试验,验证双网红外UAV单目跟踪算法的有效性。在此基础上,选取了具有更好跟踪性能的SiamR-CNN,并将其应用于参考跟踪。它的消融实验结果显示如表2所示。
2.3 实验结果分析
2.3.1 定量评价
通过与SiamR-CNN PrDiMP,DiMP50,ATOM,SiamBAN,ECO,SiamRPN,SiamRPN,自动跟踪,SiamFC++,KCF等。以准确度图表及成功率图表做为量化评价的指标,两者的对比结果见表3。
在精密度图上,相同的门限值所对应的精确度,以及在成材率图表上所占的面积愈大,就表示该方法具有较好的追踪效果。从图3所示GASiam算法曲线性能优于其它的算法。实验结果表明,GASiam与传统的SiamR-CNN方法比较,其准确率较标准的SiamR-CNN高4.2%,准确率高2.7%。从平均覆盖准确度来看,前7位目标追踪算法的整体表现如表3所示。
在反无人机公共数据库中,GASiam获得了74.46%的高分。另外,GASiam算法相对于标准的SiamR-CNN算法有较大提高,说明该三个模块在红外UAV目标跟踪中的优势。最后,利用反无人机数据,对GASiam算法进行了性能测试,并对其性能进行了对比分析。GASiam算法的运算速度是38帧/秒,满足了25帧(25帧)对实时性能的要求。由于GASiam的局部/全局转换机制,使得该方法的运算速度相对于SiamR-CNN(8 fps)有了明显的提高。此外,尽管SiamFC++与KCF(120 fps)的性能要比GASiam高,但是其追踪的成功率却低于GASiam。从这一点可以看出,GASiam算法既能提高目标的跟踪准确率,又能满足实时性要求。
2.3.2 定性评价
项目通过仿真和实验,分析了GASiam方法在实际应用中存在的一些共性问题,如:尺度变化、遮挡、飞鸟干扰、复杂背景、小型无人机等。从图5中可以看到,当面临这些问题时,这个算法能够获得更稳定的追踪。图中黄框是针对对象的真值框,绿框是GASiam算法的追踪效果,蓝框是SiamR-CNN追踪的效果,红框是PrDiMP追踪的效果,ECO算法追踪的结果是粉红框。每一段影像序列都会选择6帧的追踪结果,然后选择最重要的一帧来描述。
3 结语
通过以城市环境下对抗“低慢小”UAV的应用需求为研究对象,研究了一种新型的双UAV目标追踪方法-GASiam。首先,借鉴图神经网络与注意力模型,在图网络中引入空间注意力机制,研究基于图注意力机理的局部特征匹配方法,以替代传统的两级孪生追踪方法中的交叉关联运算,增强目标模板与搜索区域间的信息转移能力,并在此基础上减小复杂背景下的UAV目标特性提取问题。其次,针对UAV的大小、位姿变化,提出了一种基于目标识别区域的自适应选取策略。针对适用于场景的注意问题,研究基于移动网络V2的图像稀疏表示方法,在保证算法快速高效的前提下,实现对图像的高度精细刻画。最后,研究基于运动特征提取的切换策略,建立目标与背景的运动模型,并在此基础上判定目标是否存在缺失,并在此基础上,进行局部与全局的重新定位,以改善静止背景下的小目标跟踪准确率,提升无人机快速机动、遮挡、环境扰动等条件下的跟踪效果。
参考文献:
[1]何明,朱梓涵,韩伟,等.基于注意力机制和特征匹配的空对地多目标检测与跟踪算法[J]. 导航定位与授时,2023,10(5):53-62.
[2]孙开伟,王支浩,刘虎. 基于注意力机制最大化重叠的单目标跟踪算法[J]. 计算机科学,2023,50(6A):220400023-5.DOI:10.11896/jsjkx.220400023.
[3]侯艳丽,王鑫涛,魏义仑,等.基于IMPSiamCAR孪生网络无人机目标跟踪算法[J]. 计算机应用研究,2023,40(1):6.
[4]杨帅东,谌海云,徐钒诚,et al.基于孪生区域建议网络的无人机目标跟踪算法[J]. 计算机工程,2022,48(1):9.DOI:10.19678/j.issn.1000-3428.0060045.
[5]杨洋,宋品德,钟春来,等.无人机视角下基于深度学习的多目标跟踪研究进展[J]. 计算机工程与应用,2023(23):48-62.DOI:10.3778/j.issn.1002-8331.2307-0355.
[6]冯志刚,舒林.基于ARM的航拍三轴云台控制系统设计与研究[J]. 沈阳航空航天大学学报. 2022(3). DOI:CNKI:CDMD:2.1018.012789.
基金项目:大学生创新训练项目cs2302014




京公网安备 11011302003690号