- 收藏
- 加入书签
基于SIFT算法的卷烟商标纸图像特征提取和配准研究
摘要:针对目前卷烟真伪识别算法耗时长、鲁棒性较差、准确性较低等问题,本研究提出了一种基于尺度不变特征转换(Scale Invariant Feature Transform, SIFT)提取方法,精准高效提取烟盒的目标区域并通过后续网络进行特征识别。实验表明本研究方法不仅能够对目标区域进行高效提取而且对烟盒图像亮度变化、部分区域被遮挡、倾斜放置等不同实际情况具有良好的鲁棒性。
关键词:烟草辨识;SIFT算法;特征提取
1 特征提取的必要性
在计算机中,图片以有序的多维矩阵进行存储,以图片大小为64×128×3为例,即计算机中使用24576个数字来存储一张图片,若图像数目较少,可以利用图片矩阵作为图像特征进行一系列操作,但实际应用场景中数据量都非常庞大,若直接以图片的存储矩阵作为图像特征进行各类运算,则将占用大量的存储和计算资源,是非常浪费且不合理的[1]。
计算机视觉可以根据一个物体的局部特征便可判断这个物品的种类,而不一定需要整个物品图片,同理,这样巨大的数据中存储的信息对计算机而言也不全部都是必要的,存在一定的冗余信息,可以通过一定的降维方法,对图片数据进行降维,或者称为从图片中提取特征,存储图片的重要信息,利用特征对图片进行更多的操作。
2 特征提取算法的选取
目前常用的算法有三种:①尺度不变特征转换(SIFT, Scale Invariant Feature Transform)是图像处理领域中的一种局部特征描述算法。SIFT算法不仅只有尺度不变性,当旋转图像,改变图像亮度,移动拍摄位置时,仍可得到较好的检测效果。②HOG(Histogram of Oriented Gridients的简写)特征检测算法,最早是由法国研究员Dalal等在CVPR-2005上提出来的,一种解决人体目标检测的图像描述子,是一种用于表征图像局部梯度方向和梯度强度分布特性的描述符。其主要思想是:在边缘具体位置未知的情况下,边缘方向的分布也可以很好的表示行人目标的外形轮廓[2]。③LBP(Local Binary Pattern,局部二值模式)是一种用来描述图像局部纹理特征的算子;它具有旋转不变性和灰度不变性等显著的优点。它是首先由T. Ojala, M.Pietikäinen, 和D. Harwood 在1994年提出,用于纹理特征提取,提取的特征是图像的局部的纹理特征。三中特征提取算法的比较见表1:
根据表1的比较,与我们实际应用的场景我们这次采用的是SIFT算法。SIFT算法对图像的缩放、旋转、平移、噪声等因素具有很好的鲁棒性,已经被广泛应用于图像特征区域提取的研究中,而且Mikolajczyk等人比较了SIFT算子与其他具有代表性的几种特征提取算子,如Harris算子及SUSAN算法等,通过对影像的尺度变化、视角变化、仿射变换等因素进行实验和分析,证明了SIFT算子的提取效果依据很好[3]。
3 SIFT算法概述
SIFT算法是由哥伦比亚大学的David D.lowe教授基于不变量技术特征检测方法的基础上提出来。SIFT算法所提取的SIFT特征是图像的局部特征,并不会因为图像大小不一样、图像旋转了不同的角度而导致识别困难增加,对一些复杂的变化、光照的干扰、物体部分部位被遮挡等情况也具有较强的识别能力。SIFT算法的提出对计算机视觉领域的发展具有很大的意义。
SIFT算法进行特征点提取及特征匹配的主要步骤为:
(1)尺度空间极值检测
尺度空间理论的基本思想是引入一个尺度参数,在图像信息处理中通过变化尺度参数来获取多尺度下的尺度空间表示序列。这序列可以用于提取尺度空间主轮廓,作为特征向量用于边缘检测和特征提取等任务。尺度空间的关键性质是视觉不变性,即尺度空间算子对图像的分析应该不受灰度水平和对比度变化的影响,满足灰度不变性和对比度不变性。此外,尺度空间算子还应该具备位置、大小、角度和仿射变换的不变性,即满足平移不变性、尺度不变性、欧几里德不变性和仿射不变性[4]。
一个图像的尺度空间定义为一个变化尺度的高斯函数与原图像的卷积,如下式(1)、式(2):
其中为影像中的像素坐标,为尺度空间参数,为高斯函数,为影像,*为卷积运算。
(2)极值点检测
空间极值点检测也就是关键点的初步探查,关键点是由DoG空间的局部极值点组成的,将影像与不同尺度下的高斯函数进行卷积运算,生成影像金字塔,关键点的初步探查是通过同一组内各DoG相邻两层图像之间的比较完成的。为了寻找DoG函数的极值点,每一个像素点要和它所有的相邻点比较,看其是否比它的图像域和尺度域的相邻点大或者小[5]。如下图所示,中间的检测点要和它同尺度的8个相邻点和上下相邻尺度对应的9x2个点共26个点比较,以确保在尺度空间和二维图像空间都检测到极值点。
由于要在相邻尺度进行比较,那么一个每组含4层的高斯差分金子塔,只能在中间两层中进行两个尺度的极值点检测,其它尺度则只能在不同组中进行。为了在每组中检测S个尺度的极值点,则DoG金字塔每组需S+2层图像,而DoG金字塔由高斯金字塔相邻两层相减得到,所以高斯金字塔每组需S+3层图像,实际计算时S在3-5之间。
(3)稳定关键点提取
DoG检测得到的局部极值点在离散空间搜索,因为我们在连续空间的采样结果离散化了。这导致离散空间的极值点并非真正的极值点,因此我们需要采取措施来剔除不合适的点。为此,可以利用尺度空间中的DoG函数执行曲线拟合,以寻找真正的极值点。这一步的核心目标是去除DoG曲线局部曲率非常不对称的点,从而提高特征点的质量。
在这个过程中,需要删除两种不符合要求的点,一种是低对比度的特征点,另一种是不稳定的边缘响应点。低对比度的特征点指的是在DoG曲线上局部对比度较低的点,它们通常不具备良好的特征性质,因此可以被剔除。不稳定的边缘响应点指的是那些由于边缘效应而导致DoG曲线在局部区域非常不稳定的点,它们也不适合作为特征点[6]。
因此,通过曲线拟合和对比度、稳定性的分析,我们可以筛选出更符合特征点条件的极值点,从而提高特征点检测的准确性和稳定性。
3.1剔除低对比度的特征点
一个不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率。DoG算子会产生较强的边缘响应,需要剔除不稳定的边缘响应点。获取特征点处的Hessian矩阵,主曲率通过一个2x2的Hessian矩阵H求出:
D的主曲率和H的特征值成正比,假设是较大的特征值, 是较小的特征值.则公式的值在两个特征值相等时最小,随着r的增大而增大。r的值越大,说明两个特征值的比值越大,即在某一个方向的梯度值越大,而在另一个方向的梯度值越小,边缘恰恰就是这种情况。所以,为了剔除边缘响应点,需要让该比值小于一定的阙值,即:
(4)特征点方向分配
为了实现旋转不变性,可以利用图像的局部特征为每个关键点分配一个基准方向。方法是利用特征点像素的梯度分布特性来确定其方向参数,然后使用图像的梯度直方图来计算关键点局部结构的稳定方向[8]。相应计算以特征点为中心、以为半径的区域的图像幅角和幅值,每个点L(x,y)的梯度的模m(x,y)以及方向可通过下面公式求得:
(5)关键点特征描述
通过上述计算, 每个关键点都具备了3个固定的信息, 分别是位置、 尺度以及方向。使用一组向量对每个关键点进行描述, 建立描述符。将每个关键点周围的区域分别规划成16个子区域,为每一个子区域分别进行设定, 并给出8个方向, 因此构成一个128维向量, 将该向量视为SIFT描述子。
(6)特征点匹配
特征点匹配的原理基于欧氏距离,通过比较特征向量的相似度来衡量匹配程度。在一幅图像上选择一个特征点,然后在另一幅图像中找到欧氏距离最接近的前两个点。计算最近距离与次近距离的比值,并与预设的阈值比较。如果比值小于阈值,则接受这一对匹配点。阈值的选择影响着匹配结果,较大的阈值会产生更多匹配点,但也可能引入更多错误匹配;较小的阈值则减少了匹配点数,但同时降低了错误匹配的风险。
其中Ri=(ri1.ri2.…,ri128)、Si=(si1.si2.…,si128)分别为匹配图像中特征点的描述符与待匹配图像中的特征点的描述符。当最近距离与次近距离的比值小于事先所设置的阈值时,就可以认为该点为匹配点。
4 SIFT算法在卷烟商标纸图像配准中的实验及分析
4.1卷烟烟盒SIFT算法提取示例
每个 SIFT 特征点从一幅图像中提取出四类信息,包括位置坐标、特征向量、所处尺度和方向。我们的算法在如下配置的硬件平台上进行实验:CPU采用 I9 13900KF,主板使用技嘉Z790M,显卡为RTX4090。这些图像由我们自行定制的相机拍摄获得。
4.2卷烟烟盒SIFT算法的实现步骤
准备三个文件夹存储图像配准所需要的数据:
(1)sample(卷烟商标纸样品文件)
(2)patch(提取的卷烟商标纸目标文件)
(3)template(卷烟商标纸模板文件)
首先选取图片质量较高的卷烟商标纸作为配准模板,并将配准模板存放在template文件夹中。在选取目标区域后,确定目标区域位于卷烟商标纸图片的中心点(x,y轴)坐标,并根据目标区域的大小在代码中设定目标区域的像素值。
设定好模板参数后,将sample文件夹的绝对路径作为原始文件加载路径,使用Python库OpenCV的imread方法读取照片后,依提取感兴趣区域。提取后将patch文件夹的绝对路径作为目标路径,提取后依次保存,这样就通过图像配准获得感兴趣区域。
提取率指标统计
5 结论
针对传统的假烟辨别方法无法快速大规模识别、鲁棒性较差、准确率较低等不足,本研究提出了一种基于SIFT算法的烟盒定位方法,利用烟盒上图案局部特征点实现了待检测卷烟与真烟图片的匹配,从而提前目标区域。同时SIFT算法对烟盒旋转角度、叠放、光照、部分遮挡等都具有较好的鲁棒性和高识别率并且在定位的同时实现了对烟盒所选择的特征区域的识别。因此,本文算法在烟草真假的辨别中具有较高的实际应用价值。
参考文献
[1] 谢忠阳,杨成禹.基于改进SIFT算法的缺陷测量方法[J].长春理工大学学报(自然科学版),2023,46(05):75-81.
[2] 李冰.基于二维小波变换SIFT算法模型的皮革断面图像配准研究[J].中国皮革,2023,52(10):42-46.DOI:10.13536/j.cnki.issn1001-6813.2023-010-010.
[3] 张喜民,詹海生,余奇颖.几何特征约束的SIFT特征匹配改进算法[J].计量学报,2023,44(08):1182-1187.
[4] 杨光熙.SIFT图像配准算法在油田无人机技术中的应用[J].信息系统工程,2023(06):60-63.
[5] 石大娟.不同算法露天煤矿影像匹配对比分析[J].地水,2023,45(06):176-178.DOI:10.19807/j.cnki.DXS.2023-06-055.
[6] 裴成梅. 基于FPGA钢化玻璃表面缺陷检测中加速SIFT算法研究[D].湖北文理学院,2023.DOI:10.44305/d.cnki.ghbwl.2023.000100.
[7] 何铭. 基于SIFT特征点的田间航拍全景图像快速拼接算法研究[D].吉林农业大学,2023.DOI:10.27163/d.cnki.gjlnu.2023.000551.
[8] 孙希延,刘博,纪元法等.基于SIFT改进的无人机图像匹配算法[J].电光与控制,2023,30(05):34-38.
科研项目:2022年陕西省烟草公司渭南市公司科技计划(WN-KJ-2022-03)




京公网安备 11011302003690号