- 收藏
- 加入书签
关于生鲜食材AI检测模型的技术研究
摘要:随着生鲜市场的迅猛发展以及消费者对食品安全和品质标准的日益提升,对生鲜食材新鲜度的检测变得尤为关键。然而,传统检测手段往往耗时、效率低下且主观判断成分较重,相比之下,基于人工智能(AI)的检测模型展现出了高效、精确和客观的优势。本研究依托深度学习技术,构建并精细化了果蔬新鲜度分类数据集,运用多种模型进行训练与测试,并通过知识蒸馏与模型量化技术进一步增强了模型的性能。以检测鸡蛋的新鲜度为例,通过分析鸡蛋的近红外光谱信息与构建其大数据模型,验证了所提出的果蔬新鲜度检测模型在准确性和实时性方面均表现出色,为果蔬产业的智能化管理提供了坚实的技术支撑。
关键词:果蔬;新鲜程度检测;深度学习;快速检测技术
中图分类号:TS20
1 绪论
随着经济的迅猛增长,国民消费水平与健康意识显著提升。现代消费者的需求已从基本的温饱层面转变为对更绿色、更健康的高品质生活方式的追求,在生鲜食品需求方面尤为突出。
然而,生鲜食材市场的扩大也带来了一些质量安全问题。部分不良商家为谋取高额利润,故意销售劣质生鲜食材,如经过化学处理的 “以假乱真” 产品或外观处理后接近变质的肉类。这些劣质食材在外观上与高质量食材难以区分,给缺乏生活经验的年轻消费者带来了辨别难题。
在农业生产和农产品品质检测方面,传统检测方法依赖成本高昂、不便携带的设备,且检测范围有限,在一定程度上限制了农业的发展速度。我国小农户数量占农业经营主体的 98% 以上[1],果蔬类农产品种植分散,上市周期短,流通速度快,农药残留快速检测技术手段匮乏,导致果蔬类农产品质量安全管控难度较大。尽管农业和乡村经济仍在稳步前行,但为实现更全面、快速的发展,迫切需要创新的科技解决方案来突破现有局限,推动农业和乡村经济的繁荣发展。
本项目的研究意义在于解决当前生鲜市场存在的质量安全问题,提高消费者对市场的信任度,促进生鲜市场的健康发展。此外,该项目还将推动农业生产和农产品品质检测的现代化,借助低成本、便携式的检测设备,提高检测效率和范围,加速农业和乡村经济的发展。这种创新科技解决方案有助于提升农产品整体品质,增强市场竞争力,促进农业产业的可持续发展。
2 生鲜食材检测AI大模型的技术研究
2.1 生鲜食材检测AI大模型的研究背景
随着科技的持续发展,人工智能在各个领域的应用日益广泛。生鲜食材的检测对保障食品安全和质量至关重要。目前,关于生鲜食材 AI 检测模型的技术研究已取得一定进展。
生鲜食材是人们日常生活不可或缺的一部分,其质量和安全直接关系到人们的健康。传统的生鲜食材检测方法主要依靠人工感官评价和理化检测,存在破坏样品、检测效率低、人为误差大等问题。而 AI 检测模型能够实现无损、快速、实时检测,大大提高了检测效率和准确性。
2.1.1 生鲜食材检测AI大模型的相关技术
图像采集与处理、深度学习算法、迁移学习和数据增强技术都是生鲜食材AI检测模型的关键技术。
图像采集与处理:通过图像采集系统获取生鲜食材的样本图像[2]。例如,张茹等人在研究中以 4 种冷藏时间共 400 块切片生鲜牛肉为研究对象,通过图像采集系统获取样本图像后搭建基于 GoogLeNet [3]的改进模型进行生鲜牛肉冷藏时间识别[4]。对采集到的图像进行预处理,包括去噪、增强、分割等操作,以提高图像的质量和特征提取的准确性。
深度学习算法:卷积神经网络(CNN)是目前生鲜食材 AI 检测模型中常用的深度学习算法之一[5]。例如,Md. Kishor Morol 等人在研究中使用卷积神经网络(CNN)模型来识别食品成分,并基于识别出的成分设计了一种算法来推荐食谱[6]。研究者制作了一个由 9856 张图像组成的自定义数据集,这些图像属于 32 种不同的食品成分类别,最终实现了 94% 的准确率。
迁移学习和数据增强技术[7]:为了提高目标识别准确率,一些研究引入了迁移学习理论和数据增强技术。例如,张茹等人在研究中引入迁移学习机制辅以数据增强技术,有效缓解了复杂网络模型过拟合问题,提高了生鲜牛肉冷藏时间的识别准确率。
2.2 近红外光谱图像数据采集(以鸡蛋为例)
在图像采集系统中,本研究选用近红外光谱数据采集技术,使用遮光罩保持低光照条件下,并使用专门样品支架固定鸡蛋确保放置稳定,以此保障数据采集的准确性与可靠性,减少环境及操作因素对光谱数据的不良影响。
2.2.1 近红外光谱技术简介
近红外光谱技术是一种无损检测技术,它利用近红外光谱区域(波长范围约为780-2526纳米)的光与物质相互作用产生的光谱信息,对物质的成分、结构和性质进行分析。由于近红外光谱技术具有快速、准确、无损等优点,因此在生鲜食材检测领域具有广泛的应用前景。
2.2.2 数据采集过程
样本准备:首先从市场上随机选取多个品种的鸡蛋作为样本,确保样本的多样性和代表性。同时,对每个样本进行详细标注,包括品种、产地、新鲜度等信息。
光谱仪设置:选择一台高性能的近红外光谱仪,根据鸡蛋的特性调整光谱仪的参数。本研究中,波长范围选取 900 - 1700nm,分辨率在8 - 16nm。采集环境方面,温度控制在 20 - 25℃,湿度保持 40% - 60%。
数据采集:将鸡蛋样本放置在光谱仪的样品台上,启动光谱仪进行扫描。每个样品均用光纤探头扫描其横向中间部位的5个点位,在扫描过程中,光谱仪会收集鸡蛋样本在近红外光谱区域的反射或透射光谱信息,并将其转换为数字信号进行存储。此外分别测量每个鸡蛋样品的蛋黄指数、哈夫单位(HU)并记录[8]。
数据预处理:采集到的原始光谱数据通常包含噪声和冗余信息,因此需要进行预处理。预处理步骤包括平滑滤波、基线校正、归一化等,以提高数据的质量和可靠性。
数据集构建:经过预处理后的光谱数据将用于构建数据集。根据鸡蛋的标注信息,将数据集划分为训练集、验证集和测试集,以便后续进行模型训练和验证。
2.2.3 数据采集的挑战与解决方案
在数据采集过程中,本研究面临一些挑战,如样本的多样性、光谱仪的校准和稳定性、以及数据预处理的复杂性等。为了克服这些挑战,以下措施被应用于数据的采集:
严格控制样本的选取和标注过程,确保样本的多样性和代表性。本研究购买了当地五种新上市的鸡蛋各100个,按鸡蛋种类分为5组,分别编号“(组数,序号1-100)”。
使用光谱仪前对光谱仪进行校准和维护,以确保其稳定性和准确性。仪器校准包括波长校准、光度校准、零点校准、灵敏度校准以及构建校准曲线;仪器维护包括检查和清洁各个光学器件、软件更新等。
采用先进的数据预处理算法和技术,提高数据的质量和可靠性。本研究采用SavitZky-Golay卷积平滑:利用滑动窗口进行卷积运算,有效降低光谱中的噪声和干扰信号,同时保留光谱的光滑特征。针对异常数据,通过设定阈值等方法识别并处理光谱数据中的异常值,如直接删除异常值,或用均值、中位数等替代,以避免其对数据分析和模型建立的不良影响.
进行近红外光谱数据的采集与预处理,为后续的AI模型训练和验证提供了可靠的数据基础。在此基础上,本研究利用这些数据来构建和优化生鲜食材检测的AI大模型。
2.3 数据集构建与模型优化
2.3.1 模型构建阶段
(1)光谱信息初步处理
本研究收集了 500 组鸡蛋新鲜度数据,每组数据包含鸡蛋在不同保存时间下的原始光谱信息以及对应的综合新鲜度指标(蛋黄指数、哈夫单位等)。本研究采用漫反射方式采集鸡蛋样品的近红外光谱,每个样品在鸡蛋中部的8个不同部位采集光谱信息,取均值记录为样品的漫反射光谱。针对原始光谱,运用多种预处理方法,包括 Savitzky-Golay 卷积平滑法(窗口宽度设为 11)、多元散射校正(MCS)、标准正态变量变换(SNV)、一阶导数(1stDer,采用差分间隔为 2)以及二阶导数(2ndDer,差分间隔为 2)等。在本研究中,通过比较光谱强度均值数据,SG平滑的预处理方式表现的最好。因此,我们选择SG平滑预处理方式,获得了新的光谱集。
(2)校正集与验证集的选取
在机器学习的过程中,为了评估模型的泛化能力,必须将数据集分为两个独立的部分:校正集(训练集)和验证集。校正集用于训练模型,而验证集则用于评估模型的性能,以防止模型出现过拟合。本研究首先采用了简单随机划分的方法来分配数据。具体来说,整个数据集被随机分为两部分,其中75%(375组)作为校正集用于模型训练,剩余的25%(125组)作为验证集用于模型评估。为了进一步验证模型的稳定性和可靠性,本研究还采用了K折交叉验证的方法。数据集被均匀地分成K个子集(本研究中K设为5),每次将其中的一个子集作为验证集,其余K-1个子集作为校正集进行训练。在此基础上,运用偏最小二乘回归法(PLSR)构建用于预测鸡蛋新鲜度综合指标的定量预测模型。
(3)光谱特征提取
光谱特征提取是要从光谱数据中提取最具代表性、最有用信息。光谱数据包含了众多的数据点,特征提取就是要找出能体现物质类别、结构、状态等关键属性的特征。本研究光谱特征提取采用的方法为连续投影法(Successive Projections Algorithm,SPA)[9]和主成分分析(Principal Component Analysis,PCA)[10]。
2.3.2 模型优化
训练模型时采用迭代优化法。迭代优化是大数据模型优化的关键阶段,是一个针对模型的问题不断重复评估和改进的过程,直到模型性能达到预期指标。以下是我们在模型优化过程中采用的几个关键技术:
(1)正则化技术
为了防止模型过拟合,提高其泛化能力,我们采用了L1和L2正则化技术。这些技术通过在损失函数中添加权重的惩罚项,限制模型权重的增长,从而避免模型对训练数据的过度拟合。具体地,L1正则化倾向于产生稀疏权重矩阵,而L2正则化则倾向于权重值的均匀分布。
(2)提前停止策略
为了进一步防止过拟合,并减少不必要的训练时间,我们实施了提前停止策略。该策略监控验证集上的损失,当连续多个epoch内验证损失没有显著下降时,训练过程将被终止。这一策略有效地避免了模型对训练数据的过度拟合,并节约了计算资源。
(3)网络架构优化
我们对卷积神经网络(CNN)的架构进行了细致的调整,以寻找最适合生鲜食材新鲜度检测任务的结构。在本研究中,我们选择被广泛使用的3x3 的卷积核[11]。此外,我们还引入了残差连接(Residual Connections)来缓解深层网络训练中的梯度消失问题。
(4)超参数优化
超参数的选择对模型性能有着显著的影响。我们采用了贝叶斯优化方法,结合高斯过程(Gaussian Process)和树结构解析(Tree-structured Parzen Estimator, TPE)算法,自动寻找最优的超参数组合,包括学习率、批大小、优化器选择等。
(5)性能评估指标
为了全面评估模型性能,我们不仅计算了准确率、精确率和召回率,还引入了F1分数和ROC-AUC值(采用微平均或宏平均的方式转换)。这些指标从不同角度反映了模型的预测能力,为我们提供了更全面的模型性能评估。具体数据表现如图2。
2.3.3 模型验证阶段
模型训练完成后,进一步使用独立的验证集(125 组数据)测试模型的准确性和泛化能力。在实际应用场景中,再运用 k 折交叉验证(K = 5)来更全面地评估模型性能。交叉验证是把数据集划分为 5 个子集,每个子集约 100 组数据,然后轮流使用不同子集分别用于训练和验证的方法。通过对模型可靠性的评估以及相应调整,确保模型在实际应用中能够稳定且准确地输出预测结果。在验证过程中,记录每次验证的预测值与实际值的偏差,计算平均偏差在可接受范围内(如小于5%),以此来衡量模型的准确性和稳定性。
由图3可以看出,该模型的偏差属于正态分布型偏差数据,这种分布说明模型的预测结果比较准确,偏差较小,并且在均值附近的波动是随机的,是比较理想的模型偏差分布情况。
3 研究结果
本项目以先进科学技术为基础,以近红外检测技术(NIR)与二维相关(2D - COS)光谱分析技术为核心,并熟练运用机器学习算法,提出了一种新型的快速无损检测果蔬方式。
以鸡蛋新鲜度检测为例,这是一个极具代表性的应用场景。在整个检测过程中,本研究深入研究鸡蛋的近红外光谱。收集大量鸡蛋样本,获取其近红外光谱数据。然后,利用复杂算法对这些数据进行挖掘和整理,进而建立鸡蛋数据大模型。通过对比不同模型,能够精准判断鸡蛋的新鲜程度,整个过程对鸡蛋无任何损伤。
这种成功的检测模式展现了近红外光谱检测广阔的应用前景。它完全有希望被广泛运用于果蔬、肉类等生鲜食品的品质检测中。在果蔬采摘后的第一道质检环节,近红外光谱检测设备快速运转,能够瞬间判断出果蔬的品质是否达标,是否存在内部病变等问题。对于肉类,也可以迅速检测出其新鲜度和肉质情况。
推广近红外光谱无损检测果蔬法意义重大。从农产品品质角度看,它能精确筛选出优质果蔬,避免因品质问题导致的浪费,提升整个农产品的品质水平。对于食品安全而言,它是一道坚固的防线,能将有问题的食品拦截在市场之外。在供应链管理方面,它可以优化流程,减少因质量问题导致的成本增加和效率低下问题,从而促进农业朝着现代化的方向大步迈进,推动整个农业产业的升级和发展。
4 结论
在提升果蔬新鲜度检测性能方面,模型结构的优化是关键环节。本研究从算法改进、参数调整等多个维度入手,致力于提高检测精度和速度。一方面,优化算法将能够更敏锐地捕捉果蔬在近红外光谱中的细微特征变化,这些变化往往与新鲜度紧密相关。另一方面,通过对模型参数的精细调整,减少不必要的计算复杂度,从而实现快速、准确地判断果蔬新鲜度,满足实际生产中对高效检测的迫切需求。
近红外光谱检测技术在现代检测领域展现出了非凡的潜力[12],其应用前景无比广阔。
为了进一步提升近红外光谱检测技术的应用价值,本项目计划推动其与多种前沿技术的深度融合。具体而言,将其与大数据分析、人工智能、物联网、云技术等先进技术有机结合。这一系统将为农产品加工和流通环节提供强大的技术支持,有效保障农产品质量,进而助力乡村振兴战略的深入实施,推动农业产业向高质量、智能化方向发展。
参考文献:
[1]邹承东.”让小农户走上现代农业的康庄大道--促进小农户和现代农业发展有机衔接综述.”《农村经营管理》6(2021).
[2]张茹,张奋楠,周星宇,等.基于机器视觉的生鲜牛肉冷藏时间识别研究[J].食品与发酵工业,2022,48(18):75-80.DOI:10.13995/j.cnki.11-1802/ts.029675.
[3]王天兴.基于GoogLeNet网络结构的改进算法研究[D].杭州电子科技大学,2018.
[4]王虎虎,张茹,徐幸莲,等.基于深度学习的生鲜牛肉新鲜度识别[J].食品科学,2019,40(24):273-279.
[5]张帆.基于深度卷积神经网络的水果图像识别算法研究[D].中央民族大学,2020.DOI:10.27667/d.cnki.gzymu.2020.000283.
[6]Md. Kishor Morol,Md. Shafaat Jamil Rokon,Ishra Binte Hasan,A. Saif,Rafid Hussain Khan. “Food Recipe Recommendation Based on Ingredients Detection Using Deep Learning.” Proceedings of the 2nd International Conference on Computing Advancements(2022).
[7]刘鹏,王晓明,李晓东,等.基于迁移学习的蔬菜病害识别[J].农业工程学报,2019,35(1):192-199.
[8]石杨红,徐淼,姜丹,等.鸡蛋的保鲜指标、常规检测方法及保鲜技术[J].家禽科学,2024,46(06):54-59.
[9]陈佩.主成分分析法研究及其在特征提取中的应用[D].陕西:陕西师范大学,2014.
[10]黄维,田丰玲,刘振尧,等基于不同PLS算法的方竹笋中蛋白质分析的近红外光谱特征波段选择[J].食品科学,2013,34(22):133-137.
[11]周飞燕,金林鹏,董军.”卷积神经网络研究综述.”计算机学报6(2017).
[12]刘江鹏.基于深度学习的果蔬新鲜度识别技术研究[D].河南工业大学,2023.DOI:10.27791/d.cnki.ghegy.2023.000213.
作者简介:王椿茹(2005.02—),女,汉族,四川成都人,研究方向为人工智能算法。
京公网安备 11011302003690号