• 收藏
  • 加入书签
添加成功
收藏成功
分享

基于机器视觉的羊栖菜自动夹苗机控制系统研究

周培
  
扬帆媒体号
2024年20期
浙江工贸职业技术学院 人工智能学院 浙江 温州 325002

打开文本图片集

摘要:针对当前洞头区域羊栖菜的夹苗方式主要为人工进行,费时费力且效率低下的问题,设计一台羊栖菜夹苗机,可完成多根苗绳同时张开闭合,提高羊栖菜夹苗机的工作效率。菜头识别采用改进的Mask-RCNN目标检测算法进行研究,通过基于 OpenCV、VS2020的环境对深度神经网络进行训练,并对羊栖菜菜头进行识别,最终实现通过Delta并联机器人将羊栖菜自动放入苗绳中,实现羊栖菜夹苗动作的全自动运行,不需要人工与设备进行配合,提高生产效率,降低人工需求量,降低人工成本。

关键词:羊栖菜;夹苗机;模型设计;Mask-RCNN;OpenCV;Delta并联机器人

中图分类号: TP273              文献标志码:A

0 引言

羊栖菜[1]是一种生长在沿海地区潮间带岩石上的常见海藻,也是中国传统食用海藻之一。在温州市的洞头区,也存在着非常多的渔民家庭是以养殖羊栖菜为生,但是羊栖菜的分拣与培育都属于劳动密集型作业,随着我国城市化、工业化进程[2]的不断深入,洞头区域内的人口不断的向市区转移,洞头本地的劳动力越来越紧张,这使在羊栖菜培育季的时候越来越难找到分拣和夹苗工人。而且羊栖菜即使是小规模养殖,一次分拣量也能达到20吨以上,如此高的产量需要极高的劳动强度和管理成本。

同时,手工操作或者传统的机械操作一次只能在一根夹苗绳上操作,效率较低,时间花费大,用工量大,用工成本不断提高,生产成本不断升高。为减去工人劳动强度,提高工作效率,需尽快建立和完善一套符合市场要求的羊栖菜培育行业的标准体制,密切结合羊栖菜行业技术的发展要求,力争完善产品品种、增强羊栖菜培育流水线作业,使羊栖菜夹苗机在整体上接近国际先进水平。

因此,若能将机器视觉和自动化技术应用到羊栖菜的分拣培育当中,能有效的提高羊栖菜的分拣效率,实现高质量的规模化生产。尤其是羊栖菜夹苗的自动化程度是提高生产效率、降低生产成本、提高养殖户生产积极性的重要内容。

1  系统总体方案设计

系统总体架构如图1所示,项目采用工厂流水线式的做法,由传送带将幼苗输送至摄像头检测的地方,通过OPENCV进行算法模型[3]训练,直到能够准确识别出菜头和菜身,并通过并联机器人将菜头抓到苗绳上进行固定。

2  基于Mask-RCNN的羊栖菜目标检测与识别

本项目将采用一种基于Mask-RCNN的羊栖菜目标精确识别方法[4],通过在Faster R-CNN[5]基础上增加一个额外的掩膜分支来扩展其目标检测框架,增加全连接层(RoIAlign)并重新定义ROI损失函数,从而改进得到的一种用于实例分割的深度学习神经网络。如图2所示Mask-RCNN框架由3个阶段组成:1、主干网络(ResNet),对输入图像进行特征提取,生成特征图(Feature Maps);2、区域建议网络(RPN),对主干网络输出的特征图进行处理进一步生成感兴趣区域(RoIs);3、三分支结构,生成检测目标的类别、回归框坐标以及掩膜。

本项目Mask-RCNN模型算法主要有以下5个过程:

1)将所采集的羊栖菜图像进行卷积[6](CONVLayers)处理,使用ResNet卷积神经网络提取羊栖菜根部图片的特征,采用残差传播,生成特征图(Feature Maps)。

2)采用RPN对所得到的特征图进行操作,产生ROIs,对每个候选区域进行目标框回归操作生成目标 回归框并得到类别可能性大小。RPN对不同尺度的特征图进行卷积,在每个位置生成3个锚点(anchaor),其中针对class生成3×3个卷积核(菜头、菜身和背景)。在卷积层后连接两个全连接层,完成每个像素的前景(目标)和后景(背景)的判别,以及菜头目标框的回归修正。

3)对每一个RPN得到的ROIs和特征图,进行RoIAlign操作,提取每个RoI对应的特征并将特征的维度转化成特定的值,将所有的特征全部输入到全连接层进行权值共享,得到所有RoI规整之后的特征图。

4)将规整后的特征图分别导入Cls&Reg和Mask掩膜两条通路。其中,Cls&Reg通路包含两个支路,分别用于生成回归框和预测类别;Mask掩膜通路,以像素到像素的方式来对分割掩膜进行预测,该分支为卷积网络,用于生成Mask标记

5)输出三个结果,目标的类别、目标的回归框坐标以及目标的掩膜。

模型训练[7]主要分为预训练、迁移学习训练和验证训练三个阶段,如图3所示。首先,采用ResNet神经网络对预训练集样本进行预训练,获得羊栖菜根部特征提取器;然后,添加Mask分支和classifier分支,对优化训练集样本进行网络模型参数训练,经多次迭代训练和迁移学习调整,得到优化模型;最后,利用验证集样本对模型进行验证,并进一步调整模型。模型训练过程需要控制loss函数的收敛过程和训练集的识别效果两个关键环节,以及迭代的步长与次数、学习率和置信度等关键参数。

3  Delta机器人运动学坐标系

项目采用Delta并联机器人[8]作为羊栖菜菜根夹取的核心组件,通过静平台上三个驱动电机驱动主动臂旋转,进而控制动平台上的末端采摘器进行定位夹取,其结构如图4所示,Delta并联机器人通过三条支链 (包括驱动电机、主动臂、驱动臂)协同控制,从动臂为平行四边形结构,因此动平台在工作空间内可以实现三个坐标方向的平移运动。

Delta并联机器人的运动学分析是研究的首要任务,主要包含已知机器人的三个驱动关节输入参数,确定机器人末端动平台位姿的正运动学分析和已知机器人末端动平台的位置和姿态,确定机器人各个关节输入参数的逆运动学分析。首先以静平台和动平台建立坐标系,其中O为静平台的中心点,P为动平台的中心点。通过并联机器人逆运动学和正运动学分析得到运动学逆解和动平台末端中心位置的三维空间坐标(x,y,z)。

4  夹苗机结构组件设计

1)夹绳组件

夹绳[9]组件的具体结构如图5所示,夹绳组件主要包括舵机和夹爪,将舵机通过螺钉固定到夹爪上。可以在两个夹爪中间与苗绳接触的地方设置螺旋槽,以方便矫正苗绳的位置。

2)拧绳组件

拧绳[10]组件采用一个带舵机的机械爪和齿轮组成,通过齿轮的转动实现拧开苗绳,拧绳组件和拧绳组件的间距为40~60mm,齿轮的转动使用步进电机作为动力源。

3)移动组件

5  实验测试与结论

本课题将搭建基于Delta并联机械臂的羊栖菜自动夹苗机开发平台,主要由PC端、Delta并联机械臂、夹苗机、工控机[11]、摄像头和传送带组成。最后进行实验测试,该平台可以通过摄像头获得羊栖菜的真实图像,经过图像算法分析图像数据,确定菜头位置。对夹取路径进行轨迹优化,再将其传送至下位机的运动程序中,使得夹取工作得以精准完成。实验平台组成示意图如图8所示。

本系统设计的羊栖菜自动夹苗机可以减少对劳动力的需求,特别是在大规模羊栖菜养殖中。这对于缓解劳动力短缺问题具有积极意义,同时也降低了养殖成本。

参考文献:

[1] 杨小雨,曹鹏,邹慧熙,等.羊栖菜次生代谢产物及其活性研究进展[J].浙江农业科学,2023,64(12):2970-2976.

[2] 高超勇,王书明,王振海.城市化背景下海洋渔村变迁--基于国内研究文献的思考[J].中国海洋社会学研究,2016,(00):101-109.

[3] 朱云,凌志刚,张雨强.机器视觉技术研究进展及展望[J].图学学报,2020,41(06):871-890.

[4] 钟岩.基于机器视觉的并联式自动采茶机控制系统研究和开发[D].青岛科技大学,2022.

[5] 陆青梅.基于Faster R-CNN的无人超市商品自动化识别技术[J].现代电子技术,2024,47(12):145-149.

[6] 董娅兰,胡国玉,刘广,等.基于Mask R-CNN模型的葡萄藤关键结构分割方法[J].中国农机化学报,2024,45(02):207-214+377.

[7] 王永惠,曹浩,基于Mask R-CNN模型的砀山酥梨目标检测[J].青岛农业大学学报(自然科学版),1-6.

[8] 马智斌.并联式自动采茶机控制系统研究[D].青岛:青岛科技大学,2020.

[9] 韩鸣迪.海带夹苗机设计及夹苗绳索力学性能研究[D].哈尔滨工业大学,2018.

[10] 王慧,于泳,王东旭.海带夹苗钳机械结构设计[J].渔业现代化,2017,44(05):35-38+44.

[11] 芮聪.四轴并联机器人的控制系统研究与设计[D].江南大学,2023.

基金项目:浙江工贸职业技术学院院级课题“羊栖菜自动夹苗机技术研究”(G230205)

作者简介:周培(1996—),男,浙江永嘉人,助教,研究方向为工业以太网、运动控制等。

*本文暂不支持打印功能

monitor