- 收藏
- 加入书签
基于STM32和YOLO v3的“天使眼”智能盲人监测系统
摘要:随着社会的不断进步与发展,视障群体的生存和发展问题日益受到重视,尤其是盲道占用,基本生活中所面临的挑战和问题,已成为亟待解决的社会问题。因此,本项目基于STM32L431RCT6芯片和YOLO v3模型设计开发了一款名为“天使眼”的智能盲人检测系统,以帮助提高视障群体的生活质量。
关键词:STM32L431RCT6芯片;YOLO v3模型;智能盲人检测系统
一、引言
在当今社会快速发展的背景下,特殊群体的生存和发展问题日益受到广泛关注,其中盲人群体在学习、生活和职业发展中所面临的挑战尤为突出。1根据世界卫生组织(WHO)针对全世界视障人群所作的调查统计,截至2010年,中国盲人数量已经达到824.8万,并且低视力人数高达6727.4万,是全世界视障人数最多的国家。可见这一群体对辅助视力的需求长期且迫切,这为“天使眼”智能盲人眼镜项目提供了巨大的市场潜力和发展空间。随着技术的不断进步,该项目有望在识别准确性、使用场景拓展以及用户体验等方面取得显著突破,为视力受损群体带来积极影响。
二、需求分析
随着国家对残疾人福利和辅助技术的日益重视,国务院在其发布的“十四五”残疾人保障和发展规划中明确指出,要巩固拓展残疾人脱贫攻坚成果,改善残疾人生活品质,保障其基本民生。本项目基于STM32L431RCT6和YOLO v3模型,开发的“天使眼”智能盲人监测系统,主要研究内容包括语音提示、物体检测和道路语义分割模块。本设备由穿戴设备的摄像头获取视频流,输入YOLO v3模型进行实时检测,对捕捉到的视频进行物体检测,获取物体位置与类别信息,并利用超声距离传感器检测障碍物距离,将经过图像处理过后的信息通过语音或震动提示反馈给穿戴者,进行引导服务。
三、语音提示模块
选择STM32最小系统作为主控单元,主要得益于其具有高性能、低功耗的特性,这使得它适合应用于嵌入式系统中。本模块配置麦克风用于语音输入,扬声器或耳机插孔用于语音输出。通过麦克风采集用户的语音命令,然后使用诸如梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)2提取特征,再利用预先训练好的深度神经网络模型进行语音识别,从而确定用户发出的具体指令,根据识别出的命令,系统会从数据库中调用相应的文本模板,并使用语音合成技术,简称TTS (Text-to-Speech)将这些文本转换成语音信息,通过扬声器播放出来。
四、道路语义分割模块
通过道路原始图像和掩膜图,应用Unt预训练道路语义分割模型,当摄像头获取到视频流时,初始化时 U-Net优化模型3创建一个双端队列 deq 用于平滑车道线检测结果。预处理获取的视频帧,使用U-Net预测车道线掩膜,使用霍夫变换检测车道线。分离左车道线和右车道线,计算车道线的平均邪路和结局,继续选相对于车道线的位置,在图像绘制车道线和位置信息,通过语音提示模块对佩戴者进行语音提示。
五、系统功能测试
(一)语义分割功能测试
语义分割功能测试:该功能的目标是在实时视频流中识别出特定的道路元素,如车道线、行人、车辆等,并通过视觉提示帮助使用者理解周围环境。为了验证这一功能的有效性,在一个模拟的城市道路环境中进行了测试。测试场景包含多种道路条件,包括直线道路、弯道以及交叉路口。系统成功地识别出了车道线,并在车道线偏离时及时给出了语音警告,例如:“您已偏离道路,请注意安全”。语义分割功能的测试结果展示了系统在复杂道路环境中的适应性和准确性。
(二)物体检测模块
物体检测模块的核心是YOLO v3模型。该模型负责处理捕捉到的视频流,快速识别出照片中的物体位置及其所属类别。通过此模型,盲人智能眼镜能够智能识别上百种类别的物体。为了进一步提高盲人智能眼镜的避障能力,物体检测模块还集成了超声距离传感器。该传感器能够检测前方是否存在障碍物,并测量出障碍物的距离信息。当检测到障碍物时,超声距离传感器将障碍物的距离信息传输到计算机视觉处理模块。计算机视觉处理模块接收到超声距离传感器的信息后,结合YOLO v3模型的识别结果,对障碍物的距离和类型进行综合分析。
六、结语
本文详细介绍了“天使眼”智能盲人检测系统的设计与开发过程,旨在利用先进的深度学习技术,为盲人群体提供一款高效、便携的辅助出行系统。“天使眼”智能盲人检测系统不仅满足了盲人群体对辅助视力的迫切需求,还为他们提供了更加自主和独立的日常生活体验。该系统在识别准确性、使用场景拓展以及用户体验等方面取得了显著的突破,极大地提升了产品的性能和用户的满意度。
参考文献:
[1]张霞雯.基于YOLO v2的盲人识物系统研究与发现[J],海南大学,2021.
[2]贾枫1,于妍2等.“十四五”期间残疾人康复需求发展现状分析[J],1.河北师范大学汇华学院2.长春高新兴华学校,2024,01.
[3]郭佳淇,张继通.基于MFCC和HMM的语音识别优化方法研究[J],郑州工业应用技术学院,2024,10.
[4]杨浩哲,郭楠.基于图像的虚拟试衣综述——从深度学习到扩散模型 [J],东北大学计算机科学与工程学院,2024,12.
基金资助:2024年西南财经大学天府学院国家级大学生创新创业训练计划项目--基于STM32和YOLO v3的“天使眼”智能盲人监测系统(项目编号:202414037093)。
作者简介:陶兴聪(2001.11.06-),女,汉族,四川省宜宾市叙州区人,本科在读;彭芸靖(2002.10.6-)男,汉族,四川南充营山人,本科在读;闫佳莉(2003.04-),女,汉族,宁夏省银川市贺兰县人,本科在读。
京公网安备 11011302003690号