- 收藏
- 加入书签
基于手势识别和语音识别的多功能智能天花板设计与实现
摘要:随科技的不断发展,智能家居已经成为人们关注的热点之一。然而,传统的天花板装饰方式单一、样式固定,无法满足不同类别用户的需求。因此,我们推出的多功能智能天花板,将互联网技术与天花板相结合,提供更加灵活多样的装饰方案,主要安装在房屋顶部,通过手势和语音等方式,识别用户指令并存储于数据库中,再加以分析并执行,以优化用户的体验。
关键词:智能化家具;多功能智能天花板;互联网技术;手势识别;语音识别
1.前言
1.1项目来源及研究目的和意义
智能家居行业有着广阔的前景,未来将会持续发展。趋势方面,数字化对讲与智能家居的结合将会成为一个发展方向,楼宇对讲将添加更多的智能家居功能,将安防、家电控制、信息服务、娱乐等功能融合在一起,实现质的飞跃,促进智能家居行业的发展。智能家居的发展对我们的生活产生了深远的影响,它改变了人们的生活方式,创造了更加便捷、安全、节能的生活空间。智能家居的核心是提高人们的生活质量,使家居也能走可持续发展的节能路线。智能家居的发展方向包括面部识别、声纹识别、自主学习能力、主动响应等方面。目前,家电厂家、互联网科技巨头、移动设备厂家、网络提供商等巨头都加入到智能家居的布局当中,行业竞争激烈,但正因为如此,才能带给用户更加科幻、舒适的体验。
2.软件设计部分
2.1语音识别版块
语音识别版块包含建立声学模型和语言模型两个部分。我们使用GRU-CTC的结构建立了第一个声学模型,并采用中文免费数据集来建模;同时,我们还建立了一个n元语法语言模型。
2.2手势识别版块
手势识别版块主要包括手势定位、手势分割、手势分析和手势识别。手势定位方面,我们采用光流方法实时跟踪手势;手势分割,则使用Running Average方法对背景进行建模,以实现手势的准确分割;手势分析中,我们首先使用方向梯度直方图(HOG)对手势做描述,然后通过主成分分析(PCA)将HOG投影到线性子空间中,实现PCA-HOG描述特征;手势识别则主要使用传统机器学习方法和神经网络。
2.3图像处理版块
图像处理版块则包含信息采集、图片切割、图像旋转和椒盐噪声处理四个部分。信息采集阶段,我们使用OpenCV、Clmg和Cxlmage等技术对基础图像内容进行采集;图片切割则利用图片编辑器进行分类切割;处理过后的图像还需要进行360度,36次旋转,我们利用cv2现有的函数cv2.getRotationMatrix2D进行处理;最后,我们使用图像特定的特性,对图像进行椒盐噪声处理。
3.关键技术
3.1 语音识别模型
语音识别模型采用隐马尔可夫模型(HMM)。该模型使用从左向右单向、带自环、带跨越的拓扑结构来对识别基元建模;一个音素就是一个三至五状态的HMM,而一个词就是多个音素HMM串行起来构成的HMM。整个连续语音识别模型是由词和静音组合起来的HMM构成。
3.2 手势识别模型
手势识别模型中,我们使用函数cv2.imread( )读入图像和函数cv2.imshow( )显示图像;利用cv2.findContours( )提取手的轮廓,并找到最大凸包cv2.convexHull( );接着,找到手掌和手指的相对位置,定位手型的轮廓和关键点,包括手掌的中心、手指的相对位置,并标记手指和手掌。随后,我们将提取的特征点和手势字典中的进行比对,最终判断手势和形状,完成建模。
3.3图像处理模型
图像处理模型则是采用三层神经网络层,分别建立池化层、Flatten层、全连接层,并利用SGD(梯度下降优化器)让损失函数最小化。最后,我们利用3,7原则进行模型评估。
4.结语
综合以上技术可以看出语音识别、手势识别和图像处理都是当前人工智能领域的热点技术,对智能家居等领域具有重要的应用价值。在语音识别模块中,隐马尔可夫模型是一种常用的方法,可以通过识别基元来建模,与连续语音识别结合使用可以实现更加准确的应用。在手势识别模块中,使用图像处理技术,如凸包和特征点检测等方法,在提取手势的关键信息上起到重要作用。在图像处理模块中,则可以通过神经网络建立各种模型,实现自动的分类和识别功能。这些技术的综合应用可以实现智能家居等领域的更加智能化和人性化发展,为人们创造更加便捷、更加健康、更加安全的生活环境。
参考文献:
[1]陈科、沈国勇. 基于 HMM 的中文语音识别研究. 小型微型计算机系统,2011,32(6):1009-1011.
[2]何翠平、白胜山. 基于人工智能的智能家居控制系统设计. 计算机技术与发展,2016,26(11):127-131.
[3]赵鹏程、陆江、周大为. 基于深度学习的手势识别系统研究与实现. 计算机工程,2017,43(10):206-211.
(学生)作者简介:邓杨(2000.6),女,重庆市荣昌人,重庆市巴南区重庆工程学院,数据科学与大数据技术专业,本科生。
高坤(2001.8),男,重庆黔江人,重庆市巴南区重庆工程学院,数据科学与大数据技术专业,本科生。
余红(2002.11),女,重庆市丰都县人,重庆市巴南区重庆工程学院,数据科学与大数据技术专业,本科生。
(教师)作者简介:陆万里,1997.4,男,汉族,重庆万盛人,本科学历,重庆工程学院助理实验师,研究方向:人工智能,大数据。
刘雪梅,1983.10,女,汉族,四川资阳人,研究生学历,重庆工程学院教师,研究方向:应用心理学。
基金项目、编号:2020年重庆市大学生创新创业训练计划项目多功能智能天花板(CXCY2020140)
(作者单位:重庆工程学院)
京公网安备 11011302003690号