打开文本图片集

摘要：本文针对传统智能门禁系统存在的局限性，如对中心云端过度依赖、数据传输安全隐患、以及识别准确性不足等问题，提出了一种基于物联网的语音与人脸识别融合门禁系统。该系统将物联网技术与多模态生物识别技术相结合，通过边缘计算减少对中心云端的依赖，增强数据处理效率和安全性。系统采用了图像特征与声纹特征的融合处理，以及卷积神经网络进行身份验证，显著提高了识别的准确性和可靠性。研究结果表明，这种融合物联网技术的门禁系统有效提升了安全性和用户体验，推动了门禁技术的发展。

1.研究背景

传统的智能门禁系统采用实行计算与操作分离的构建方式，门禁系统采集到人脸图像或者语音数据之后，需要统一发给中心云端进行处理和计算，由中心云端根据处理结果决定是否解锁门禁。该门禁系统存在如下挑战：①大量的原始数据在传输到中心云端过程中对于网络带宽与存储容量造成负担，当网络延迟或者网络不稳定时，门禁解锁会发生延迟，难以及时解锁；②在数据在传输过程中可能被盗取，存在安全隐患。③当前的智能门禁系统主要选取人脸识别或者声纹识别中的一种进行身份验证，即使同时具备两种功能，两种技术也是分别独立地进行验证，即根据采集人脸图像进行人脸识别，根据采集的语音数据进行声纹识别，独立地选取人脸识别或者声纹识别中的一种技术进行身份验证，容易发生漏检、误检的情况。

针对上述挑战，本研究提出了一种基于物联网的语音和人脸识别融合门禁系统。该系统通过物联网技术实现设备间的无缝连接，利用边缘计算优化数据处理效率，同时融合语音和人脸识别技术以提高安全性和准确性。此外，系统支持实时监控和远程控制，极大提升了用户体验。这种新型系统不仅标志着门禁技术的发展方向，也为智能安防领域带来创新思路。

2.研究思路与内容

本研究设计的基于物联网的语音结合人脸识别的门禁系统，由边缘端与中心云端进行通信连接，具体如图1所示。

①获取模块：用于获取待验证人员的人脸图像；

②提取模块：用于提取所述待验证人员的图像特征与声纹特征；

③获取模块：还用于获取所述待验证人员的语音数据；

④归一化模块：用于对图像特征与声纹特征进行归一化处理；

⑤融合模块：用于对归一化处理后的图像特征与声纹特征进行特征融合，得到融合特征；

⑥验证模块：用于根据所述融合特征，通过卷积神经网络，对待验证人员的身份进行验证，得到身份可信度。

本研究设计的基于物联网的语音结合人脸识别的门禁系统10，门禁系统10作为边缘端与中心云端20进行通信连接，多个边缘端与中心云端20组成物联网。边缘端与中心云端的组合是经典的物联网架构，边缘端和中心云端协同工作完成语音及人脸识别。边缘端用于快速的本地数据处理和实时响应，减少数据传输和降低延迟，而中心云端用于更复杂的数据分析和长期存储，以及支持大规模应用。这种分布式计算架构允许物联网应用在不同的数据处理层次中平衡效率和性能。

门禁系统模块功能如下：

获取模块101，用于获取待验证人员的人脸图像与语音数据。

提取模块102，用于提取待验证人员的图像特征及声纹特征。具体而言，可以通过Haar级联检测器、深度学习的卷积神经网络CNN来提取待验证人员的图像特征。

归一化模块103，用于对图像特征与声纹特征进行归一化处理。归一化处理是一种数据预处理技术，用于将数据调整为特定范围或分布，以便于机器学习、数据分析或其他数据处理任务。归一化的目标是消除数据中的尺度差异，确保不同特征或数据点之间具有可比性，从而提高模型的性能和稳定性。

融合模块104，用于对归一化处理后的图像特征与声纹特征进行特征融合，得到融合特征。 具体而言，可以采用直接拼接、加权拼接等方式进行特征融合。

验证模块105，用于根据融合特征，通过卷积神经网络，对待验证人员的身份进行验证，得到身份可信度。

当身份可信度小于第一预设可信度时，拒绝解锁门禁；当身份可信度介于第一预设可信度与第二预设可信度之间时，通过中心云端20向管理端30发送解锁请求，以根据管理端30的指令决定是否解锁门禁；当身份可信度大于第二预设可信度时，直接解锁门禁，同时向中心云端20发送访客记录。

3.基于物联网的语音结合人脸识别的门禁系统实现

根据上述研究思路与内容，本研究的门禁系统包括：提取模块，用于提取待验证人员的图像特征；提取模块，还用于提取待验证人员的声纹特征；融合模块，用于对归一化处理后的图像特征与声纹特征进行特征融合，得到融合特征；验证模块，用于根据融合特征，通过卷积神经网络，对待验证人员的身份进行验证，得到身份可信度；当身份可信度小于第一预设可信度时，拒绝解锁门禁；当身份可信度介于第一预设可信度与第二预设可信度之间时，通过中心云端向管理端发送解锁请求，以根据管理端的指令决定是否解锁门禁；当身份可信度大于第二预设可信度时，直接解锁门禁，同时向中心云端发送访客记录。可信度设置根据用户的需求自定义设置。具体实现如下：

①将所述人脸图像均分为K个图像区域；

②构建各个图像区域的灰度直方图；

根据所述灰度直方图，提取各个图像区域的图像特征，所述图像特征包括：对比度、逆方差、熵值、能量值和灰度平均值。

根据各个图像区域的逆方差，计算各个图像区域的权重系数：

遗传算法可以搜索潜在的参数组合，以找到最大化人脸识别准确性的最佳解。通过调整权重系数和图像区域分割数目，系统可以优化识别性能。通过遗传算法，可以根据实际需求来调整权重系数和分割数目，以适应不同的应用场景。这使得系统更具灵活性，可以根据需求进行自定义配置。

本研究采用概率性的选择策略，随机挑选个体予以保留，形成新的种群，选择过程倾向于保留那些性能更好的个体，因为它们有更高的概率被选择，有助于引导算法向更优解的方向演化。同时，允许较差的个体有一定的概率被选择，这有助于维持种群中的多样性，允许更广泛的搜索，以保证算法不会过早收敛到局部最优解，最终找到更好的解决方案。

重复上述步骤，进行迭代，直到达到预设迭代次数，输出适应度值最大的解作为最优解。

4.研究结果

本研究设计的系统在边缘端（门禁系统10自身）中独立地进行身份验证，在采集人脸图像或者语音数据之后无需统一发给中心云端20进行处理和计算，避免大量的原始数据在传输到中心云端20过程中对于网络带宽与存储容量造成负担，保证解锁的及时性，同时，避免数据在传输过程中还可能被盗取，降低安全隐患。

此外，对于从人脸图像提取的图像特征以及从语音数据提取的声纹特征进行特征融合，之后根据多模态融合的特征，通过卷积神经网络，对待验证人员的身份进行验证，提升身份验证的准确性。

参考文献：

[1]刘宏健;钱振华等.基于区块链和多识别模式的安全智能门禁系统设计[J].电子技术与软件工程， 2023，23（10）：31-36.

[2]张颖兴，宣 扬，张俊豪等.基于树莓派的智能防疫门禁系统设计[J].信息技术与信息化，2022（05）：209-212.

[3]李伯星.基于人脸识别技术的门禁系统应用研究 [J].电子技术与软件工程，2022（15）： 148-151.

作者简介：

林志强（2017.6-）男，汉族，浙江湖州，技术总监，本科，主要从事人脸识别技术研究与开发