• 收藏
  • 加入书签
添加成功
收藏成功
分享

基于多传感器融合和深度学习的穿戴式步态分析系统:技术进展与未来展望

陈梁洁 柳俊
  
大海媒体号
2024年42期
龙岩学院 福建龙岩 364012

摘要:随着人口老龄化的加剧,步态异常引发的跌倒风险和相关健康问题日益受到关注。本文综述了基于惯性测量单元(IMU)和深度学习的穿戴式步态分析系统的最新研究进展。重点探讨了多传感器融合技术、数据处理算法和深度学习模型在提高系统精度和实时性方面的创新应用。本综述为开发新一代智能穿戴式步态分析系统提供了理论基础和技术参考。

关键词:穿戴式传感器;步态分析;深度学习;惯性测量单元;实时运动捕捉

1. 引言

随着全球人口老龄化进程的加速,老年人的健康状况日益成为社会关注的焦点。其中,步态异常及其引发的跌倒风险已成为影响老年人生活质量和健康状况的重要因素[1]。据世界卫生组织统计,每年约有3770万老年人因跌倒而需要医疗救治,跌倒已成为65岁以上人群意外死亡的第二大原因。因此,准确、及时地评估和监测老年人的步态状况,对于预防跌倒、降低伤害风险和提高生活质量具有重要意义。

1.1 研究背景和意义

步态分析作为一种非侵入性的生物力学评估方法,在临床诊断、康复医学和运动科学等领域有着广泛的应用。传统的步态分析方法通常依赖于专业的实验室设备,如三维运动捕捉系统和测力平台等。这些方法虽然精度高,但存在设备昂贵、操作复杂、应用场景受限等缺点,难以满足日常生活中连续监测和实时评估的需求。

近年来,随着微机电系统(MEMS)技术和人工智能算法的快速发展,基于惯性测量单元(IMU)的穿戴式步态分析系统逐渐成为研究热点[2]。这类系统具有便携、低成本、易操作等优势,为实现步态的长期监测和实时分析提供了可能。然而,单IMU系统在长时间使用中往往面临累积误差增大、精度下降等问题,限制了其在精确步态分析中的应用。

1.2 步态分析的重要性

步态分析不仅能够评估个体的运动功能,还可以反映神经系统、肌肉骨骼系统等多个生理系统的健康状况。通过对步态参数的量化分析,可以早期发现潜在的健康问题,为临床诊断和治疗提供重要依据[3]。例如,步态异常可能是帕金森病、多发性硬化症等神经退行性疾病的早期征兆;同时,步态参数的变化还可用于评估骨关节疾病的进展和康复效果。

1.3 穿戴式设备在步态分析中的应用

穿戴式设备凭借其便携性和连续监测能力,正在推动步态分析领域的技术进一步发展[4]。特别是基于IMU的穿戴式系统,能够在自然环境中采集用户的运动数据,为研究日常生活中的真实步态模式提供了可能。这些系统通常包含加速度计、陀螺仪和磁力计,可以测量人体各部位的加速度、角速度和方向信息。

然而,将穿戴式设备应用于精确步态分析仍面临诸多挑战。首先,如何在保证测量精度的同时,最小化设备对用户日常活动的影响,是系统设计需要考虑的关键问题。其次,如何处理长时间监测中产生的大量数据,提取有意义的步态特征,也是当前研究的重点。此外,考虑到老年用户的特殊需求,系统的易用性、舒适性和长期佩戴的可行性同样不容忽视。

面对这些挑战,多传感器融合技术和深度学习算法的引入为问题的解决提供了新的思路。多传感器融合技术可以通过整合多个IMU的数据,提高系统的测量精度和抗干扰能力。深度学习算法则能够从复杂的步态数据中自动提取特征,实现更准确的异常检测和风险评估。

2. IMU技术在步态分析中的应用

2.1 IMU工作原理及其在步态分析中的优势

惯性测量单元(IMU)是一种集成了加速度计、陀螺仪和有时还包括磁力计的微型传感器系统。在步态分析中,IMU通过测量人体运动时的加速度和角速度,为研究人员提供了丰富的运动学数据。加速度计测量线性加速度,陀螺仪测量角速度,而磁力计则提供方向信息。这些数据经过适当的处理和分析,可以推导出步长、步频、步态相位等关键步态参数。

IMU在步态分析中的主要优势包括:

1) 便携性:体积小、重量轻,适合长时间佩戴。

2) 灵活性:可以测量人体多个部位的运动,如足部、小腿、大腿等。

3) 成本效益:相比传统的光学运动捕捉系统,成本较低。

4) 使用环境不受限:可在实验室外的自然环境中进行测量。

2.2 单IMU系统的局限性

尽管单IMU系统在步态分析中有广泛应用,但仍存在一些固有的局限性:

1) 累积误差:通过积分获得速度和位置信息时,会产生累积误差,影响长时间测量的精度。

2) 运动伪影:人体软组织的移动可能导致传感器相对于骨骼的位置发生变化,引入误差。

3) 磁场干扰:环境中的磁场变化会影响磁力计的测量精度。

4) 信息有限:单一位置的IMU难以全面捕捉复杂的人体运动。

2.3 双IMU系统的优势和挑战

为克服单IMU系统的局限性,研究者提出了双IMU系统。通常将两个IMU分别安装在左右足部或小腿上,以获得更全面的运动信息。

双IMU系统的优势:

1) 提高测量精度:通过两个传感器的数据互补,减少单个传感器的误差。

2) 更全面的运动捕捉:可同时获取双足的运动信息,有利于步态对称性分析。

3) 相互校正:利用人体运动的对称性,两个IMU可以相互校正,减少累积误差。

然而,双IMU系统也面临一些挑战:

1) 数据同步:确保两个IMU的数据采集精确同步。

2) 数据融合:如何有效整合两个IMU的数据以提高整体精度。

3) 能耗增加:额外的传感器会增加系统的能耗,影响长时间使用。

4) 佩戴复杂性:增加了用户使用的复杂度,特别是对于老年人群。

总的来说,IMU技术为步态分析提供了一种灵活、便携的解决方案。随着多传感器融合技术和数据处理算法的不断进步,基于IMU的步态分析系统有望在精度和实用性方面取得更大的突破,为临床诊断和健康监测提供更可靠的工具。

3. 多传感器融合技术

多传感器融合技术是提高IMU系统性能的关键方法,它通过整合多个传感器的数据,克服单一传感器的局限性,提供更准确、可靠的测量结果[5]。在步态分析中,这项技术对于提高系统精度和鲁棒性至关重要。

3.1 数据融合算法概述

数据融合算法的核心是将来自不同传感器的数据进行有效整合,以获得更优质的信息[6]。常用的融合算法包括:

1) 互补滤波:利用不同传感器在不同频率范围内的优势,如结合加速度计的低频稳定性和陀螺仪的高频精度。

2) 卡尔曼滤波:基于系统的状态空间模型,通过预测和更新两个步骤,对系统状态进行最优估计。

3) 粒子滤波:适用于非线性、非高斯系统,通过一组加权粒子来表示概率分布。

这些算法各有特点,选择时需考虑系统特性、计算复杂度和实时性要求。

3.2 卡尔曼滤波在IMU数据融合中的应用

卡尔曼滤波因其在处理线性高斯系统中的优异表现,在IMU数据融合中得到广泛应用。在步态分析中,扩展卡尔曼滤波(EKF)和无迹卡尔曼滤波(UKF)等变体被用于处理非线性问题[7]。

应用卡尔曼滤波可以:

1) 融合加速度计和陀螺仪数据,提高姿态估计精度。

2) 结合磁力计数据,改善方向估计。

3) 通过融合多个IMU的数据,减少单个传感器的误差。

3.3 基于空间约束的传感器自校正方法

人体运动具有特定的空间约束,利用这些约束可以实现传感器的自校正,进一步提高系统精度。主要方法包括:

1) 零速度更新(ZUPT)[8]:利用步态周期中足部静止阶段,校正速度和位置估计。

2) 运动学约束:基于人体关节运动的限制,校正相邻传感器之间的相对位置。

3) 对称性约束:利用人体运动的左右对称性,校正双IMU系统的测量结果。

这些自校正方法不仅能够减少累积误差,还能适应不同用户和环境变化,提高系统的适应性和可靠性。

4. 数据处理和特征提取

在基于IMU的步态分析系统中,数据处理和特征提取是将原始传感器数据转化为有意义的步态信息的关键环节。这个过程不仅要处理大量的时间序列数据,还需要从中提取能够准确表征步态特性的特征。

4.1 信号预处理技术

原始IMU数据通常包含噪声和干扰,需要进行预处理以提高后续分析的质量。主要的预处理技术包括:

1) 噪声滤除:使用低通滤波器、中值滤波器等去除高频噪声。

2) 信号平滑:采用移动平均、Savitzky-Golay滤波等方法减少信号波动。

3) 数据校准:通过静态和动态校准方法,消除传感器的偏差和漂移。

4) 数据同步:确保来自多个IMU的数据在时间上精确对齐。

5) 异常值检测与处理:识别并处理由于传感器故障或外部干扰导致的异常数据点。

这些预处理步骤为后续的特征提取奠定了基础,提高了数据的质量和可靠性。

4.2 时域和频域特征提取方法

步态特征可以从时域和频域两个角度进行提取,以全面捕捉步态的各个方面。

时域特征:

1) 步态周期参数:如步长、步频、步态周期时间等。

2) 统计特征:均值、标准差、峰值、峰谷比等。

3) 对称性指标:左右脚步态参数的对比。

4) 时间序列特征:如自相关系数、交叉相关系数等。

频域特征:

1) 频谱分析:通过快速傅里叶变换(FFT)获取信号的频率成分。

2) 功率谱密度:分析信号能量在不同频率上的分布。

3) 谐波比:评估步态的协调性和稳定性。

4) 小波变换:分析信号的时频特性,适合处理非平稳信号。

4.3 维度降低和特征选择技术

IMU数据的高维性和冗余性使得特征选择和维度降低成为必要的步骤,以提高后续分析的效率和效果:

1) 主成分分析(PCA):通过线性变换将原始特征投影到主成分空间,保留最具代表性的特征。

2) 线性判别分析(LDA):在降维的同时最大化类间距离和最小化类内距离,适用于分类任务。

3) t-SNE:非线性降维技术,特别适合可视化高维数据。

4) 自编码器:利用深度学习技术进行非线性特征提取和降维。

特征选择方法:

1) 过滤法:基于统计指标(如相关系数、互信息)选择特征。

2) 包装法:利用目标模型的性能作为评价标准选择特征子集。

3) 嵌入法:在模型训练过程中自动选择特征,如L1正则化。

5. 深度学习在步态分析中的应用

随着人工智能技术的快速发展,深度学习算法在步态分析领域展现出巨大潜力。相比传统方法,深度学习能够自动从原始数据中学习复杂的特征表示,提高步态分析的精度和效率。

5.1 卷积神经网络(CNN)在步态特征提取中的应用

CNN凭借其在处理时间序列数据方面的优势,在步态特征提取中得到广泛应用[9]:

1) 时间卷积网络(TCN):专门设计用于处理一维时间序列数据,能有效捕捉IMU信号的局部时间特征。

2) 多尺度CNN:通过不同大小的卷积核,同时提取短期和长期的步态特征。

3) 注意力机制增强的CNN:引入注意力机制,突出重要的时间段和传感器通道,提高特征提取的针对性。

CNN在步态分析中的应用包括:

- 步态周期分割:自动识别步态的关键事件,如足跟着地和足尖离地。

- 步态参数估计:直接从原始IMU数据估计步长、步频等参数。

- 步态模式分类:区分正常步态和不同类型的异常步态。

5.2 长短时记忆网络(LSTM)在步态序列分析中的应用

LSTM作为一种特殊的循环神经网络,特别适合处理长序列数据,在步态序列分析中发挥重要作用[10]:

1) 步态预测:基于历史步态数据预测未来的步态模式,有助于早期风险预警。

2) 步态相位识别:准确识别步态周期的不同阶段,为精细化步态分析提供基础。

3) 长期步态变化分析:捕捉步态在较长时间尺度上的变化趋势,有利于慢性疾病的监测。

LSTM的变体,如双向LSTM和ConvLSTM,通过结合上下文信息或空间特征,进一步提高了步态序列分析的性能。

5.3 自编码器在异常步态检测中的应用

自编码器是一种无监督学习模型,在异常步态检测中显示出独特优势:

1) 变分自编码器(VAE):通过学习正常步态的潜在分布,识别偏离正常范围的异常步态。

2) 堆叠降噪自编码器:通过多层结构学习步态数据的健壮表示,提高异常检测的准确性。

3) 时序自编码器:专门设计用于处理时间序列数据,能够捕捉步态的时间依赖性。

自编码器的应用包括:

- 无监督异常检测:在缺乏标注数据的情况下,发现偏离正常模式的步态。

- 特征学习:学习紧凑而有信息量的步态特征表示,用于后续的分类或回归任务。

- 数据去噪:通过重构清晰的步态信号,提高原始IMU数据的质量。

5.4 深度学习模型的优化和解释性

尽管深度学习模型在步态分析中表现出色,但仍面临一些挑战:

1) 模型轻量化:通过模型压缩和知识蒸馏等技术,减少模型规模,适应穿戴式设备的计算资源限制。

2) 迁移学习:利用预训练模型和域适应技术,解决步态数据标注困难和个体差异大的问题。

3) 可解释性:发展可解释的深度学习模型,提高模型决策的透明度,增强医生和患者的信任。

4) 多模态融合:结合IMU数据与其他传感器数据(如压力传感器、肌电图),通过深度学习实现更全面的步态分析。

6. 结论

基于MEMS惯性传感器和深度学习的穿戴式双足运动在线捕捉系统代表了步态分析领域的前沿发展方向。通过多传感器融合、先进的数据处理算法和深度学习模型,这类系统能够在日常生活环境中实现高精度、实时的步态监测和分析。

参考文献

[1]陈慧敏,王伊龙.重视临床步态评估[J].中国卒中杂志,2020,15(01):102-107.

[2]高经纬,马超,姚杰,王少红.基于机器学习的人体步态检测智能识别算法研究[J].电子测量与仪器学报,2021,35(3):49-55.

[3]刘培培,巫嘉陵.基于视频信息的帕金森病智能辅助诊断与治疗进展[J].中国现代神经疾病杂志,2023,23(1):35.

[4]卢雯,陈湘玉.可穿戴设备在骨科康复中的应用与进展[J].中国医疗设备,2023,38(3):160-165.

[5]朱锋.GNSS/SINS/视觉多传感器融合的精密定位定姿方法与关键技术[J].测绘学报,2022,51(5):782.

[6]莫慧凌,郑海峰,高敏,冯心欣.基于联邦学习的多源异构数据融合算法[J].计算机研究与发展,2022,59(2):478-487.

[7]谢少彪,张宇,温凯瑞,张硕,刘宗明,齐乃明.非合作目标强跟踪容积卡尔曼滤波运动状态估计[J].吉林大学学报(工学版),2021,51(4):1482-1489.

[8]刘文婧,张鑫礼,王建国,汪军.基于速度扰动项的多目标粒子群算法研究[J].机械设计与制造,2015,7:124-127.

[9]王科俊,刘亮亮,丁欣楠,胡钢,徐怡博.基于卷积神经网络的步态周期检测方法[J].哈尔滨工程大学学报,2021,42(5):656-663.

[10]孙彦玺, 赵婉婉, 武东辉, 陈继斌, 仇森.基于卷积长短时记忆网络的人体行为识别研究[J].计算机工程,2021,47(10):260-268.

基金项目:大学生创新创业训练计划项目:基于MEMS惯性传感器和深度学习的穿戴式双足运动在线捕捉系统研究(202411312010)资助

*本文暂不支持打印功能

monitor