研究背景
全身运动的跟踪、监测和重建越来越普遍,并被应用于许多场景,包括高精度运动检测、运动标志识别、运动员表现分析、康复评估、人机交互以及增强/虚拟现实中的个性化头像重建。目前实现全身运动监测的方法涉及数字成像系统(如照相机),它捕捉一系列的照片和/或视频来提取定量的运动信息。然而,使用数字成像系统进行身体运动监测的方法面临一些限制。一个关键的缺点是,这些成像系统是由不动的、昂贵的和繁重的设备组成的,使它们难以搬迁,不适合追踪远处和动态物体。另外,隐私和数据安全问题可能会限制摄像机在社区或家庭环境中的实施。此外,总是需要图形处理单元(GPU)来处理外部数据终端的图像/视频提出了高带宽要求、硬件费用和功耗的挑战。
高精度全身运动监测和/或头像重建的另一种策略涉及可穿戴应变传感器,它可以机械地符合人体的动态关节表面,使生理信号得以收集。出于本体感知的目的,人体的多关节运动需要一套可穿戴应变传感器,能够在不同的应变范围内实现高灵敏度。然而,最先进的应变传感器和现有的商业传感器在调整传感器的工作窗口以匹配目标关节/肌肉的应变变化方面可定制的机会有限,导致错误的感应信号和低信噪比。因此,为了满足全身运动监测的应用,非常需要适当的可穿戴应变传感器的设计,以实现用户指定的工作窗口而不牺牲高灵敏度,并伴随实时数据处理。
除了调整应变传感器的特性,另一个挑战是如何传输、存储和处理通过多个信号采集通道收集的原始传感器数据。一个简单的方法是通过无线技术(如蓝牙)与可穿戴应变传感器的整合,使多通道的传感器数据连续、实时地流向外部计算设备。另一方面,一种新兴的方法是在本地(传感器内)处理时间分辨的传感器数据,这可以在很大程度上减少通信带宽和无线电功率消耗,并改善数据延迟和安全性。据我们所知,将边缘计算芯片与可穿戴应变传感器(具有可定制的传感器特性)整合在一起,在文献中还没有实现,特别是监测和分析人体的多关节和多模式运动。
研究成果
检测关节/肌肉应变变化的可穿戴应变传感器在用于全身运动监测的人机界面上变得很普遍。然而,大多数可穿戴设备不能提供可定制的机会,使传感器的特性与关节/肌肉的特定变形范围相匹配,导致性能不理想。为了在不牺牲高灵敏度的情况下实现用户指定的工作窗口,同时进行实时数据处理,非常需要适当的可穿戴应变传感器设计。在此,马里兰大学Sahil Shah教授 & Po-Yen Chen教授团队联合设计了可穿戴的Ti3C2Tx MXene传感器模块,带有传感器内的机器学习(ML) 模型,通过无线流或边缘计算运作,用于全身运动分类和头像重建。通过压阻纳米层的形貌设计,可穿戴应变传感器模块在满足所有关节变形范围的工作窗口内表现出超高的灵敏度。通过将可穿戴式传感器与ML芯片集成,制造了一个边缘传感器模块,使传感器内重建高精度的头像动画,模仿连续的全身运动,平均头像确定误差为3.5 cm,而无需额外的计算设备。相关研究以“Topographic design in wearable MXene sensors with in-sensor machine learning for full-body avatar reconstruction”为题发表在Nature Communications期刊上。
研究亮点
1. 设计了可穿戴的传感器模块与机器学习ML模型,通过无线数据流或传感器内的边缘计算发挥作用,用于全身运动分类和个性化头像重建。2. 通过利用局部热收缩过程中的界面不稳定性,制造了各种具有工程化MXene微结构的传感器,其中面内裂纹的传播以及应变感应特性得到了系统的调整。
图文导读
Fig. 1 | Controllable fabrication of wrinkle-like MXene textures via localized thermal contraction.
Fig. 2 | Crack propagation behaviors of Mn sensors with homogenous and heterogenous topographies.
Fig. 3 | Tunable strain sensing characteristics of Mn sensors through topo[1]graphic designs and stretching directions.
Fig. 4 | Wireless sensor module for full-body motion classification.
Fig. 5 | Edge sensor module for in-sensor avatar reconstruction.
Fig. 6 | Integration of wearable MXene sensors with edge computing for in[1]sensor avatar reconstruction.
总结与展望
该工作展示了多种跨学科的进展。第一个进展是开发了一种低成本、可扩展和可控制的方法,通过局部热收缩来设计皱纹状MXene微结构,这在传统的降压方法中不容易实现。第二项成果是通过形貌设计控制压阻纳米层的裂纹扩展行为,包括不同拉伸方向的纳米层,不同面积百分比的皱纹状区域的纳米层,以及不同位置和分布的皱纹状区域的纳米层。因此,可穿戴式应变传感器的应变感应特性可以被定制。文献中报道的大部分工作都集中在调整压阻纳米层的组成以追求高GFs,然而很少有策略被开发来定制线性工作窗口。在这项工作中,该传感器的线性工作窗口可以在不牺牲其超高应变灵敏度(GF>1000)的情况下进行调整。第三,与最先进的工作相比,该边缘传感器模块在多功能集成方法方面显示出进步。正如多篇重要的评论文章所提到的,可穿戴式传感器的一个紧迫挑战是实现大量传感器数据的有效传输,然后在传感器内进行机器学习,并进行高功率的本地计算。需要多学科的努力,通过推进硬件/软件开发和优化传感器/电路接口来应对这一挑战。在这项工作中,精心设计了边缘传感器模块,以实现全身运动监测,并结合边缘数据处理和传感器内机器学习,这在以前是没有报道过的。我们相信,这项工作中所展示的集成方法(即可穿戴/可拉伸传感器与边缘计算芯片)具有高度的通用性,并能使其他领域的进展受益,包括运动中的可穿戴性能设备和水下软机器人。
文献链接Topographic design in wearable MXene sensors with in-sensor machine learning for full-body avatar reconstruction,
https://doi.org/10.1038/s41467-022-33021-5
厦门柔性电子研究院
福建省协同创新院柔性电子产业技术分院
地址:厦门市集美区集美大道1995号科技成果转化加速器1期4F
邮编:361024 电话:0592-5366222 邮箱:admin@flex-elec.com
部分图片来源于网络,如有侵权请联系删除