跨维感知融合——深度学习辅助传感的智能手部运动识别
国际学院
cross-dimensional perceptual fusion: a deep learning-assisted sensing intelligent hand motion recognition system
本项目旨在设计一种新型的手语识别系统,将以柔性传感器与惯性单元IMU为核心,将嵌入深度算法学习、融合实时系统,以手套为载体,研究兼具高灵敏度、高环境适应力、快速适应个体差异能力的识别翻译系统。与此同时,该系统具有优异的可穿戴性,能极大程度扩展传感器应用范围,延长其使用寿命,减少维护成本,有望为听障人士沟通交流带来飞跃性提升,为交流翻译领域带来创新性成果。该系统利用数据手套集成的传感器数据(包括惯性测量单元 IMU和柔性传感器)来实现在各种环境下都能保持高鲁棒性的手语识别。基于数据手套识别输入的汉语手指字母,通过传感器数据实现全天候、高鲁棒性的手语识别,为无障碍通信、智能医疗、增强现实(AR)和虚拟现实(VR)等领域提供更加稳定和可靠的技术支持。