基于openpose的手语识别系统
计算机学院(国家示范性软件学院)
A Sign Language Recognition System Based On OpenPose
项目的目的和意义
创新性:使用OpenPose进行动作识别,OpenPose人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。是一个较新的项目,刚刚推出两年多,还处于比较冷门的阶段,是世界上首个基于深度学习的实时多人二维姿态估计应用。我们以此开源库来对接现实的手语翻译技术升级需求,充分拓展该开源库的价值,同时用新的识别程序来解决现实痛点,可谓一举两得。
可行性:OpenPose功能强大,能够同时最多识别人体的130个关键点,并且支持多人识别,识别结果精准可以实现人体动作、面部表情、手指运动等姿态估计,具有极好的鲁棒性。
实用性:基于openpose的图像识别方法解决了四个重要问题:1.人的数量不定;2.人出现的位置不定;3.人的尺寸大小不定;4.人的社交互动造成空间干扰。于是,利用其强大的识别动作能力,我们仅需打开摄像头,做出动作,它就可以将我们的动作识别处理。再实时分析处理其生成的数据,导出手部关键点,再持续地分析关键点的变化情况。使用OpenPose图像识别方法,用户只需做出想做的动作,上手快、无门槛、方便快捷。而且,不需佩戴任何设备,在电脑或手机上安装识别程序即可,大大降低了使用的成本,使用OpenPose识别动作的方法翻译手语,无论是人的躯干,四肢,还是手指关节,眼耳口鼻,都可以被识别,将大大提高手语翻译的准确度。