视听觉及语言多模态感知的个性化学习助手
人工智能学院
Personalized Learning Assistant for Visual, Auditory and Language Multimodal Perception
如今市场上大部分学习软件主要以提供资料、课程,解答用户困惑的问题为主,辅以学习记录、家校互联等功能,其中解答问题方式包括文本输入、语音输入以及拍照搜题,均简便易行,实用价值很高,能高效快速解决用户的问题, 但目前学习软件仍然存在精确性较差、答案解析不准等问题,并且普通的学习软件不能细致地解决用户针对某一小问题做出解答。本项目旨在设计一款个性化学习助手,除却提供学习资料以及解答问题等基本功能,我们借助多模态AI分析用户的面部表情、语调以及肢体语言,及时检测用户情绪状况,通过捕捉用户眼神分析其注意力集中程度,从而根据其情绪动态调整教学内容,提供个性化的支持。此外,本项目还利用先进的数据算法处理,对记录的用户的学习情况进行分析,在此基础上进行机器学习的模型训练,让学习助手可以更了解用户的情况从而进行个性化学习辅导,提高用户学习效率和学习质量。