基于边缘计算的可穿戴感知辅助系统
Wearable Cognitive Assistance System based on Edge Computing
分别是设计AR眼镜的核心——基于边缘计算的智能感知系统;将图像识别、数据处理、信息传输、AR显示四个系统模块串联起来;将设计的AR眼镜同航空航天领域的生产实践活动相结合,使之成为能够投入应用,切实解决航空航天领域一些需求的产品。
1)边缘计算框架构建:本项目拟基于CMU大学Gabriel的边缘计算框架,将数据捕获端与能够进行数据运算与处理的微处理器封装在一起,在数据捕获段就能够实时地对数据进行处理,最后将计算分析后所得的结论传输到云端即可。与传统的将原始数据发送到云端再处理的机制相比,边缘计算的机制大大减少了传输时延,提高了数据处理的效率和性能。而我们采取的Gabriel边缘计算平台能够确保网络传输低延迟,允许粗粒度并行,加快服务器计算速度,并提供简单的能源接口移动设备上的保护。
2)场景理解:对传入摄像头数据进行处理,利用构建好的识别模型对当前图像进行图像识别。图像识别的具体内容根据具体应用来决定,目前的想法是通过图像识别来辅助航空航天领域中,技术人员进行操作的时候进行视觉辅助,主要就是识别目前操作对象是什么零件或者设备,对于零件或者设备进行定位,然后将生成的AR图像可以与这个零件进行接合。但一开始会从更加简单基础的图像识别开始做起,先从简单识别(比如人、狗、书等)和简单物体定位开始做起。
3)AR显示:在物体识别和定位的基础上,将PC或者手机生成的图像与现实相融合,在融合之后,从智能可穿戴设备用户的视角中,可以看到真实的世界围绕着AR物体图像。这里主要涉及到复杂的定位技术和AR建模技术,会先从简单的定位和简单的建模开始,比如给定一个矩型平台进行生成,生成一个相对简单的AR图像。
4)可穿戴设备协同交互:实现AR眼镜,手机多设备间的通讯交互,智能设备间采用相同的网络协议进行对接,使得智能可穿戴设备多设备间互联互通、数据共享、协同服务。