全域智能光照感知与评估系统
电子工程学院
Omniscient Intelligent Illumination Perception and Evaluation System
光照估计是当前计算机视觉领域的⼀项热点研究问题,依据其应⽤场景划分可分为室内光照估计和室外光照估计两⼤类。学术界和⼯业界之前的⽅法⼤都适应于桌⾯平台,尚不存在适应于移动平台的⾼效⽅法。移动平台由于算⼒有限,光照估计的参数化模型在表达上要求更加紧凑,在进⾏推理时所需要的计算代价也更⼩。
本项⽬针对利⽤ AON 智能感知并估计环境光照展开理论研究,利⽤移动平台的AON 拍出的低分辨率图(220 x 300 左右),设计算法⾼效的评估空间变化光照。此外为了满⾜在移动平台部署的需求,设计的⽹络模型需要⾜够轻量化以便于在潜在的应⽤场景中落地,因此需要在参考轻量化⽹路相关⼯作的基础之上,⽤尽可能少的参数量设计光照估计的⽹络。系统需满⾜以下⼯作条件:
1. 能够在移动端部署的光照评估系统;
2. 适应于 AON 低分辨率图⽚的⽹络模型,推理帧率达到交互式或者实时(15FPS 之
上);
3. 能够评估光照的⽅向、位置、强度或者环境光贴图(HDRI);
4. 适应于多种场景图⽚(室内、室外)光照估计的系统设计