研究背景

不同于传统相机，光场相机在主透镜和成像平面（CCD/CMOS）之间放置了微透镜阵列（micro-lens array，MLA），阵列与成像平面平行。这种设计使得光场相机能够同时捕获空间中光线的位置和角度信息，因此，光场相机可利用记录的4D光场信息对光场进行渲染从而实现先成像后聚焦的能力。微透镜阵列的存在使得光场相机能够记录视差，这为3D 测量和3D 重建应用提供了新的可能性。作为新一代成像设备，光场相机已逐渐被广泛应用于工程测试领域，如粒子图像测速技术、火焰三维温度场测量以及物体三维形貌测量等。

然而，光场相机记录的光场在空间分辨率和角度分辨率之间存在着权衡制约关系。子孔径图像有限的空间分辨率，限制了光场相机的应用场景。由于光场相机拍摄得到的4D 光场数据中包含冗余信息，国内外的相关研究人员尝试各种方法从4D 光场结构中还原出更多的光场信息以打破空间分辨率和角度分辨率之间的权衡制约关系。

研究亮点

上海交通大学施圣贤副教授研究团队提出了一种融合多尺度特征获得超分辨光场的光场超分辨网络。所提出的基于深度学习的网络框架包含三大模块：多尺度特征提取模块、全局特征融合模块和上采样模块。不同模块的设计思路如下：

1）多尺度特征提取模块
为了探索4D光场空间中的复杂纹理信息，特征提取模块使用ResASPP块来扩大感受野并进行多尺度特征提取。该模块首先将低分辨率光场子孔径图像分别发送到Conv块和Res块进行low-level特征的提取，然后ResASPP块和Res块交替两次，以学习4D光场中累积的高频信息。

2）全局特征融合模块
光场图像不仅包含空间信息，还包含角度信息，这隐含了4D光场的内在结构。研究人员提出利用角度线索对光场进行超分辨重构的全局特征融合模块。需要注意的是，所有来自上游的子图像的特征图首先在网络的信道维度上堆叠，然后发送到融合模块进行high-level特征提取。

3）上采样模块
得到4D光场结构中的全局特征后，将high-level特征图发送到上采样模块进行光场超分辨率处理。该模块将特征图发送到常规卷积层进行特征融合，最终输出超分辨光场子图像阵列，通过亚像素卷积或pixel-shuffle操作以获得×2空间超分辨率。

图1 光场超分辨率网络框架图

该研究工作得到了国家自然科学基金资助项目(11772197)的支持，并以“融合多尺度特征的光场图像超分辨率方法”为题发表在《光电工程》2020年第12期。

研究团队简介

上海交通大学施圣贤副教授研究团队的研究方向主要有：光场三维尺寸测量技术 （light field 3D metrology）、光场三维流场测试技术 （light field volumetric flow diagnostic techniques）、光场三维快速建模/缺陷检测技术（light field 3D reconstruction techniques）等，主持“两机”重大专项、国家自然科学基金、中国航发产学研基金、航天创新基金、中-英国际合作项目、新加坡教育部国际合作项目等各类科研课题20余项。先后获得上海市青年科技启明星（A类）、新加坡南洋理工大学Tan Chin Tuan Fellowship，上海交通大学晨星学者（A类）等人才计划支持。