周报：2021-1-4~2021-1-10

---

本周校内工作：

• 《专业创新实践》课程论文答辩结束
• 《课程设计》大作业 1.10 完工

本周毕业设计工作：

• 看完SpectralDiffuserCam论文并阅读源码 Waller-Lab / SpectralDiffuserCam

• 阅读文献：Daniel S. Jeon, Seung-Hwan Baek, Shinyoung Yi, Qiang Fu, Xiong Dun, Wolfgang Heidrich, and Min H. Kim. 2019. Compact snapshot hyperspectral imaging with diffracted rotation. ACM Trans. Graph. 38, 4, Article 117 (July 2019), 13 pages. DOI:https://doi.org/10.1145/3306346.3322946

Paper 1

Title

《光谱Diffuser相机：基于滤光片阵列的无镜片快照高光谱成像》

Monakhova K , Yanny K , Aggarwal N , et al. Spectral DiffuserCam: lensless snapshot hyperspectral imaging with a spectral filter array[J]. Optica, 2020.

Contents

本文是基于该课题组前一篇DiffuserCam的三维成像文章，实验装置与DiffuserCam相同，不同的是将滤光片阵列附着在传感器上，使得sensor能接受到不同光谱段的色彩信息，从二维图像中利用FISTA重建算法求解欠定优化问题，从而恢复出原始高光谱图像。

其中的PSF需要标定，在sensor上附着多个滤光片阵列，每一个都用来收集不同的光谱信息（如下图所示），最终叠加得到图像。

Code Explanation

Python代码中，helper_functions.py 定义了包括crop和pad等操作，并且实现了将64个光谱段的图像叠加并生成RGB图像的函数，用于可视化重建结果。

代码实现的卷积操作和diffusercam的类似，还是需要先傅里叶变换，再在频域内求乘法，再反变换回去。

核心代码为 fista_spectral_cupy.py，主要实现了 带有TV正则化、低秩修正、稀疏修正参数的FISTA优化算法，采用幂迭代求解最大模特征值，用来确定迭代步长大小。

Paper 2

Title

《基于衍射旋转图案的压缩快照式高光谱成像》

Daniel S. Jeon, Seung-Hwan Baek, Shinyoung Yi, Qiang Fu, Xiong Dun, Wolfgang Heidrich, and Min H. Kim. 2019. Compact snapshot hyperspectral imaging with diffracted rotation. ACM Trans. Graph. 38, 4, Article 117 (July 2019), 13 pages

Contents

本文提出了一种基于衍射方法的快照高光谱成像技术，作者自己设计了一种小型的螺旋形衍射元件，将其装在相机镜头前，通过标定得到独特的PSF传递函数，然后利用U-Net神经网络实现端到端的重建方法。

本文提到，利用衍射方法实现高光谱成像，有以下两个问题：

1. 传统衍射元件无法实现在不连续光照条件下的全光谱段成像
2. 由于衍射产生的图案并不是高度编码的（如 编码孔径），所以问题的欠定性更强，更难求解

为了解决这两个问题，本文提出的方法有如下特点：

• 自行设计制作一种能够实现随光谱段变化而产生各向异的PSF变化的衍射元件

• 采用端到端的基于U-net的神经网络方法解决高度欠定问题

• 体积小，仅需相机和单个衍射元件即可完成图像捕捉

下图所示为设计的PSF图样，随着波长变化，它会发生旋转：

所设计出的DOE如下图所示，它能够对不同波长的光产生不同的PSF响应。

关于PSF的标定：

• 它解释了光源深度和光源x,y位置对PSF图像的影响。其中，光源深度对PSF的影响在深度 >1.0m 之后就可以忽略不计，而x,y位置在视场角度27度以内都不会发生很大变化，可以认为忽略不计，因此标定只需要在空间中选定一个点标定即可。

关于优化求解部分，为了解决高度欠定问题，作者使用了基于U-net的神经网络实现重建过程，求解模型为：

$$\mathbf{J=\Phi I}\\ \mathbf{\Phi = \Omega P}$$

其中，$\mathbf J$为传感器收集的数据，$\mathbf \Phi$为传感器敏感度矩阵$\mathbf \Omega$与PSF矩阵$\mathbf P$的乘积

作者将最终的成像结果与DD-CASSI和基于prism的高光谱相机做了对比，结果明显优于这两者。