神经网络+鬼成像 助力远场超分辨

说明 | 本文来自论文作者（课题组）投稿

本文通讯作者为中国科学院上海光学精密机械研究所的司徒国海研究员，第一作者为博士生王飞，合作者包括王成龙博士、张羽博士、陈明亮副研究员、龚文林研究员、韩申生研究员。

图1 衍射极限公式

1995年，美国马里兰大学史砚华教授团队展示了首个鬼成像实验，成像系统分为两路，其中一路光照明物体后使用桶探测器收集，另一路光不经过物体直接由具有空间分辨率的相机采集。由于任意一路都无法单独获取图像，而将两路关联却可实现成像，这一奇特现象被杨振宁先生称为“鬼”成像。

图2 鬼成像实验装置图

与点对点的传统成像方式不同，鬼成像有以下特点：

·随机照明—物体的高频信息可以被迁移到系统的频率通带中

·单点探测—探测器容易制备，探测灵敏度高

·计算重构—先验信息可在重构算法中引入

图3 鬼成像随机编码过程

相比基于点扫描的远距离成像技术，鬼成像能在保证弱光探测能力的同时提供更高的信息获取效率，有望实现远距离运动目标的观测。但是，传统重构算法未有效利用探测信号中蕴含的丰富信息，导致鬼成像技术存在采样时间长、成像信噪比低且分辨率受限于照明散斑场的统计尺寸等问题，其实际应用受到了极大的限制。

2009年，Katz 等人将压缩感知算法与鬼成像相结合，大幅降低了采样时间。2015年，上海光机所韩申生研究员课题组基于压缩感知算法得到了高分辨的鬼成像结果。但是，这种基于稀疏约束的方法受物体稀疏度的限制，难以进一步降低采样比提高分辨率，同时对噪声较为敏感。

2017年，本课题组将深度学习与鬼成像相结合，使用大量带标签的数据训练神经网络，所得模型可在采样比低至5%时输出高质量的重构结果，且具较好的噪声鲁棒性。但是，该方法存在训练数据获取困难、泛化性及可解释性差等问题。

2018年，Ulyanov 等人发现，一个随机初始化的神经网络在拟合给定图像时，倾向于优先拟合其中较为自然的场景信息，在去噪、修补等图像处理任务中取得了令人惊艳的结果。

2020年，本课题组将随机初始化的神经网络与成像系统中的物理模型相结合，使用物理模型替代数据优化网络参数，无需训练数据，可对不同类型的相位型物体进行成像。

本文将神经网络与鬼成像技术相结合，使用随机初始化的神经网络约束鬼成像的计算重构过程（Ghost Imaging with Deep neural network Constraint, GIDC），从低采样的探测信号中提取到了传统重构算法无法提取的高频细节。

GIDC 通过具有高探测灵敏度和高频信息编码能力的鬼成像技术探测编码后物体信息，然后利用具有强大特征提取能力的神经网络从中解码重构待测物体，为远距离远场超分辨技术提供了一种有效手段。

图4 信号采集和重构算法，采样比为10%

尽管 GIDC 也使用了神经网络，但不同于传统数据驱动的深度学习，该方法无需预先获取任何带标签的训练数据，仅需已知当前系统的探测信号和正向物理模型，然后利用该模型优化网络参数以拟合探测信号。因此，GIDC 并不存在标签数据获取和泛化性方面的问题，适用于重构不同结构类型的物体，具有普适性。

仿真和实验结果均表明，本文方法在成像信噪比和分辨率两方面均优于相同条件下传统基于关联算法（DGI）和基于稀疏约束（GISC）的结果。

图5 神经网络约束鬼成像远场超分辨，采样比为10%

论文信息

https://doi.org/10.1038/s41377-021-00680-w