基于非局部先验的深度压缩感知图像重构网络

仲元红; 周宇杰; 张静; 张晨旭

doi:10.11999/JEIT211506

基于非局部先验的深度压缩感知图像重构网络

doi: 10.11999/JEIT211506

重庆大学微电子与通信工程学院重庆 400044

基金项目: 国家自然科学基金(61501069)，重庆市技术创新与应用发展面上项目(cstc2019jscx-msxmX0167)

详细信息

作者简介:
仲元红：男，副教授，研究方向为低级视觉处理、视频分析、无人系统

周宇杰：男，硕士生，研究方向为压缩感知信号处理

张静：女，硕士，研究方向为压缩感知信号处理

张晨旭：男，硕士生，研究方向为压缩感知信号处理

通讯作者:
仲元红　zhongyh@cqu.edu.cn

中图分类号: TN911.73; TP391.41
计量
- 文章访问数: 667
- HTML全文浏览量: 560
- PDF下载量: 153
- 被引次数: 12
出版历程
- 收稿日期: 2021-12-14
- 修回日期: 2022-05-24
- 录用日期: 2022-06-01
- 网络出版日期: 2022-06-07
- 刊出日期: 2023-02-07

Deep Compressive Sensing Image Reconstruction Network Based on Non-Local Prior

School of Microelectronics and Communication Engineering, Chongqing University, Chongqing 400044, China

Funds: The National Natural Science Foundation of China (61501069), The Technological Innovation and Application Development of Chongqing (cstc2019jscx-msxmX0167)

摘要

摘要: 传统的基于迭代的压缩感知(CS)图像重构算法易于集成图像先验信息，但存在性能不足、计算复杂度高等缺点。基于深度学习的图像重构算法重构性能通常优于传统的重构算法，并且具有更低的重构计算成本。因此，为了设计出一种更有效利用先验信息的深度学习图像重构算法，该文提出基于非局部先验的深度压缩感知图像重构网络。首先，将稀疏性和非局部先验相结合建立压缩感知图像重构模型，然后通过半二次方分裂法将模型分解为3个子问题，每一个子问题的求解都在深度学习的框架下展开，最后联合建立端到端的可训练的图像重构模型。仿真实验表明，在测试的采样率与数据集下该文所提算法的峰值信噪比与当前主流的重构算法SCSNet相比平均提升了0.18 dB，与CSNet算法相比平均提升了约1.59 dB，与ISTA-Net⁺算法相比平均提升了约2.09 dB。
- 图像重构 /
- 压缩感知 /
- 深度学习 /
- 非局部先验 /
- 半二次方分裂
Abstract: The traditional iterative-based Compressive Sensing (CS) image reconstruction algorithm is easy to integrate image prior information, but it has shortcomings such as insufficient performance and high computational complexity. The performance of the image reconstruction algorithm based on deep learning is better than the traditional reconstruction algorithm significantly, and it has lower time cost. Therefore, in order to design a deep learning image reconstruction algorithm that uses prior information more effectively, a deep compressive sensing image reconstruction network based on non-local priors is proposed. Firstly, the sparseness and non-local prior are combined to establish a compressed sensing image reconstruction model. Secondly, the model is decomposed into three sub-problems by the half quadratic splitting method. The solution of each sub-problem is carried out under the framework of deep learning. Finally, an end-to-end trainable image reconstruction model is jointly established. Simulation experiments show that the peak signal-to-noise ratio of the proposed algorithm under the tested sampling rate and dataset is improved by 0.18 dB, 1.59 dB, 2.09 dB on average compared with the current mainstream reconstruction algorithm SCSNet, CSNet, ISTA-Net⁺ respectively.
- Image reconstruction /
- Compressive Sensing (CS) /
- Deep learning /
- Non-local prior /
- Half quadratic splitting

HTML全文

1. 引言

压缩感知(Compressive Sensing, CS)理论^[1-3] 打破了传统奈奎斯特采样定理的约束，不再对采样频率提出2倍最高频率的要求，该理论指出，在信号具有稀疏性的前提下，利用将高维信号映射到低维信号的方式直接实现信号的压缩和采样，最后通过非线性优化问题的求解就可以实现原始信号的精确重构。压缩感知理论将压缩和采样相结合，自提出后迅速在图像视频处理^[4]、雷达^[5]、医学核磁共振^[6]等领域成为研究热点。

重构问题是压缩感知理论研究的一个重点，主要是通过求解一个NP-Hard问题来实现信号的精确重构，但该问题不存在唯一解，因此，学者针对重构问题的求解展开了大量的研究。多年来，关于压缩感知重构算法的研究主要分为两类：传统的重构算法以及基于深度学习的重构算法。

传统的重构算法除了较早的非凸优化算法^[7,8]、贪婪匹配追踪算法^[9-11]、凸优化算法^[12,13]，基于模型的重构算法是最为普遍的一种重构方法。前3种重构算法都是在信号稀疏性的基础上展开的，但是恢复效果通常不尽如人意。基于模型的重构算法则是围绕信号的先验信息进行研究，即利用不同的先验信息来建立不同的重构模型，其重构效果优于其他3类算法。针对低秩先验，Dong等人^[14]提出了非局部低秩正则化压缩感知(Compressive Sensing via Nonlocal Low-rank Regularization, NLR-CS)方法来利用结构化稀疏性，Friedland等人^[15]提出了一种用于高阶张量CS的统一框架—广义张量压缩感知(Generalized Tensor CS, GTCS)，该框架在保留了张量数据的固有结构的同时，还降低了重构过程的计算复杂度。Zhang等人^[16]利用组的概念作为稀疏表示的基本单位，每个组是由具有相似结构的非局部块组成，在此基础上建立了一种新颖的基于组的稀疏表示(Group-based Sparse Representation, GSR)。但是，上述算法需要耗时的图像块搜索或矩阵反转操作，明显增加了计算时间，降低了算法效率。

深度学习在各种高级图像处理任务中表现出的良好性能，广泛地受到了各个领域的研究学者的推崇和研究。近年来，有学者提出将深度学习框架应用到压缩感知领域中来，该想法一经提出就得到了许多学者的认同，也研究出了很多优秀的深度压缩感知重构算法^[17-22]，在一定程度上有效地克服了传统压缩感知算法的弊端。

最开始将压缩感知理论和深度学习相结合的是由Mousavi等人^[17]提出的堆叠去噪声自动编码器(Stacked Denoising Autoencoder, SDA)，它采用无监督的方式实现了测量值和真实值之间的端到端映射。非迭代重构网络(Non-Iterative Reconstruction Network, ReconNet)^[18]首次将卷积神经网络使用到压缩感知中，通过全连接层和卷积层实现图像的有效重构，但ReconNet仍是采用随机高斯矩阵作为测量矩阵。在ReconNet的基础上提出的深度残差网络(Deep Residual Reconstruction Network, DR2-Net)^[19]结合了ReconNet的结构和残差的思想，进一步提高了重构图像的质量。与此同时，许多学者也对测量矩阵进行了相关的设计，CSNet(Compressive Sensing Network)^[20]不再采用传统的矩阵采样的方式，而是利用一层卷积层直接实现信号的采样。上述提出的网络虽然都能有效地提高重构图像的质量，但都需要针对不同采样率的单独训练，这极大地增加了训练成本。因此，Shi等人^[21]提出了一种可伸缩的卷积神经网络SCSNet(Scalable Compressive Sensing Network)，该网络仅使用一个模型来实现任意采样率下的采样和重构。

将传统的基于图像先验重构算法和深度学习相结合也是深度压缩感知重构算法的一个研究方向，受迭代收缩阈值算法(Iterative Shrinkage-Thresholding Algorithm, ISTA)的启发，Zhang等人^[22]提出了一个深度重建框架ISTA-Net，该模型将基于先验信息的图像重构模型在深度学习的框架下展开，建立了基于深度学习的图像重构网络，取得了非常好的效果。在ISTA-Net的基础上，Zhang等人^[23]提出了一个受优化思想启发的端到端的深度网络OPINE-Net (OPtimization-INspired Explicable deep network)，通过采样子网，初始化子网和重构子网建立完整的重构模型，实现了图像的有效重构。这类重构算法不仅为压缩感知理论的发展提供了理论基础，而且其重构性能也不亚于基于纯深度学习的重构网络。

ISTA-Net虽然实现了图像的重构，但其仍存在块效应等问题，且并未很好地利用图像的先验信息。与此同时，考虑到图像非局部先验在传统重构算法中有效提升了图像的重构质量。因此，本文结合稀疏性先验与非局部先验，提出了一种新的基于深度学习的图像重构算法，主要创新点有：(1)提出一个结合稀疏性与非局部自相似性先验的图像重构模型；(2)在半二次方分裂框架下展开求解，将重构问题转化为3个简单的子优化问题；(3)每个子问题的求解都在深度学习的框架下展开，最后联合采样重构建立端到端的可训练的重构网络。

2. 压缩感知理论

压缩感知中，对于信号 ${\boldsymbol{x}} \in {R^N}$ ，其经采样后的测量值 ${\boldsymbol{y}} \in {R^M}$ 可以表示为

${\boldsymbol{y}} = {\boldsymbol{Ax}}$

(1)

其中， ${\boldsymbol{A}} \in {R^{M \times N}}$ 表示测量矩阵，且 $M \ll N$ ，通常为随机高斯矩阵。根据压缩感知理论，如果信号 ${\boldsymbol{x}}$ 满足稀疏性要求，则可以根据测量值对原始信号进行精确重构，即可以从等式(1)直接恢复 ${\boldsymbol{x}}$ 。但由于测量值 ${\boldsymbol{y}}$ 远远小于 ${\boldsymbol{x}}$ ，因此这是一个不适定的问题。为了求解上述问题，通常通过添加信号固有的先验信息作为约束，于是建立了优化问题

${\boldsymbol{x}} = \mathop {\arg \min }\limits_{\boldsymbol{x}} \left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|_2^2 + \lambda R({\boldsymbol{x}})$

(2)

其中， $\mathop {\left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|}\nolimits_2^2$ 为数据保真项， $\lambda$ 是正则化因子， $R({\boldsymbol{x}})$ 为正则化约束项，通常为稀疏约束项。对于不同的稀疏约束项，可以采用不同的固有先验设计不同的稀疏约束模型，如基于非局部相似性的多假设预测方法(Multi-hypothesis, MH)^[24]，结合残差和时空相关性的重加权残差稀疏算法^[25]等，也可以采用多正则化混合约束^[26]的方法。

上述重构算法都是基于图像先验来建立重构模型，而基于深度学习的重构算法更是使得重构算法的性能得到了进一步的提升，其中，较为突出的基于卷积神经网络的重构算法(CS-Net)，用卷积层取代了传统重构算法中的测量矩阵，完全在深度学习的框架下实现压缩感知的采样和重构过程，但CS-Net对每一个采样率都需要单独训练，训练成本高。可伸缩的图像重构算法(SCS-Net)实现了任意采样率下的图像重构，有效解决了CS-Net存在的问题，但其模型的参数数量较大。相比于传统的重构算法，基于深度学习的重构算法能够有效地实现图像的实时重构，提升图像的重构质量。

除了基于深度学习的重构算法，基于迭代收缩阈值算法的深度重构网络ISTA-Net结合了传统的图像先验和深度学习，提出了一种结构化深层网络。ISTA-Net是在优化算法的基础上，提出了图像重构模型

$\mathop {\min }\limits_{\boldsymbol{x}} \frac{1}{2}\left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|_2^2 + \lambda {\left\| {F({\boldsymbol{x}})} \right\|_1}$

(3)

其中， $F({\boldsymbol{x}})$ 为表征稀疏的参数可学习的非线性变换函数。通过ISTA算法求解式(3)得到

${{\boldsymbol{x}}^{\left( k \right)}} = \mathop {\arg \min }\limits_{\boldsymbol{x}} \frac{1}{2}\left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|_2^2 + \lambda {\left\| {F({\boldsymbol{x}})} \right\|_1}$

(4)

ISTA-Net通过设计结构化深度网络能够进一步提升图像的重构质量。受ISTA-Net的启发，本文通过稀疏先验和非局部先验相结合，提出了基于非局部先验深度图像重构模型，该模型能够将多种先验与深度网络相结合，实现不同采样率下的图像重构质量的提升。

3. 基于非局部先验的深度压缩感知图像重构网络

根据对压缩感知重构算法的大量研究发现，单独利用稀疏性进行重构时，在采样率较低的情况下图像的重构质量较差，并且重构算法的性能得不到更好的提升^[16]。但在传统压缩感知方法中，利用非局部相似性、低秩、组稀疏重构算法能够更有效地去除图像块效应，提升图像重构性能。深度先验已被证明能在压缩感知图像重构领域取得良好的效果，因此，本文提出一种基于非局部先验的深度图像重构网络，整体结构如图1所示，分为采样、初始重构和深度重构网络，网络通过将稀疏、非局部先验和深度网络相结合进行学习的方式达到提升重构性能的目的，接下来的内容将详细介绍网络的各个结构。

图 1 本文提出的网络模型的整体结构

下载: 全尺寸图片幻灯片

3.1 采样和初始重构

本文参考CS-Net^[20]的采样方法进行测量，利用卷积层来替代传统的测量过程，如图1所示，本文将网络输入设为大小 $B \times B$ 的图像块，其中， $B = 33$ ，本文采用1层无偏差的卷积层来模拟采样过程，将随机高斯矩阵 ${{\boldsymbol{A}}_{\boldsymbol{B}}} \in {R^{M \times N}}$ 重塑为 $M$ 个可学习的滤波器，每个滤波器的核大小均为 $\sqrt N \times \sqrt N \times 1 = B \times B \times 1$ ，采样过程可表示为

${{\boldsymbol{y}}_{\boldsymbol{i}}} = {{\boldsymbol{W}}_{{{\boldsymbol{A}}_{\boldsymbol{B}}}}} * {{\boldsymbol{x}}_{\boldsymbol{i}}}$

(5)

其中， ${{\boldsymbol{x}}_{\boldsymbol{i}}} \in {R^N}$ 表示第 $i$ 个图像块， ${{\boldsymbol{y}}_{\boldsymbol{i}}} \in {R^M}$ 表示测量值， $*$ 为卷积运算， ${{\boldsymbol{W}}_{{{\boldsymbol{A}}_{\boldsymbol{B}}}}}$ 为滤波器权重。

在初始重构网络中，同样采用一层卷积层，首先将 ${\boldsymbol{A}}_{\boldsymbol{B}}^{\text{T}} \in {R^{M \times N}}$ 重塑为 $N$ 个滤波器，每个滤波器核大小均为 $1 \times 1 \times M$ ，再采用像素洗牌^[27]将大小为 $N \times 1 \times 1$ 的张量重塑成 $1 \times \sqrt N \times \sqrt N$ ，最终得到初始重构图像，初始重构过程可表示为

${{\boldsymbol{x}}_{\boldsymbol{i}}}^{{ {\textit{0}}}} = {{\rm{P}}} \left( {{{\boldsymbol{W}}_{{\boldsymbol{A}}_{\boldsymbol{B}}^{\text{T}}}} * {{\boldsymbol{y}}_{\boldsymbol{i}}}} \right)$

(6)

其中， ${{\boldsymbol{x}}_{\boldsymbol{i}}}^{{ {\textit{0}}}}$ 表示初始重构图像块， ${{\rm{P}}} \left( \cdot \right)$ 表示像素洗牌操作(Pixel Shuffle)，是一种在超分辨率中常用的图像及特征图放大的方法。

3.2 深度重构网络

在深度重构网络中，本文首先结合稀疏先验和非局部相似性先验，建立如下优化模型

${\boldsymbol{x}} = \mathop {\arg \min }\limits_{\boldsymbol{x}} \left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|_2^2 + {\lambda _1}{R_{l1}}({\boldsymbol{x}}) + {\lambda _2}{R_{{\text{non-local}}}}({\boldsymbol{x}})$

(7)

其中， $R({\boldsymbol{x}})$ 表示正则项，即先验信息， ${R_{l1}}({\boldsymbol{x}})$ 为L1稀疏正则， ${R_{{\text{non-local}}}}({\boldsymbol{x}})$ 为非局部正则。通过对上式进行求解就可以实现图像的准确重构。但对上式直接求解计算复杂度很高，为了简化等式的求解，本文利用半二次分裂(Half Quadratic Splitting, HQS)进行求解。

半二次分裂是针对如下的优化目标

${\boldsymbol{x}} = \mathop {\arg \min }\limits_{\boldsymbol{x}} \left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|_2^2 + \lambda \varPhi \left( {\boldsymbol{x}} \right)$

(8)

其中，第1项为数据保真项，第2项为约束项。首先引入变量 ${\boldsymbol{z}}$ ，重写上式得到

${\boldsymbol{x}} = \mathop {\arg \min }\limits_{\boldsymbol{x}} \left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|_2^2 + \lambda \varPhi \left( {\boldsymbol{z}} \right){\text{ s}}{\text{.t}}{\text{.}}\;{\boldsymbol{z}} = {\boldsymbol{x}}$

(9)

其代价函数为

${L_\mu } = \frac{1}{2}\left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|_2^2 + \lambda \varPhi \left( {\boldsymbol{z}} \right) + \frac{\mu }{2}\left\| {{\boldsymbol{z}} - {\boldsymbol{x}}} \right\|_2^2$

(10)

其中， $\mu$ 是非增的惩罚参数。

通过交替求解的方式展开模型的计算，其交替求解的表达式为

$\left. \begin{aligned} & {{{\boldsymbol{x}}_{{\boldsymbol{k + 1}}}} = \mathop {\arg \min }\limits_{\boldsymbol{x}} \left\| {{\boldsymbol{y}} - {\boldsymbol{Ax}}} \right\|_2^2 + \mu \left\| {{\boldsymbol{x}} - {{\boldsymbol{z}}_{\boldsymbol{k}}}} \right\|_2^2} \\ & {{{\boldsymbol{z}}_{{\boldsymbol{k + 1}}}} = \mathop {\arg \min }\limits_{\boldsymbol{x}} \frac{\mu }{2}\left\| {{\boldsymbol{z}} - {{\boldsymbol{x}}_{{\boldsymbol{k + 1}}}}} \right\|_2^2 + \lambda \varPhi \left( {\boldsymbol{z}} \right)} \end{aligned} \right\}$

(11)

上述半二次方分裂能够有效地简化求解，因此，对于本文的模型，采用半二次方分裂，引入辅助变量 ${\boldsymbol{b}}$ 和 ${\boldsymbol{q}}$ ，可以将式(7)等价为以下子问题交替求解

$\left. \begin{aligned} & {{\boldsymbol{x}}_{\boldsymbol{i}}^{{\boldsymbol{k + 1}}} = \mathop {\arg \min }\limits_{{{\boldsymbol{x}}_{\boldsymbol{i}}}} \frac{1}{2}\left\| {{{\boldsymbol{y}}_{\boldsymbol{i}}} - {\boldsymbol{A}}{{\boldsymbol{x}}_{\boldsymbol{i}}}} \right\|_2^2 + {\mu _1}\left\| {{{\boldsymbol{x}}_{\boldsymbol{i}}} - {\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right\|_2^2 + {\mu _2}\left\| {{{\boldsymbol{x}}_{\boldsymbol{i}}} - {\boldsymbol{q}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right\|_2^2} \\ & {{\boldsymbol{b}}_{\boldsymbol{i}}^{{\boldsymbol{k + 1}}} = \mathop {\arg \min }\limits_{{{\boldsymbol{b}}_{\boldsymbol{i}}}} \frac{1}{2}\left\| {{{\boldsymbol{b}}_{\boldsymbol{i}}} - {\boldsymbol{x}}_{\boldsymbol{i}}^{{\boldsymbol{k + 1}}}} \right\|_2^2 + {\lambda _1}{R_{l1}}\left( {{{\boldsymbol{b}}_{\boldsymbol{i}}}} \right)} \\ & {{\boldsymbol{q}}_{\boldsymbol{i}}^{{\boldsymbol{k + 1}}} = \mathop {\arg \min }\limits_{{{\boldsymbol{q}}_{\boldsymbol{i}}}} \frac{1}{2}\left\| {{{\boldsymbol{q}}_{\boldsymbol{i}}} - {\boldsymbol{x}}_{\boldsymbol{i}}^{{\boldsymbol{k + 1}}}} \right\|_2^2 + {\lambda _2}{R_{{\rm{non}} {\text{-}} {\rm{local}}}}\left( {{{\boldsymbol{q}}_{\boldsymbol{i}}}} \right)} \end{aligned} \right\}$

(12)

式(12)若直接使用数学求解的方式，存在计算复杂度高且模型性能不高的问题。受到ISTA-Net深度模型求解的启发，本文针对上述3个子问题的求解做如下处理：对于x子问题，采用卷积神经网络(Convolutional Neural Network, CNN)实现；对b子问题，利用ISTA-Net，通过学习的方式对其进行求解；对q子问题，在可学习的非局部网络的基础上进行求解。本文模型的整体网络结构如图1所示。接下来本文将对上述3个子问题的网络结构做详细的介绍。

3.2.1 x子问题

对x子问题，其表达式为

$\begin{split} {\boldsymbol{x}}_{\boldsymbol{i}}^{{\boldsymbol{k + 1}}} =& \mathop {\arg \min }\limits_{{{\boldsymbol{x}}_{\boldsymbol{i}}}} \frac{1}{2}\left\| {{{\boldsymbol{y}}_{\boldsymbol{i}}} - {\boldsymbol{A}}{{\boldsymbol{x}}_{\boldsymbol{i}}}} \right\|_2^2 + {\mu _1}\left\| {{{\boldsymbol{x}}_{\boldsymbol{i}}} - {\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right\|_2^2 \\ & + {\mu _2}\left\| {{{\boldsymbol{x}}_{\boldsymbol{i}}} - {\boldsymbol{q}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right\|_2^2\\[-15pt] \end{split}$

(13)

式(13)是一个凸问题，可以直接求出闭式解，但是直接求解运算量非常大。由于神经网络具有强大的逼近能力，本文直接用一个浅层的CNN网络逼近式(13)。从式(13)可以看出， ${{\boldsymbol{x}}_{\boldsymbol{i}}}$ 是待估计的原始图像块， ${\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}}$ 和 ${\boldsymbol{q}}_{\boldsymbol{i}}^{\boldsymbol{k}}$ 是退化图像块， ${\boldsymbol{x}}_{\boldsymbol{i}}^{{\boldsymbol{k + 1}}}$ 是对应每一次迭代中的重构图像块。具体来说，本文利用现有的CNN来学习退化图像和原始图像之间的关系，通过基于卷积(Conv)和激活函数(ReLU)的CNN结构来解决上述问题。具体的网络结构如图2所示。

图 2 x子问题的求解模型

下载: 全尺寸图片幻灯片

如图2所示，x子问题的求解是一个非线性重构过程。利用CNN来实现此功能。该网络包含5层，其中，除第1层和最后1层以外，中间3层的网络结构相同。中间层为大小为3 $\times$ 3的卷积核，每一层输出为32个通道下的特征图。第1层是在初始重构输出上运行的，它具有大小为3 $\times$ 3的卷积核的32个特征图，最后1层由大小为3 $\times$ 3的32通道的单个滤波器组成。

3.2.2 b子问题

对于b子问题，本文基于ISTA-Net求解方式对其进行求解。首先，b子问题的表达式为

${\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}} = \mathop {\arg \min }\limits_{{{\boldsymbol{b}}_{\boldsymbol{i}}}} \frac{1}{2}\left\| {{{\boldsymbol{b}}_{\boldsymbol{i}}} - {\boldsymbol{x}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right\|_2^2 + {\lambda _1}{R_{l1}}\left( {{{\boldsymbol{b}}_{\boldsymbol{i}}}} \right)$

(14)

对式(14)中的 ${R_{l1}}\left( {{{\boldsymbol{b}}_{\boldsymbol{i}}}} \right)$ ，同样用一个一般的非线性变换函数 $\mathcal{F}\left( {{{\boldsymbol{b}}_{\boldsymbol{i}}}} \right)$ 代替，则表达式变为

${\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}} = \mathop {\arg \min }\limits_{{{\boldsymbol{b}}_{\boldsymbol{i}}}} \frac{1}{2}\left\| {{{\boldsymbol{b}}_{\boldsymbol{i}}} - {\boldsymbol{x}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right\|_2^2 + {\lambda _1}{\left\| {\mathcal{F}\left( {{{\boldsymbol{b}}_{\boldsymbol{i}}}} \right)} \right\|_1}$

(15)

根据ISTA-Net的求解思路，存在非线性变换使得

$\left\| {\mathcal{F}\left( {{{\boldsymbol{b}}_{\boldsymbol{i}}}} \right) - \mathcal{F}\left( {{\boldsymbol{x}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right)} \right\|_2^2 \approx \alpha \left\| {{{\boldsymbol{b}}_{\boldsymbol{i}}} - {\boldsymbol{x}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right\|_2^2$

(16)

其中， $\alpha$ 是只与 $\mathcal{F}\left( \cdot \right)$ 相关的参数，令 $\theta {\text{ = }}{\lambda _1}$ 。因此，等式(15)可以写为

${\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}} = \mathop {\arg \min }\limits_{{{\boldsymbol{b}}_{\boldsymbol{i}}}} \frac{1}{2}\left\| {\mathcal{F}\left( {{{\boldsymbol{b}}_{\boldsymbol{i}}}} \right) - \mathcal{F}\left( {{\boldsymbol{x}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right)} \right\|_2^2 + \theta {\left\| {\mathcal{F}\left( {{{\boldsymbol{b}}_{\boldsymbol{i}}}} \right)} \right\|_1}$

(17)

因此 $\mathcal{F}\left( {\boldsymbol{x}} \right)$ 的闭式解为

$\mathcal{F}\left( {{\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right) = {{\rm{soft}}} \left( {\mathcal{F}\left( {{\boldsymbol{x}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right),\theta } \right)$

(18)

因此b的求解表达式为

${\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}} = \tilde {\mathcal{F}}\left( {{{\rm{soft}}} \left( {\mathcal{F}\left( {{\boldsymbol{x}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right),\theta } \right)} \right)$

(19)

在每一次迭代中参数都是可学习的，因此有

${\boldsymbol{b}}_{\boldsymbol{i}}^{\boldsymbol{k}} = {\tilde {\mathcal{F}}_k}\left( {{{\rm{soft}}} \left( {{\mathcal{F}_k}\left( {{\boldsymbol{x}}_{\boldsymbol{i}}^{\boldsymbol{k}}} \right),{\theta _k}} \right)} \right)$

(20)

针对上述b子问题的求解过程，其网络结构如图3所示。

图 3 b子问题的模型结构

下载: 全尺寸图片幻灯片

对于b子问题的网络，其中，每个阶段的参数都是需要训练来进行优化的，其中，卷积层中卷积核的大小设置为3×3，特征图的通道数为32，激活函数选择ReLU。

3.2.3 q子问题

针对q子问题，本文采用非局部神经网络(Non-local Net)^[28]的思想进行求解。非局部神经网络是根据非局部均值方法的原理，实现了将某个位置的响应计算为所有位置的特征的加权总和的非局部运算，q子问题的模型结构如图4，其非局部模块的结构如图5所示。

图 4 q子问题的模型结构

下载: 全尺寸图片幻灯片

图 5 非局部模块结构

下载: 全尺寸图片幻灯片

对于q子问题，本文将其视为一个非线性优化问题，通过非局部神经网络实现信号的重构过程，该网络参数如图5所示。其中， $\theta ,{\text{ }}\psi ,{\text{ }}\delta$ 是大小为 $1 \times 1$ 的卷积核，×表示张量乘积。输入x和输出z保持相同的维度。

3.3 损失函数

本文的算法将给定图像块 ${{\boldsymbol{x}}_{\boldsymbol{i}}}$ 作为输入，联合测量矩阵和重构网络进行训练，并生成由 ${\boldsymbol{x}}_{\boldsymbol{i}}^{{N_R}}$ 表示的重建结果作为输出。本文力求减少 ${{\boldsymbol{x}}_{\boldsymbol{i}}}$ 与 ${\boldsymbol{x}}_{\boldsymbol{i}}^{{N_R}}$ 之间的差异，同时满足对称约束 ${\tilde {\mathcal{F}}^{(k)}} \circ {{\mathcal{F}}^{(k)}} = I,\; \forall k = 1, 2, \cdots ,{N_R}$ 。因此，将本文提出算法的端到端损失函数设计为

$\begin{split} {\rm{Loss}} = &\frac{1}{{{N_p}N}}\sum\limits_{i = 1}^{{N_p}} {\left\| {{\boldsymbol{x}}_{\boldsymbol{i}}^{{{\boldsymbol{N}}_{\boldsymbol{R}}}} - {{\boldsymbol{x}}_{\boldsymbol{i}}}} \right\|_2^2} \\ & + \frac{\gamma }{{{N_p}N}}\sum\limits_{i = 1}^{{N_p}} {\sum\limits_{k = 1}^{{N_R}} {\left\| {{{\tilde {\mathcal{F}}}^{(k)}}({\mathcal{F}^{(k)}}({{\boldsymbol{x}}_{\boldsymbol{i}}})) - {{\boldsymbol{x}}_{\boldsymbol{i}}}} \right\|_2^2} } \end{split}$

(21)

其中，第1项为均方误差损失，第2项为对称约束损失， ${N_R}$ ， ${N_P}$ ， $N$ 和 $\gamma$ 分别是整体网络阶段的总数、训练块的总数、每个图像块 ${{\boldsymbol{x}}_{\boldsymbol{i}}}$ 的大小和正则化参数。在本文的实验中，将 $\gamma$ 设置为0.01。

4. 仿真结果及分析

4.1 实验参数设置

为了验证本文提出的网络的有效性和图像重构质量，本文的训练集采用与多个主流基于深度学习的重构算法一致的数据集91image^[16,19] ，即有91张图像的数据集，本文提取88912个随机裁剪的图像块生成训练集，每个图像块的大小为33×33。对于测试集，本文选择了3个广泛使用的基准数据集：Set5^[29], Set11^[16], BSD68^[30]，分别含有5张、11张和68张灰度图像。

本文所有实验均在Intel i7-8700K处理器、3.2 GHz主频、15.6 GB内存的计算下运行，并使用GTX1080Ti GPU 进行加速，操作系统为Ubuntu 16.04发行版。评价标准采用峰值信噪比(Peak Signal- to-Noise Ratio, PSNR)作为客观的质量评价指标。

4.2 图像重构结果

在本文中，首先测试了Set11中8张大小为256 $\times$ 256的常用灰度图像，如图6所示

图 6 测试图像

下载: 全尺寸图片幻灯片

为了验证所提网络的有效性，本文在10%, 20%和30%这3个采样率下，将ReconNet, ISTA-Net, CSNet和SCSNet 4种算法作为对比算法继续了测试。这4种算法均为当前具有代表性的基于深度学习重构算法。ReconNet是较早将卷积神经网络与压缩感知相结合的图像重构算法，CSNet是首次将图像的压缩和重构联合进行训练，以1层卷积层作为采样，然后通过设计的重构网络实现图像信号的准确重构，是当前的一种优秀的端到端重构算法，其重构性能也优于当前重构算法。SCSNet则是在CSNet的基础上提出的可实现多采样率的图像重构网络，其性能较CSNet更优。ISTA-Net通过深度展开的方式建立了基于图像先验的重构网络，其性能不亚于当前的基于纯深度学习的重构算法。

表1给出了10%, 20%和30% 3种采样率情况下的各个算法重构图像的PSNR值。从表1可以看出，本文模型重构图像的PSNR值相对比SCSNet算法具有相当的结果并略高于SCSNet，明显高于其他3种对比算法的PSNR值。在采样率为20%时，本文提出的重构网络算法的PSNR均超过了其他3种重构算法的结果，分别比Recon-Net, ISTA-Net⁺, CSNet和SCSNet平均提升7.47 dB, 1.70 dB, 1.98 dB和0.24 dB。也就是说，本文提出的重构网络性能优于当前的基于深度学习的重构算法，是一种高效且准确的图像重构网络，在一定程度上实现了图像信号的有效重构。

表 1 不同图像下各种重构算法的PSNR(dB)对比

采样率(%)	算法	Monarch	House	Barbara	Lena	Parrots	Peppers	Boats	Cameraman
10	ReconNet	21.51	26.69	22.50	24.47	23.23	22.67	24.15	21.66
	CSNet	26.73	31.68	24.24	28.57	27.40	26.66	28.80	24.92
	ISTA-Net⁺	25.72	30.49	23.52	27.50	26.37	27.13	27.41	23.76
	SCSNet	28.88	32.69	24.43	29.29	28.10	28.22	30.11	25.71
	本文	28.97	33.02	24.51	29.47	28.95	29.12	30.04	26.18
20	ReconNet	22.89	27.95	22.87	25.39	24.56	24.04	25.98	22.64
	CSNet	29.57	33.42	24.98	30.75	29.77	28.42	30.97	26.79
	ISTA-Net⁺	31.01	34.99	26.78	31.14	29.96	32.45	31.91	27.65
	SCSNet	32.86	35.55	26.84	32.36	31.29	31.87	33.57	28.53
	本文	32.88	36.40	27.14	32.76	32.16	33.64	33.76	29.10
30	ReconNet	29.21	33.61	25.65	33.74	26.88	29.77	30.20	26.90
	CSNet	32.58	36.47	28.38	33.35	32.87	30.75	33.21	28.64
	ISTA-Net⁺	34.80	37.07	30.13	33.45	32.91	35.54	35.22	30.35
	SCSNet	35.58	37.92	31.43	35.22	34.13	34.50	36.30	30.65
	本文	35.65	38.04	31.32	35.25	35.07	36.00	36.76	31.43

下载: 导出CSV

| 显示表格

为了对模型性能进行更进一步的评估，本文测试了3个数据集下的模型重构效果，分别为Set5, Set11和BSD68，这3个数据集都是压缩感知理论中广泛使用的自然灰度图像数据集。不同数据集下的重构结果在表2给出，通过该表可知，在Set11和BSD68数据集下，本文的重构网络的平均PSNR高于其他4种重构算法，在测试的采样率与数据集下本文提出的重构网络的PSNR与当前主流的重构算法SCSNet相比平均提升了0.18 dB，与CSNet算法相比平均提升了约1.70 dB，与ISTA-Net⁺算法相比平均提升了约2.09 dB，与ReconNet算法相比平均提升了约5.70 dB。

表 2 不同数据集下各种重构算法的PSNR(dB)对比

采样率(%)	数据集	ReconNet	CSNet	ISTA-Net⁺	SCS-Net	本文
10	Set5	24.31	31.54	28.61	32.77	31.70
	Set11	22.45	27.37	26.49	28.48	29.01
	BSD68	23.62	27.59	25.85	27.28	28.13
	平均	23.46	28.83	26.98	29.51	29.61
20	Set5	26.51	34.54	32.72	36.15	35.04
	Set11	24.44	29.33	30.80	31.82	32.49
	BSD68	25.12	29.51	29.03	29.79	30.96
	平均	25.36	31.13	30.85	32.59	32.83
30	Set5	27.78	36.69	35.45	38.45	37.24
	Set11	25.74	30.98	33.70	34.62	35.12
	BSD68	26.27	31.01	31.47	31.87	33.20
	平均	26.60	32.89	33.54	34.98	35.19
	平均	25.14	30.95	30.46	32.36	32.54

下载: 导出CSV

| 显示表格

为了更直观地给出重构图像的对比结果，图7给出了在10%的采样率下，各个对比算法对图像Parrots和House的重构结果，图8给出了在20%的采样率下各个对比算法对图像Monarch的重构质量。从图中可以看出，ReconNet重构出的图像整体较为模糊，图像纹理结构不够清晰，ISTA-Net⁺和CSNet能够有效地重构图像，但ISTA-Net⁺存在较强的块效应。SCSNet的重构效果在CSNet的基础上得到了进一步的提升，重构图像具有更高的质量。本文提出的算法重构出的图像相比于上述4种重构算法具有更高的视觉质量，图像纹理更为清晰。综上所述，本文提出的重构算法是一种有效且准确的重构算法。

图 7 在10%采样率情况下图像Parrots和House的重构图像

下载: 全尺寸图片幻灯片

图 8 在20%采样率情况下图像Monarch的重构图像

下载: 全尺寸图片幻灯片

4.3 非局部模块特征图可视化分析

为了更直观地展示出非局部网络通过加权融合的不同信息，本文对非局部模块中的特征图进行可视化分析。具体操作为提取非局部模块最后一层的特征权重，做全局平均池化运算后叠加原图，如图9所示，颜色相同的区域即为非局部相似区域，说明非局部模块起到了非局部注意的作用，其通过计算各个位置上的相似度，有效提升了模型的效率和重构效果。

图 9 非局部模块特征图

下载: 全尺寸图片幻灯片

4.4 收敛性分析

为了衡量本文网络的稳定性，图10(a)给出了在Set11数据集下不同采样率的PSNR迭代变化曲线；图10(b)给出了在20%采样率下，本文算法、ISTA-Net⁺与ReconNet3种算法在本文所采用的训练集下重新训练后，在Set11数据集下的收敛曲线；图10(c)给出了在20%采样率Set11数据集下变量 ${\boldsymbol{b}}$ 和 ${\boldsymbol{q}}$ 的收敛曲线；图10(d)给出了在20%采样率训练时，损失函数中均方误差损失和对称约束损失的收敛曲线。随着训练次数的增加，PSNR值逐渐趋于稳定，损失函数收敛，模型能够减小重构误差且满足对称约束，说明本文提出的重构算法是一种稳定有效的重构算法。

图 10 算法收敛性分析

下载: 全尺寸图片幻灯片

5. 结束语

本文结合图像先验信息和深度学习提出了一种基于非局部先验的深度图像压缩感知网络，该网络联合训练测量矩阵和重构网络，本文利用卷积层模拟采样过程，相比较传统的采样方式更利于进行多个图像块训练，利用卷积层和像素洗牌进行初始重构，在深度图像压缩感知网络中结合图像稀疏先验和非局部相似性先验建立对应的数学模型，然后利用半二次方分裂将其分解为多个子问题，每个子问题都在深度学习的框架下进行求解。本文利用卷积神经网络、ISTA-Net和非局部网络实现各个子问题的求解，最后联合建立了一个完整的端到端的可训练的图像压缩重构模型，本文提出的重构网络和其他主流的重构算法相比具有较为明显的质量提升，同时整个框架既是可解释的又保留了良好的数学特性。未来将基于本文工作，探索在视频压缩感知中的应用。

图 1 本文提出的网络模型的整体结构

下载: 全尺寸图片幻灯片

图 2 x子问题的求解模型

下载: 全尺寸图片幻灯片

图 3 b子问题的模型结构

下载: 全尺寸图片幻灯片

图 4 q子问题的模型结构

下载: 全尺寸图片幻灯片

图 5 非局部模块结构

下载: 全尺寸图片幻灯片

图 6 测试图像

下载: 全尺寸图片幻灯片

图 7 在10%采样率情况下图像Parrots和House的重构图像

下载: 全尺寸图片幻灯片

图 8 在20%采样率情况下图像Monarch的重构图像

下载: 全尺寸图片幻灯片

图 9 非局部模块特征图

下载: 全尺寸图片幻灯片

图 10 算法收敛性分析

下载: 全尺寸图片幻灯片

表 1 不同图像下各种重构算法的PSNR(dB)对比

采样率(%)	算法	Monarch	House	Barbara	Lena	Parrots	Peppers	Boats	Cameraman
10	ReconNet	21.51	26.69	22.50	24.47	23.23	22.67	24.15	21.66
	CSNet	26.73	31.68	24.24	28.57	27.40	26.66	28.80	24.92
	ISTA-Net⁺	25.72	30.49	23.52	27.50	26.37	27.13	27.41	23.76
	SCSNet	28.88	32.69	24.43	29.29	28.10	28.22	30.11	25.71
	本文	28.97	33.02	24.51	29.47	28.95	29.12	30.04	26.18
20	ReconNet	22.89	27.95	22.87	25.39	24.56	24.04	25.98	22.64
	CSNet	29.57	33.42	24.98	30.75	29.77	28.42	30.97	26.79
	ISTA-Net⁺	31.01	34.99	26.78	31.14	29.96	32.45	31.91	27.65
	SCSNet	32.86	35.55	26.84	32.36	31.29	31.87	33.57	28.53
	本文	32.88	36.40	27.14	32.76	32.16	33.64	33.76	29.10
30	ReconNet	29.21	33.61	25.65	33.74	26.88	29.77	30.20	26.90
	CSNet	32.58	36.47	28.38	33.35	32.87	30.75	33.21	28.64
	ISTA-Net⁺	34.80	37.07	30.13	33.45	32.91	35.54	35.22	30.35
	SCSNet	35.58	37.92	31.43	35.22	34.13	34.50	36.30	30.65
	本文	35.65	38.04	31.32	35.25	35.07	36.00	36.76	31.43

下载: 导出CSV

表 2 不同数据集下各种重构算法的PSNR(dB)对比

采样率(%)	数据集	ReconNet	CSNet	ISTA-Net⁺	SCS-Net	本文
10	Set5	24.31	31.54	28.61	32.77	31.70
	Set11	22.45	27.37	26.49	28.48	29.01
	BSD68	23.62	27.59	25.85	27.28	28.13
	平均	23.46	28.83	26.98	29.51	29.61
20	Set5	26.51	34.54	32.72	36.15	35.04
	Set11	24.44	29.33	30.80	31.82	32.49
	BSD68	25.12	29.51	29.03	29.79	30.96
	平均	25.36	31.13	30.85	32.59	32.83
30	Set5	27.78	36.69	35.45	38.45	37.24
	Set11	25.74	30.98	33.70	34.62	35.12
	BSD68	26.27	31.01	31.47	31.87	33.20
	平均	26.60	32.89	33.54	34.98	35.19
	平均	25.14	30.95	30.46	32.36	32.54

下载: 导出CSV

参考文献(30)

[1]	CANDÈS E J, WAKIN M B, and BOYD S P. Enhancing sparsity by reweighted ℓ₁ minimization[J]. Journal of Fourier Analysis and Applications, 2008, 14(5/6): 877–905. doi: 10.1007/s00041-008-9045-x
[2]	DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289–1306. doi: 10.1109/TIT.2006.871582
[3]	BARANIUK R G, CANDÈS E, NOWAK R, et al. compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2): 1433–1452. doi: 10.4171/022
[4]	SHI Wuzhen, LIU Shaohui, JIANG Feng, et al. Video compressed sensing using a convolutional neural network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 31(2): 425–438. doi: 10.1109/TCSVT.2020.2978703
[5]	ROGERS C A and POPESCU D C. Compressed sensing MIMO radar system for extended target detection[J]. IEEE Systems Journal, 2021, 15(1): 1381–1389. doi: 10.1109/JSYST.2020.3000500
[6]	KUMAR P A, GUNASUNDARI R, and AARTHI R. Systematic analysis and review of magnetic resonance imaging (MRI) reconstruction techniques[J]. Current Medical Imaging, 2021, 17(8): 943–955. doi: 10.2174/1573405616666210105125542
[7]	DENG Jun, REN Guanghui, JIN Yansheng, et al. Iterative weighted gradient projection for sparse reconstruction[J]. Information Technology Journal, 2011, 10(7): 1409–1414. doi: 10.3923/itj.2011.1409.1414
[8]	JI Shihao, XUE Ya, and CARIN L. Bayesian compressive sensing[J]. IEEE Transactions on Signal Processing, 2008, 56(6): 2346–2356. doi: 10.1109/tsp.2007.914345
[9]	MALLAT S G and ZHANG Zhifeng. Matching pursuits with time-frequency dictionaries[J]. IEEE Transactions on Signal Processing, 1993, 41(12): 3397–3415. doi: 10.1109/78.258082
[10]	QIN Jing, LI Shuang, NEEDELL D, et al. Stochastic greedy algorithms for multiple measurement vectors[J]. Inverse Problems and Imaging, 2021, 15(1): 79–107. doi: 10.3934/ipi.2020066
[11]	LIU Jiahao, WU Qisong, and AMIN M G. Multi-Task Bayesian compressive sensing exploiting signal structures[J]. Signal Processing, 2021, 178: 107804. doi: 10.1016/j.sigpro.2020.107804
[12]	ABDELHAY M A, KORANY N O, and EL-KHAMY S E. Synthesis of uniformly weighted sparse concentric ring arrays based on off-grid compressive sensing framework[J]. IEEE Antennas and Wireless Propagation Letters, 2021, 20(4): 448–452. doi: 10.1109/LAWP.2021.3052174
[13]	GONG Yu, XIAO Shaoqiu, ZHENG Yu, et al. Synthesis of multiple-pattern planar arrays by the multitask Bayesian compressive sensing[J]. IEEE Antennas and Wireless Propagation Letters, 2021, 20(8): 1587–1591. doi: 10.1109/LAWP.2021.3091613
[14]	DONG Weisheng, SHI Guangming, LI Xin, et al. Compressive sensing via nonlocal low-rank regularization[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3618–3632. doi: 10.1109/TIP.2014.2329449
[15]	FRIEDLAND S, LI Qun, and SCHONFELD D. Compressive sensing of sparse tensors[J]. IEEE Transactions on Image Processing, 2014, 23(10): 4438–4447. doi: 10.1109/TIP.2014.2348796
[16]	ZHANG Jian, ZHAO Debin, and GAO Wen. Group-based sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3336–3351. doi: 10.1109/TIP.2014.2323127
[17]	MOUSAVI A, PATEL A B, and BARANIUK R G. A deep learning approach to structured signal recovery[C]. 2015 53rd Annual Allerton Conference on Communication, Control, and Computing (Allerton), Monticello, USA, 2015: 1336–1343.
[18]	KULKARNI K, LOHIT S, TURAGA P, et al. ReconNet: Non-iterative reconstruction of images from compressively sensed measurements[C]. The 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 449–458.
[19]	YAO Hantao, DAI Feng, ZHANG Shiliang, et al. DR²-Net: Deep residual reconstruction network for image compressive sensing[J]. Neurocomputing, 2019, 359: 483–493. doi: 10.1016/j.neucom.2019.05.006
[20]	SHI Wuzhen, JIANG Feng, LIU Shaohui, et al. Image compressed sensing using convolutional neural network[J]. IEEE Transactions on Image Processing, 2020, 29: 375–388. doi: 10.1109/TIP.2019.2928136
[21]	SHI Wuzhen, JIANG Feng, LIU Shaohui, et al. Scalable convolutional neural network for image compressed sensing[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, USA, 2019: 12282–12291.
[22]	ZHANG Jian and GHANEM B. ISTA-Net: Interpretable optimization-inspired deep network for image compressive sensing[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 1828–1837.
[23]	ZHANG Jian, ZHAO Chen, and GAO Wen. Optimization-inspired compact deep compressive sensing[J]. IEEE Journal of Selected Topics in Signal Processing, 2020, 14(4): 765–774. doi: 10.1109/JSTSP.2020.2977507
[24]	CHEN Chen, TRAMEL E W, and FOWLER J E. Compressed-sensing recovery of images and video using multihypothesis predictions[C]. 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals, Systems and Computers (ASILOMAR), Pacific Grove, USA, 2011: 1193–1198.
[25]	MUN S and FOWLER J E. Residual reconstruction for block-based compressed sensing of video[C]. 2011 Data Compression Conference, Snowbird, USA, 2011: 183–192.
[26]	唐述, 谢显中. 多正则化混合约束的模糊图像盲复原方法[J]. 电子与信息学报, 2015, 37(4): 770–776. doi: 10.11999/JEIT140949 TANG Shu and XIE Xianzhong. Multi-regularization hybrid constraints method for blind image restoration[J]. Journal of Electronics &Information Technology, 2015, 37(4): 770–776. doi: 10.11999/JEIT140949
[27]	SHI Wenzhe, CABALLERO J, HUSZÁR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 1874–1883.
[28]	WANG Xiaolong, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]. The 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake, USA, 2018: 7794–7803.
[29]	BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]. British Machine Vision Conference, Surrey, UK, 2012: 135.
[30]	MARTIN D, FOWLKES C, TAL D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]. Eighth IEEE International Conference on Computer Vision. ICCV 2001, Vancouver, Canada, 2001: 416–423

施引文献

期刊类型引用(4)

1.	舒忠，万行花，赵华菊，吕琼瑶. 基于可感知网络模型的多尺度特征图像重构研究. 印刷与数字媒体技术研究. 2024(03): 222-236 . 百度学术
2.	刘玉红，姜启，谈丽娟，杨恒. 基于滤波器剪枝的多尺度压缩感知图像重构. 湖南大学学报(自然科学版). 2024(08): 34-46 . 百度学术
3.	田学军，章文强，马梓轩，陈良哲，叶卉荣，舒忠. 基于拉普拉斯金字塔残差网络的多尺度图像压缩研究. 印刷与数字媒体技术研究. 2024(05): 33-44 . 百度学术
4.	张小贝，唐辰，涂喜梅，陆晓刚，张琦. 基于自适应分块和联合优化光滑l_0范数的二维压缩感知算法. 电子与信息学报. 2023(12): 4431-4439 . 本站查看

其他类型引用(8)

资源附件(0)

访问统计

图(10) / 表(2)

计量

文章访问数: 667
HTML全文浏览量: 560
PDF下载量: 153
被引次数: 12

1. 引言
2. 压缩感知理论
3. 基于非局部先验的深度压缩感知图像重构网络
3.1 采样和初始重构
3.2 深度重构网络
3.3 损失函数
4. 仿真结果及分析
4.1 实验参数设置
4.2 图像重构结果
4.3 非局部模块特征图可视化分析
4.4 收敛性分析
5. 结束语

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于非局部先验的深度压缩感知图像重构网络

doi: 10.11999/JEIT211506

通讯作者:
仲元红　zhongyh@cqu.edu.cn

计量

Deep Compressive Sensing Image Reconstruction Network Based on Non-Local Prior

1. 引言

2. 压缩感知理论

3. 基于非局部先验的深度压缩感知图像重构网络

3.1 采样和初始重构

3.2 深度重构网络

3.2.1 x子问题

3.2.2 b子问题

3.2.3 q子问题

3.3 损失函数

4. 仿真结果及分析

4.1 实验参数设置

4.2 图像重构结果

4.3 非局部模块特征图可视化分析

4.4 收敛性分析

5. 结束语

期刊类型引用(4)

其他类型引用(8)

计量

目录

1. 引言

2. 压缩感知理论

3. 基于非局部先验的深度压缩感知图像重构网络

3.1 采样和初始重构

3.2 深度重构网络

3.3 损失函数

4. 仿真结果及分析

4.1 实验参数设置

4.2 图像重构结果

4.3 非局部模块特征图可视化分析

4.4 收敛性分析

5. 结束语

留言板

基于非局部先验的深度压缩感知图像重构网络

doi: 10.11999/JEIT211506

通讯作者: 仲元红 zhongyh@cqu.edu.cn

计量

出版历程

Deep Compressive Sensing Image Reconstruction Network Based on Non-Local Prior

1. 引言

2. 压缩感知理论

3. 基于非局部先验的深度压缩感知图像重构网络

3.1 采样和初始重构

3.2 深度重构网络

3.2.1 x子问题

3.2.2 b子问题

3.2.3 q子问题

3.3 损失函数

4. 仿真结果及分析

4.1 实验参数设置

4.2 图像重构结果

4.3 非局部模块特征图可视化分析

4.4 收敛性分析

5. 结束语

期刊类型引用(4)

其他类型引用(8)

计量

出版历程

目录

1. 引言

2. 压缩感知理论

3. 基于非局部先验的深度压缩感知图像重构网络

3.1 采样和初始重构

3.2 深度重构网络

3.3 损失函数

4. 仿真结果及分析

4.1 实验参数设置

4.2 图像重构结果

4.3 非局部模块特征图可视化分析

4.4 收敛性分析

5. 结束语

通讯作者:
仲元红　zhongyh@cqu.edu.cn