基于多通道忆阻脉冲耦合神经网络的多帧图像超分辨率重建算法

董哲康; 杜晨杰; 林辉品; 赖俊昇; 胡小方; 段书凯

doi:10.11999/JEIT190868

基于多通道忆阻脉冲耦合神经网络的多帧图像超分辨率重建算法

doi: 10.11999/JEIT190868

董哲康^{1, 2},
杜晨杰¹,
林辉品^{1, 2, ,},
赖俊昇³,
胡小方⁴,
段书凯⁴

1.
杭州电子科技大学电子信息学院杭州 310018
2.
浙江大学电气工程学院杭州 310027
3.
牛津大学工程科学系英国牛津 OX1 3PJ
4.
西南大学人工智能学院重庆 400715

基金项目: 国家自然科学基金(61571394, 61601376)，浙江省属高校基本科研业务费项目(GK199900299012-010)

详细信息

作者简介:
董哲康：男，1989年生，副教授，主要研究方向为忆阻理论、基于忆阻器的神经形态系统研究

杜晨杰：男，1990年生，博士生，研究方向为忆阻理论、基于忆阻器的神经形态系统研究

林辉品：男，1987年生，讲师，主要研究方向为忆阻理论、基于忆阻器的神经形态系统研究

赖俊昇：男，1991年生，助理教授，主要研究方向为忆阻理论、基于忆阻器的神经形态系统研究

胡小方：女，1984年生，副教授，主要研究方向为忆阻器理论、基于忆阻器的非线性系统研究

段书凯：男，1973年生，教授，主要研究方向为忆阻器理论、微纳系统研究

通讯作者:
林辉品　linhuipin@hdu.edu.cn

中图分类号: TN601; TN911.73
计量
- 文章访问数: 6205
- HTML全文浏览量: 1919
- PDF下载量: 170
- 被引次数: 18
出版历程
- 收稿日期: 2019-11-01
- 修回日期: 2020-01-12
- 网络出版日期: 2020-02-12
- 刊出日期: 2020-06-04

Multi-channel Memristive Pulse Coupled Neural Network Based Multi-frame Images Super-resolution Reconstruction Algorithm

1.
School of Electronic Information, Hangzhou Dianzi University, Hangzhou 310018, China
2.
College of Electrical Engineering, Zhejiang University, Hangzhou 310027, China
3.
Department of Engineering Science, University of Oxford, Oxford OX1 3PJ, United Kingdom
4.
College of Artificial Intelligence, Southwest University, Chongqing 400715, China

Funds: The National Natural Science Foundation of China (61571394, 61601376), The Fundamental Research Funds for the Provincial Universities (GK199900299012-010)

摘要

摘要: 高清晰度的图像是信息获取和精确分析的前提，研究多帧图像的超分辨率重建能够有效解决因外部拍摄环境引起的图像细节丢失、边缘模糊等问题。该文基于纳米级忆阻器，设计一种多通道忆阻脉冲耦合神经网络模型(MMPCNN)，能够有效模拟网络中连接系数的动态变化，解决神经网络中固有的参数估计问题。同时，将提出的网络应用于多帧图像超分辨率重建中，实现低分辨率配准图像的融合操作，并通过基于稀疏编码的单帧图像超分辨率重构算法对获得的初始高分辨率图像进行优化。最终，一系列计算机仿真及分析(主观/客观分析)验证了该文提出方案的正确性和有效性。
- 忆阻器 /
- 脉冲耦合神经网络 /
- 多帧图像 /
- 超分辨率重建
Abstract: The high-resolution image is the prerequisite of information acquisition and precise analysis. Multi-frame super-resolution images reconstruction technologies are able to address many image degraded issues (caused by external shooting environment), such as detail information lost, blurred edges, and so forth. According to the nanoscale memristor, a Multi-channel Memristive Pulse Coupled Neural Network (MMPCNN) model is proposed. This model is able to simulate the adaptive-variable linking coefficient in pulse coupled neural network. Meanwhile, the proposed network is applied to the multi-frame super resolution reconstruction for fusing the registered low resolution images. Furthermore, the sparse coding based super resolution method is performed to improve the original high-resolution image. Finally, a series of computer experiments and the relevant subjective/objective analysis jointly illustrate the validity and effectiveness of the entire scheme.
- Memristor /
- Pulse coupled neural network /
- Multi-frame images /
- Super-resolution reconstruction

HTML全文

1. 引言

图像超分辨率(Super Resolution, SR)重建是指从低分辨率(Low Resolution, LR)图像序列中生成高分辨率(High Resolution, HR)图像的过程。图像超分辨率重建是目前机器视觉领域中非常热门的研究领域，它能克服低成本成像传感器的固有的分辨率限制，更好地利用高分辨率显示器的性能^[1]。同时，由于从低质量图像中进行诊断或分析也是极其困难的，超分辨率重构在成像领域(例如医学成像和卫星成像中)也是必不可少的技术之一。通常来说，图像超分辨率重建的方法大致可以分为两类：单帧图像重建^[2-4]，多帧图像重建^[5-8]。相比于单帧图像重建，多帧图像的超分辨率重建算法复杂度、实现难度更高，是本文的主要研究目标。

传统的多帧图像超分辨率重建方法需要将同一场景的多帧LR图像作为输入，并实现亚像素精度配准，进而通过一定的融合算法，得到一幅HR图像。换言之，传统的多帧图像超分辨率重建方法通常通过2个步骤实现：亚像素运动估计和图像融合。前一步骤是获得可接受的亚像素位移信息，通过块匹配方法^[8]和基于梯度的方法^[9]等来实现图像的配准。后一步骤利用得到的多帧LR图像融合成一幅HR图像。图像融合可通过多种方法实现，如基于小波变换的图像融合方法^[10]、基于主成分分析的图像融合方法^[11]和基于脉冲耦合神经网络的融合方法^[12]等。基于两个步骤实现的多帧图像超分辨率算法的工作机制为串行方式，并且已有的图像融合算法无法很好地从LR图像中挖掘并保留更多的图像边缘与纹理信息。因此，如何设计快速、有效的多帧图像超分辨率重构算法成为了该领域内一个亟待解决的问题。

本文基于1971年蔡少棠教授提出的纳米级电路元器件—忆阻器^[13,14]设计了一种多通道忆阻脉冲耦合神经网络(Multi-channel Memristive Pulse Coupled Neural Network, MMPCNN)模型。同时，通过采用分层迭代的亚像素配准方法^[15]来获得足够准确的移位估计，完成图像的配准工作。接着，设计基于MMPCNN的融合方法，完成配准图像的进一步融合，实现初始的HR图像重建。最后，利用基于稀疏编码的单帧图像超分辨重构方法对初始HR图像进行优化，进一步提高HR图像的质量。本文主要贡献如下：

(1) 设计了一种连接系数自适应改变的MMPCNN模型，为解决传统的脉冲耦合神经网络中固有的参数估计问题提供了一种全新的方法；

(2) 提出了一种将多帧图像超分辨率算法和单帧图像超分辨重构算法相结合的图像超分辨率重构方法。与现有的方法相比，该算法在图像质量、算法运行速度方面具有一定的自身优势；

(3) 由于纳米级忆阻器的加入，整个方案设计为图像超分辨率重建的微型化硬件实现提供了新的途径。

本文的具体结构如下：第2节简要介绍了电压阈值自适应忆阻器(Voltage controlled ThrEshold Adaptive Memristor, VTEAM)模型，研究了具体的电气特性；第3节提出了MMPCNN的实现方案，第4节详细介绍了多帧图像超分辨率重构的具体算法流程；第5节为了验证提出方案的正确性，进行了一系列的计算机仿真；第6节对全文进行了总结。

2. 忆阻器模型

本质上而言，忆阻器是一种具有非易失性的无源电路元器件。该文选择一种经典的压控忆阻器模型，即VTEAM模型^[14]。该模型数学表达简洁，且能够精确地模拟众多不同的实物忆阻器模型的基本电路特性，其具体的v-i特性可以描述为

$i\left( t \right) = {\left[ {{R_{\rm{L}}}{\rm{ + }}\frac{{{R_{\rm{H}}} - {R_{\rm{L}}}}}{{{x_{\rm{H}}} - {x_{\rm{L}}}}}\left( {x - {x_{\rm{L}}}} \right)} \right]^{ - 1}}v\left( t \right)$

(1)

其中，x表示忆阻器模型的内部状态变量，v(t)表示忆阻器两端施加的电压值，i(t)表示流经忆阻器的电流值。M=R_L+(R_H－R_L) (x－x_L)/(x_H－x_L)表示忆阻值，其中R_L和R_H分别表示极小忆阻值和极大忆阻值。

基于文献[14]，VTEAM模型中状态变量x(t)的动态方程表示为

$\frac{{{\rm{d}}x\left( t \right)}}{{{\rm{d}}t}} = \left\{ \begin{aligned} & {{k_{\rm{H}}}{{\left( {\dfrac{{v\left( t \right)}}{{{v_{{\rm{th1}}}}}} - 1} \right)}^{{\alpha _{\rm{H}}}}}{f_{\rm{H}}}\left( x \right),}\ \ {0 < {v_{{\rm{th1}}}} < v}\\ & {0,}\qquad \qquad\qquad\qquad\qquad\; {{v_{{\rm{th2}}}} \le v \le {v_{{\rm{th1}}}}}\\ & {{k_{\rm{L}}}{{\left( {\dfrac{{v\left( t \right)}}{{{v_{{\rm{th2}}}}}} - 1} \right)}^{{\alpha _{\rm{L}}}}}{f_{\rm{L}}}\left( x \right),}\ \ \; {v < {v_{{\rm{th2}}}} < 0} \end{aligned} \right.$

(2)

其中k_H, k_L, α_H以及α_L均为模型的拟合参数，v_th1和v_th2表示忆阻器的阈值电压。f_H(x)和f_L(x)为模型的窗函数，用于限制状态变量x在范围[x_L, x_H]内，其具体的数学表达为

$\left. \begin{aligned} & {{f_{\rm{H}}}\left( x \right) = \exp \left[ { - \exp \left( {\frac{{x - {\alpha_{\rm{H}}}}}{{{w_{\rm{c}}}}}} \right)} \right]} \\ & {{f_{\rm{L}}}\left( x \right) = \exp \left[ { - \exp \left( { - \frac{{x - {\alpha_{\rm{L}}}}}{{{w_{\rm{c}}}}}} \right)} \right]} \end{aligned} \right\}$

(3)

其中，α_H=1.8 nm, α_L=1.2 nm以及w_c=107 pm均为窗函数的拟合参数。

进一步，为了明确该忆阻器的基础电气特性，通过一系列计算机仿真，具体仿真结果如图1所示。

图 1 VTEAM忆阻器仿真结果

下载: 全尺寸图片幻灯片

图1(a)为忆阻器模型中的窗函数f_H(黑色实线)和f_L(黑色虚线)，图1(b)展示了在正弦电压v(t)=3sin(2πt)作用下，忆阻器两端的电压与流经忆阻器电流之间的磁滞回线关系(log尺度)。特别地，当施加电压满足v>v_th1时，忆阻值将在较小的时间内上升至极大值R_H；反之，当施加电压满足v<v_th2时，阻值将快速回落至极小值；其他情况下(即v_th2≤v≤v_th1)，忆阻值不发生改变，表现为一个固定阻值的电阻。

3. 多通道忆阻脉冲耦合神经网络MMPCNN

基于文献[12,16]，传统的脉冲耦合神经网络通常表征为单通道结构，即对于每一个神经元而言，有且只有一个外部的输入通道。当利用脉冲耦合神经网络进行具体的数字图像处理操作时(例如图像融合)，往往需要根据待融合图像的数量，设计多个完整的脉冲耦合神经网络实现多个外部数据的输入，该网络结构的设计策略有可能导致网络构建成本过高、图像处理算法时效性较低两个问题。

为了有效解决上述两个问题，本文设计了一种多通道忆阻脉冲耦合神经网络模型，如图2所示。需要说明的是，该模型中具体的通道数量可以根据实际应用需求进行灵活的设定和调整。

图 2 多通道忆阻脉冲耦合神经网络MMPCNN

下载: 全尺寸图片幻灯片

基于图2，该多通道模型与经典的脉冲耦合神经网络模型结构相似，由3个部分组成：接收调制域、信息域以及脉冲发生器，其对应的数学表达整理为

$F_{ij}^{(\gamma )}\left[ n \right] = S_{ij}^{(\gamma )},\gamma = \left[ {1,2, ··· ,{\rm{num}}} \right] \hspace{60pt} \tag{4a}$

(4a)

${L_{ij}}\left[ n \right] = {V_L}\sum\limits_{kl} {{w_{ijkl}}} {Y_{kl}}\left[ {n - 1} \right]\hspace{68pt} \tag{4b}$

(4b)

$\begin{split} {U_{ij}}\left[ n \right] =\,& \max \left( F_{ij}^{(1)}\left[ n \right]\left( {1 + {\beta ^{(1)}}{L_{ij}}\left[ n \right]} \right), ··· ,F_{ij}^{({\rm{num}})}\right.\\ & \cdot \left. \left[ n \right]\left( {1 + {\beta ^{({\rm{num}})}}{L_{ij}}\left[ n \right]} \right) \right) \\[-15pt] \end{split} \tag{4c}$

(4c)

${\theta _{ij}}\left[ n \right] = {{\rm{e}}^{ - {\alpha _\theta }}}{\theta _{ij}}\left[ {n - 1} \right] + {V_\theta }{Y_{ij}}\left[ {n - 1} \right]\hspace{40pt} \tag{4d}$

(4d)

$\ \ {Y_{ij}}\left[ n \right] = {\rm{step}}\left( {{U_{ij}}\left[ n \right] - {\theta _{ij}}\left[ n \right]} \right) = \left\{\!\!\!\! {\begin{array}{*{20}{c}} {1, {U_{ij}}\left[ n \right] > {\theta _{ij}}\left[ n \right]} \\ {0, {U_{ij}}\left[ n \right] \le {\theta _{ij}}\left[ n \right]} \end{array}} \right. \tag{4e}$

(4e)

其中，上标γ∈[1, num]表示第γ个通道，F_ij[n]和L_ij[n]分别表示神经元(i, j)在第n次迭代时的反馈输入信号和连接输入信号。U_ij[n], θ_ij[n]以及Y_ij[n]则分别表示对应的内部活动项、动态阈值以及神经元输出。本文中多通道忆阻脉冲耦合神经网络的内部活动项选择所有独立通道中最大的内部活动项(即数学规则选取max操作)。S_ij表示来自外部的输入激励，内部连接矩阵w_ijkl 为反馈输入信号F_ij中Y_kl 的加权系数，参数V_L和V_θ均表示固有的电动势，α_θ则表示阈值θ_ij[n]的衰减时间常数。特别地，不同于经典的脉冲耦合神经元^[12,16]，本文中连接系数β是由两个VTEAM忆阻器组成的电路(反向串联)进行模拟，其对应的数学表达为

$\beta = \frac{{{M_1}}}{{{M_1} + {M_2}}}$

(5)

其中，M₁和M₂分别表示电路中两个忆阻器的阻值。不难发现，相比于参考文献[12]，本文中脉冲耦合神经网络的连接系数表达更简洁，且相关参数更少。

4. 基于MMPCNN的多帧图像超分辨率重构算法

4.1 提出的算法描述

多帧图像超分辨率重构算法目的^[5-8]：将一系列低分辨率(Low Resolution, LR)图像融合成一幅高分辨率图像(High Resolution, HR)，其基本的观测模型可以表示为

${{ Y}_k} = {{ D}_k}{{ H}_k}{{ F}_k}{ J} + {{ V}_k}, k = 1,2, ··· ,N$

(6)

其中，J表示原始的HR图像，Y_k 表示第k (k=1, 2, 3, ···, N)个观测得到的LR图像，N表示LR图像的总数。D_k和H_k分别表示下采样矩阵与模糊矩阵。F_k表示图像几何变形过程中的运动矩阵，V_k表示额外的噪声信号。

基于等式(6)，传统的多帧图像超分辨重构算法可以看成是图像降质过程(如图3所示)的逆过程。

图 3 图像降质模型

下载: 全尺寸图片幻灯片

图像降质的逆过程可以分为3个步骤：图像配准、图像融合以及图像重构优化过程。需要说明的是，前两个步骤即为多帧图像的超分辨重构算法步骤，最后的图像重构优化过程基于稀疏编码算法完成，该过程是为了进一步增加重构得到图像的质量。基于此，多帧图像超分辨率重构算法的具体流程如图4所示。

图 4 提出的图像超分辨率算法流程图

下载: 全尺寸图片幻灯片

基于图4，首先通过图像降质过程得到一系列的LR图像序列，并选定其中一张为参考图像。利用分层迭代亚像素配准算法^[15]得到输入的LR图像序列与参考图像之间的亚像素位移信息，完成图像的配准工作。接着，利用提出的多通道忆阻脉冲耦合神经网络MMPCNN实现图像的融合过程，得到初始的高分辨率图像。进一步，通过稀疏编码的方法对初始高分辨率图像进行优化，得到最终的HR图像。整个过程分为两个阶段进行描述，即图像超分辨率重构过程与图像优化过程，详见4.2节。

4.2 图像超分辨重构过程

本文中，多帧图像的超分辨率重构的过程分为两个阶段，即基于分层迭代亚像素的图像配准过程与基于MPCNN的图像融合过程。

4.2.1 分层迭代亚像素配准算法

一般地，图像配准算法可以表示为^[15]

$s* = {\rm{Arg}}\mathop {\max }\limits_s S\left\{ {{ Z}\left[ {{{ T}_s}\left( {{x_{\rm pc}}} \right)} \right],{ F}\left( {{x_{\rm pc}}} \right)} \right\}$

(7)

其中Z(x_pc)和F(x_pc)分别表示参考图像以及当前的LR图像。T_s表示坐标变换信息，受参数s的影响和制约。S表示参考图像与当前图像重叠区域上计算的相似度。特别地，当相似度S达到最大值且参数s趋于数值s*时，Z(x_pc)和F(x_pc)可以被认为实现了图像配准。

需要说明的是，在已有的相似度测量方法中，基于信息理论^[15]中熵的概念提出的互信息MI不仅具有良好的精确性、计算过程简洁且具有图像统计特性。因此，本文选择互信息MI作为相似度测试的指标，其具体的数学表达式为

${\rm{MI}}\left( {{ Z},{ F}} \right) = E\left( { Z} \right) + E\left({ F} \right) - E\left( {{ Z},{ F}} \right)$

(8)

其中，Z和F分别为给定的两幅图像，E(Z)和E(F)分别表示图像Z和图像F的熵。E(Z, F)为对应的联合熵，其具体的计算方法为

$\left. \begin{aligned} & {E\left( { Z} \right) = - \displaystyle\sum\limits_z {{P_Z}\left( z \right)} \cdot \lg {P_Z}\left( z \right) } \\ & {E\left( { F} \right) = - \displaystyle\sum\limits_f {{P_F}\left( f \right)} \cdot \lg {P_F}\left( f \right)} \end{aligned} \right\}\hspace{37pt}$

(9)

$E\left( {{ Z},{ F}} \right) = - \sum\limits_{z,f} {{P_{ZF}}\left( {z,f} \right) \cdot \lg {P_{ZF}}\left( {z,f} \right)}$

(10)

其中，P_ZF (z, f)为图像(Z,F)的联合概率质量函数，可以通过归一化联合直方图h (z, f)得到

${P_{ZF}}\left( {z,f} \right) = \frac{{h\left( {z,f} \right)}}{{\displaystyle\sum\limits_{z,f} {h\left( {z,f} \right)} }}$

(11)

进一步，两个边际概率质量函数P_Z (z)和P_F (f)可以直接通过计算联合概率质量函数得到

$\left. \begin{aligned} & {{P_Z}\left( z \right) = \displaystyle\sum\limits_f {{P_{ZF}}\left( {z,f} \right)} } \\ & {{P_F}\left( f \right) = \displaystyle\sum\limits_r {{P_{ZF}}\left( {z,f} \right)} } \end{aligned} \right\}$

(12)

最终，表征参考图像和输入LR图像之间的配准关系的位移信息通过对等式(7)分层迭代而获得。

4.2.2 基于MMPCNN的图像融合

考虑到人眼视觉系统对图像边缘方向信息较为敏感^[16]，本文设计对应的连接系数β的数学表达为

$\beta \left( {i,j} \right){\rm{ = }}\frac{1}{{1 + {{{\rm e}}^{\xi O\left( {{P_{ij}}} \right)}}}}$

(13)

其中，O(P_ij)为图像的方向信息，ξ(负值)为调整参数。当利用MMPCNN进行图像融合时，能够有效合理地调整连接系数β的值，从而提高融合效率。

具体的图像融合算法如下所示：

步骤 1　初始化过程，主要完成网络参数以及忆阻器器件参数的设置；

步骤 2　转换过程，基于已配准图像，分别计算其方向信息O(P^γ)。根据忆阻器的阻值变化规律，即式(1)，计算出每个忆阻器两端对应的电压幅值，能够使得等式1/(1+e^ξO⁽^Pij⁾)=M₁/(M₁+M₂)始终成立；

步骤 3　图像分解过程，利用N阶L₀梯度最小化平滑滤波(N-scale L₀ gradient minimization smoothing filtering)^[17]，将输入图像分解为两个部分：基本层(Base layer)和细节层(Detail layer)：

$\tag{14a} {{Ba}}_l^\gamma = {\rm{GMSF}}\left( {{{Ba}}_{l - 1}^\gamma ,\lambda _l^\gamma } \right) \hspace{25pt}$

(14a)

${{De}}_l^\gamma = {{Ba}}_{l - 1}^\gamma - {{Ba}}_l^\gamma , l = [1,N] \tag{14b}$

(14b)

其中， ${{Ba}}_l^\gamma$ 和 ${{De}}_l^\gamma$ 分别表示图像P^γ的第l层基本图像和细节图像。GMSF表示L₀梯度最小化平滑滤波(其中 $\lambda _l^\gamma$ =0.02表示正则化参数)。这里假设初始的基本图像 ${{ {Ba}}}_0^\gamma$ 就是输入图像P^γ。

步骤 4　基本图像的融合：采用局部的改进拉普拉斯能量和(Local Sum-Modified-Laplacian, LSML)完成基本图像的融合，第N阶基本层的融合规则表示为

$\begin{split} {\bf{LSML}}_{^N}^\gamma \left( {i,j} \right) =\,& \sum\limits_{{w_{\rm r}}} {\sum\limits_{{w_{\rm c}}} {{ W}\left( {{w_{\rm r}},{w_{\rm c}}} \right)} }\\ & \cdot{\left[ {{\bf{ML}}_{^N}^\gamma \left( {i + {w_{\rm r}},j + {w_{\rm c}}} \right)} \right]^2} \end{split}$

(15)

其中，

$\begin{split} {\bf{ML}}_{^N}^\gamma \left( {i,j} \right) =\,& \left| 2{{Ba}}_{^N}^\gamma \left( {i,j} \right) - {{Ba}}_{^N}^\gamma \left( {i - 1,j} \right) \right.\\ & \left.- {{Ba}}_{^N}^\gamma \left( {i + 1,j} \right) \right| + \left| 2{{Ba}}_{^N}^\gamma \left( {i,j} \right)\right. \\ & \left.- {{Ba}}_{^N}^\gamma \left( {i,j - 1} \right) - {{Ba}}_{^N}^\gamma \left( {i,j + 1} \right) \right| \end{split}$

(16)

其中， ${\bf{ML}}_{^N}^\gamma \left( {i,j} \right)$ 表示(i, j)处的改进拉普拉斯算子，矩阵W(w_r, w_c)表示尺寸为3×3的测量窗。

基于式(15)和式(16)，获得基本图像的融合图像F_b，表示为

${{ F}_{\rm b}}\left( {i,j} \right) \!=\! \left\{\!\! \begin{aligned} &{{{Ba}}_N^1\left( {i,j} \right),}\ {{\bf{LSML}}_N^1\left( {i,j} \right) \!\ge\! {\bf{LSML}}_N^2\!\left( {i,j} \right)}\\ &{{{Ba}}_N^2\left( {i,j} \right),}\ {\text{其它}} \end{aligned} \right.$

(17)

步骤 5　细节图像的融合：基于MMPCNN模型，设计相应的细节图像融合规则如下：

(1) 所有待融合的细节图像分别输入MMPCNN中；

(2) 基于式(4)，得到第n次迭代时变量L_ij[n], U_ij[n], θ_ij[n], Y_ij[n]具体的值；

(3) 当满足n=N_s时，迭代操作结束，得到每一阶细节图像的融合结果F_dl：

${{ F}_{\rm dl}}\left( {i,j} \right) = \left\{\begin{aligned} & {{{De}}_l^1\left( {i,j} \right) ,{U_{ij,l}}\left( {{N_s}} \right) = U_{ij,l}^1\left( {{N_s}} \right)} \\ & {{{De}}_l^2\left( {i,j} \right) , {U_{ij,l}}\left( {{N_s}} \right) = U_{ij,l}^2\left( {{N_s}} \right) } \end{aligned} \right.$

(18)

步骤 6　图像重构：最终的融合HR图像由基本图像F_b(步骤4中得到)和细节图像F_dl(步骤5中得到)进一步融合而成，表示为

${{ F}_{\rm u}} = {{ F}_{\rm b}} + \sum\limits_{l = 1}^N {{{ F}_{\rm dl}}}$

(19)

4.3 图像优化过程

这一过程主要通过基于稀疏编码的单帧图像超分辨率重构策略对初始HR图像进一步优化。具体地，基于目前已有的图像稀疏表示的方法，其数学模型可以表示为

$\mathop {\min }\limits_{\alpha \in {\mathbb{R}^q}} {\left\| \alpha \right\|_0},\; \ \ {\rm{s.t.}}\;p = D \cdot \alpha$

(20)

其中，α表示非零系数，||·||₀为L₀范数，用于计算非零元素的个数。

利用稀疏编码实现图像超分辨率重构的主要思想可以概括为：输入的单帧LR图像(即初始的HR图像)的每个图像块能够在一个LR超完备字典D_L上得到一组稀疏表示系数，LR图像块能够用同样的稀疏表示系数在给定的HR超完备字典D_H上进行重建，然后由HR图像块拼接得到最终的HR图像(优化的HR图像)。需要说明的是，超完备字典D_L和D_H需要进行联合训练来保证它们稀疏表示系数的一致性，具体的字典联合训练算法可以参考文献[3]。

最终，得到的超完备字典D_L和D_H分别包含2个部分：固定部分和动态部分，分别表示为

$\left. \begin{array}{l} {{ D}_{\rm L}} = {{ D}_{\rm Lf}} \cup {{ D}_{\rm Ld}} \\ {{ D}_{\rm H}} = {{ D}_{\rm Hf}} \cup {{ D}_{\rm Hd}} \\ \end{array} \right\}$

(21)

其中，D_Lf和D_Hf表示超完备字典D_L和D_H中固定的部分，D_Ld和D_Hd为对应的动态部分。

5. 仿真结果与分析

5.1 实验平台

首先，介绍实验过程中的硬件设备：台式工作站(酷睿i7-6700型号处理器、16 GB DDR4内存、Windows 10操作系统)。其次，本文所使用的软件平台Matlab 2014a以及Pspice，其中Matlab主要用于实现多帧图像的超分辨率重构算法，Pspice主要用于构建忆阻器模型以及实现MMPCNN的硬件结构。

5.2 实验结果及分析

为了更清晰明确的展示提出算法的有效性，本文在实验过程中引入了已有的4种多帧图像的超分辨率重构算法，分别为：基于稀疏编码(Sparse Coding, SC)的方法^[3]、锚定邻域回归(Anchored Neighborhood Regression, ANR)方法^[18]、双三次插值(Bicubic)方法^[12]以及基于深度学习(Deep Learning, DL)的方法^[19]。同时，利用图像超分辨率重构算法中两个经典的图像客观评价指标^[16]：峰值信噪比(Peak Signal Noise Ratio, PSNR)以及结构相似度(Structural SIMilarity, SSIM)进行不同算法之间的性能评价。通常情况下，若得到的高分辨率图像具有更高的PSNR(或SSIM)，对应的多帧图像超分辨率算法性能更优。

根据前文描述的具体算法步骤，首先进行了一次测试，其对应的仿真结果如图5所示。特别地，这里设置MMPCNN的初始状态为：θ_ij(0)=0, L_ij(0)=0, Y_ij (0)=0, U_ij(0)=0。同时，单帧图像的超分辨率重构需要的训练样本集可在文献[20]中下载得到。

图 5 多帧图像超分辨重构的实现流程

下载: 全尺寸图片幻灯片

基于图5，参考图像和7张输入LR图像(尺寸90×90)首先经过分层迭代亚像素配准算法实现基本的图像配准。接着，配准完成的图像由3阶L₀梯度最小化平滑滤波进行图像分解(分解成基础层图像和细节层图像)，然后通过LSML和MMPCNN进行融合，得到初始的HR图像。最后，初始的HR图像通过基于稀疏编码的单帧图像超分辨重构算法进行优化，得到优化的HR图像。

进一步，本文进行了一系列对比实验，具体的实验结果如图6所示。图6中，为了更清晰直观的观察各个算法在细节处理上的微小差异，选取图像中纹理细节信息较为丰富区域进行局部放大操作(蓝色矩形框标记)，并且进行基于canny算子的边缘提取操作。基于人眼视觉系统观察(图像主观分析)，Bicubic方法得到的HR图像相比于其他方法，图像清晰度较低，细节纹理描述较为模糊，这是因为Bicubic是一种基于插值的算法，相比于基于学习的超分辨率重构方法，特征提取与防止信息丢失能力较弱。其他4种算法得到的HR图像之间区别较小，人眼视觉系统较难发现其中明显的图像细节差别。因此，本文进一步采用PSNR和SSIM对得到的HR图像进行图像客观分析，计算得到的结果如图7所示。

图 6 对比实验仿真结果

下载: 全尺寸图片幻灯片

图 7 对比实验仿真结果

下载: 全尺寸图片幻灯片

从图7中可知，相比于基于SC的方法和ANR的方法，本文中提出的MMPCNN以及基于深度学习的方法得到的HR图像，具有更高的PSNR和SSIM。其中的原因可能是：简单地进行基于稀疏编码的超分辨率重构或者结合稀疏字典与锚定邻域的算法均无法在图像重构过程中很好地还原丢失的图像信息。扩充字典的大小能够较好的提升稀疏编码以及锚定方法的性能，但是由于运用过多的回归量，将使得计算量骤然增加。相比于本文中提出的方法，基于深度学习的算法对数据集要求(数据集大小、数据本身好坏)更高，且随着数据集的扩增，网络训练的时间会大幅度增加。而本文提出的算法在图像超分辨率重构算法步骤不需要训练，在后续的图像优化过程中尽管存在超完备字典的训练，但是相对于深度神经网络的训练过程，存在时间成本上的优势。此外，目前已有基于忆阻交叉阵列的稀疏编码的实现，能够在很大程度上加速本文中图像的优化过程(基于稀疏编码的单帧图像超分辨率重构)。因此，本文提出的算法不仅具有良好的重构效果，在时间成本上相较于基于深度学习的算法具有一定的优势。

6. 结束语

本文针对已有的多帧图像超分辨率重构算法无法很好地保留图像边缘、纹理信息的问题，研究并提出了一种有效的算法。具体地，本文首先介绍了一种电压阈值自适应忆阻器(VTEAM)模型，研究了其基本的电气特性。进一步，根据经典的脉冲耦合神经网络中的参数估计问题，通过设计忆阻器电路动态的模拟网络中的连接系数，实现了多通道忆阻脉冲耦合神经网络MMPCNN。接着，利用提出的MMPCNN设计了一种高性能的图像融合算法，实现配准图像(由分层迭代亚像素配准算法实现)的有效融合。进一步，通过将融合图像的进一步优化，得到改进的高分辨率图像。最终，通过一系列计算机仿真，验证了本方法的正确性与有效性。该方案的提出，为后续数字图像的硬件化实现提供了新的思路和方向。

图 1 VTEAM忆阻器仿真结果

下载: 全尺寸图片幻灯片

图 2 多通道忆阻脉冲耦合神经网络MMPCNN

下载: 全尺寸图片幻灯片

图 3 图像降质模型

下载: 全尺寸图片幻灯片

图 4 提出的图像超分辨率算法流程图

下载: 全尺寸图片幻灯片

图 5 多帧图像超分辨重构的实现流程

下载: 全尺寸图片幻灯片

图 6 对比实验仿真结果

下载: 全尺寸图片幻灯片

图 7 对比实验仿真结果

下载: 全尺寸图片幻灯片

参考文献(20)

PARK S C, PARK M K, and KANG M G. Super-resolution image reconstruction: A technical overview[J]. IEEE Signal Processing Magazine, 2003, 20(3): 21–36. doi: 10.1109/MSP.2003.1203207

赵小强, 宋昭漾. 多级跳线连接的深度残差网络超分辨率重建[J]. 电子与信息学报, 2019, 41(10): 2501–2508. doi: 10.11999/JEIT190036

ZHAO Xiaoqiang and SONG Zhaoyang. Super-resolution reconstruction of deep residual network with multi-level skip connections[J]. Journal of Electronics &Information Technology, 2019, 41(10): 2501–2508. doi: 10.11999/JEIT190036

DONG Zhekang, LAI C S, XU Zhao, et al. Single image super-resolution via the implementation of the hardware-friendly sparse coding[C]. The 37th Chinese Control Conference, Wuhan, China, 2018: 8132–8137.

HUI Zheng, WANG Xiumei, and GAO Xinbo. Fast and accurate single image super-resolution via information distillation network[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 723–731.

BAKER S and KANADE T. Super-resolution optical flow[R]. Technical Report CMU-RI-TR-36, 1999.

NING Beijia and GAO Xinbo. Multi-frame image super-resolution reconstruction using sparse co-occurrence prior and sub-pixel registration[J]. Neurocomputing, 2013, 117: 128–137. doi: 10.1016/j.neucom.2013.01.019

XU Jieping, LIANG Yonghui, LIU Jin, et al. Online multi-frame super-resolution of image sequences[J]. EURASIP Journal on Image and Video Processing, 2018(1): 136–10. doi: 10.1186/s13640-018-0376-5

AIZAWA K, KOMATSU T, SAITO T, et al. Subpixel registration for a high resolution imaging scheme using multiple imagers[C]. 1993 IEEE International Conference on Acoustics, Speech, and Signal Processing, Minneapolis, USA 1993: 133–136.

SINHA A and WU Xiaolin. Fast generalized motion estimation and superresolution[C]. 2007 IEEE International Conference on Image Processing, San Antonio, USA, 2007: V–413–V–416.

ARYA M S and JAIN P. Fifth-level Second-generation Wavelet-based Image Fusion Algorithm for Visual Quality Enhancement of Digital Image Data[M]. MISHRA D K, AZAR A T, and JOSHI A. Information and Communication Technology. Singapore: Springer, 2018: 139–149.

WU Zhiliang, HUANG Yongdong, and ZHANG Kang. Remote sensing image fusion method based on PCA and Curvelet transform[J]. Journal of the Indian Society of Remote Sensing, 2018, 46(5): 687–695. doi: 10.1007/s12524-017-0736-0

DONG Zhekang, LAI C S, QI Donglian, et al. A general memristor-based pulse coupled neural network with variable linking coefficient for multi-focus image fusion[J]. Neurocomputing, 2018, 308: 172–183. doi: 10.1016/j.neucom.2018.04.066

李志军, 向林波, 肖文润. 一种通用的记忆器件模拟器及在串联谐振电路中的应用[J]. 电子与信息学报, 2017, 39(7): 1626–1633. doi: 10.11999/JEIT161060

LI Zhijun, XIANG Linbo, and XIAO Wenrun. Universal mem-elements emulator and its application in RLC circuit[J]. Journal of Electronics &Information Technology, 2017, 39(7): 1626–1633. doi: 10.11999/JEIT161060

KVATINSKY S, RAMADAN M, FRIEDMAN E G, et al. VTEAM: A general model for voltage-controlled memristors[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2015, 62(8): 786–790. doi: 10.1109/TCSII.2015.2433536

KUPFER B, NETANYAHU N S, and SHIMSHONI I. An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(2): 379–383. doi: 10.1109/LGRS.2014.2343471

QU Xiaobo, HU Changwei, and YAN Jingwen. Image fusion algorithm based on orientation information motivated pulse coupled neural networks[C]. The 7th World Congress on Intelligent Control and Automation, Chongqing, China, 2008: 2437–2441.

CHENG Xuan, ZENG Ming, and LIU Xinguo. Feature-preserving filtering with L₀ gradient minimization[J]. Computers & Graphics, 2014, 38: 150–157.

TIMOFTE R, DE V, and VAN GOOL L. Anchored neighborhood regression for fast example-based super-resolution[C]. 2013 IEEE International Conference on Computer Vision, Sydney, Austrlia, 2013: 1920–1927.

DONG Chao, LOY C C, HE Kaiming, et al. Learning a deep convolutional network for image super-resolution[C]. The 13th European Conference on Computer Vision, Zurich, Switzerland, 2014: 184–199.

https://github.com/tingfengainiaini/sparseCodingSuperResolution, 2019.

施引文献

期刊类型引用(11)

1.	范蕴睿. 基于PCNN的角色表情动画去毛刺生成方法. 常州工学院学报. 2024(01): 27-33 . 百度学术
2.	王俊帆，陈毅，高明煜，何志伟，董哲康，缪其恒. 智能交通感知新范式：面向元宇宙的交通标志检测架构. 电子与信息学报. 2024(03): 777-789 . 本站查看
3.	黄继业，肖强，田大海，高明裕，王俊帆，董哲康，黄汐威. 一种基于三角数分解的可配置2-D卷积器优化方法. 电子与信息学报. 2024(07): 3054-3062 . 本站查看
4.	吴俊洁，王佳阳，朱萍，肖强. 基于MLP和多头自注意力特征融合的双模态情感计算模型. 计算机应用. 2024(S1): 39-43 . 百度学术
5.	王佳阳，董哲康，纪晓悦，胡小方，周广东，齐冬莲. 面向神经形态系统的忆阻逻辑电路综述与展望. 西南师范大学学报(自然科学版). 2023(02): 1-22 . 百度学术
6.	范璐敏，樊重俊，沈玲丽，左星华. 基于半耦合字典的CT图像超分辨率重建方法研究. 计算机与数字工程. 2023(10): 2418-2424 . 百度学术
7.	武花干，周杰，陈胜垚，陈墨，徐权. 非对称忆阻诱导的吸引子非对称演化与机理研究. 电子与信息学报. 2022(06): 2101-2109 . 本站查看
8.	董哲康，钱智凯，周广东，纪晓悦，齐冬莲，赖俊升. 基于忆阻的全功能巴甫洛夫联想记忆电路的设计、实现与分析. 电子与信息学报. 2022(06): 2080-2092 . 本站查看
9.	董军，石杰，高明煜，孙平远. 新型忆阻光伏电池的建模与分析. 可再生能源. 2021(03): 315-323 . 百度学术
10.	张照娓，郭天滋，高明裕，何志伟，董哲康. 电动汽车锂离子电池荷电状态估算方法研究综述. 电子与信息学报. 2021(07): 1803-1815 . 本站查看
11.	李茹依，王光义，董玉姣，周玮. 多频正弦混沌细胞神经网络及其复杂动力学特性. 物理学报. 2020(24): 84-98 . 百度学术

其他类型引用(7)

资源附件(0)

访问统计

图(7)

计量

文章访问数: 6205
HTML全文浏览量: 1919
PDF下载量: 170
被引次数: 18

1. 引言
2. 忆阻器模型
3. 多通道忆阻脉冲耦合神经网络MMPCNN
4. 基于MMPCNN的多帧图像超分辨率重构算法
4.1 提出的算法描述
4.2 图像超分辨重构过程
4.3 图像优化过程
5. 仿真结果与分析
5.1 实验平台
5.2 实验结果及分析
6. 结束语

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于多通道忆阻脉冲耦合神经网络的多帧图像超分辨率重建算法

doi: 10.11999/JEIT190868

通讯作者:
林辉品　linhuipin@hdu.edu.cn

计量

Multi-channel Memristive Pulse Coupled Neural Network Based Multi-frame Images Super-resolution Reconstruction Algorithm

1. 引言

2. 忆阻器模型

3. 多通道忆阻脉冲耦合神经网络MMPCNN

4. 基于MMPCNN的多帧图像超分辨率重构算法

4.1 提出的算法描述

4.2 图像超分辨重构过程

4.2.1 分层迭代亚像素配准算法

4.2.2 基于MMPCNN的图像融合

4.3 图像优化过程

5. 仿真结果与分析

5.1 实验平台

5.2 实验结果及分析

6. 结束语

期刊类型引用(11)

其他类型引用(7)

计量

目录

1. 引言

2. 忆阻器模型

3. 多通道忆阻脉冲耦合神经网络MMPCNN

4. 基于MMPCNN的多帧图像超分辨率重构算法

4.1 提出的算法描述

4.2 图像超分辨重构过程

4.3 图像优化过程

5. 仿真结果与分析

5.1 实验平台

5.2 实验结果及分析

6. 结束语

留言板

基于多通道忆阻脉冲耦合神经网络的多帧图像超分辨率重建算法

doi: 10.11999/JEIT190868

通讯作者: 林辉品 linhuipin@hdu.edu.cn

计量

出版历程

Multi-channel Memristive Pulse Coupled Neural Network Based Multi-frame Images Super-resolution Reconstruction Algorithm

1. 引言

2. 忆阻器模型

3. 多通道忆阻脉冲耦合神经网络MMPCNN

4. 基于MMPCNN的多帧图像超分辨率重构算法

4.1 提出的算法描述

4.2 图像超分辨重构过程

4.2.1 分层迭代亚像素配准算法

4.2.2 基于MMPCNN的图像融合

4.3 图像优化过程

5. 仿真结果与分析

5.1 实验平台

5.2 实验结果及分析

6. 结束语

期刊类型引用(11)

其他类型引用(7)

计量

出版历程

目录

1. 引言

2. 忆阻器模型

3. 多通道忆阻脉冲耦合神经网络MMPCNN

4. 基于MMPCNN的多帧图像超分辨率重构算法

4.1 提出的算法描述

4.2 图像超分辨重构过程

4.3 图像优化过程

5. 仿真结果与分析

5.1 实验平台

5.2 实验结果及分析

6. 结束语

通讯作者:
林辉品　linhuipin@hdu.edu.cn