基于改进的忆阻器在字符联想记忆中的应用

王雷敏; 程佳俊; 胡成; 周映江; 葛明峰

doi:10.11999/JEIT220709

基于改进的忆阻器在字符联想记忆中的应用

doi: 10.11999/JEIT220709

王雷敏^{1, 2, 3, ,},
程佳俊^{1, 2, 3},
胡成⁴,
周映江⁵,
葛明峰⁶

1.
中国地质大学(武汉)自动化学院武汉 430074
2.
复杂系统先进控制与智能自动化湖北省重点实验室武汉 430074
3.
地球探测智能化技术教育部工程研究中心武汉 430074
4.
新疆大学数学与系统科学学院乌鲁木齐 830017
5.
南京邮电大学自动化学院南京 210003
6.
中国地质大学(武汉)机械与电子信息学院武汉 430074

基金项目: 国家自然科学基金(62076229, 61963033, 62073301)

详细信息

作者简介:
王雷敏：男，教授，研究方向为忆阻电路设计及忆阻神经网络应用

程佳俊：男，硕士生，研究方向为忆阻电路设计及忆阻神经网络应用

胡成：男，教授，研究方向为神经网络动力学及应用

周映江：男，副教授，研究方向为多智能体系统分析及应用

葛明峰：男，教授，研究方向为多机器人系统分析及应用

通讯作者:
王雷敏　wangleimin@cug.edu.cn

中图分类号: TN601
计量
- 文章访问数: 656
- HTML全文浏览量: 348
- PDF下载量: 113
- 被引次数: 4
出版历程
- 收稿日期: 2022-05-31
- 修回日期: 2022-09-15
- 网络出版日期: 2022-11-20
- 刊出日期: 2023-07-10

Application of Improved Memristor in Character Associative Memory

WANG Leimin^{1, 2, 3
, ,},
CHENG Jiajun^{1, 2, 3},
HU Cheng⁴,
ZHOU Yingjiang⁵,
GE Mingfeng⁶

1.
School of Automation, China University of Geosciences, Wuhan 430074, China
2.
Hubei Key Laboratory of Advanced Control and Intelligent Automation for Complex Systems, Wuhan 430074, China
3.
Engineering Research Center of Intelligent Technology for Geo-Exploration, Ministry of Education, Wuhan 430074, China
4.
School of Mathematics and Systems Science, Xinjiang University, Urumqi 830017, China
5.
School of Automation, Nanjing University of Posts and Telecommunications, Nanjing 210003, China
6.
School of Mechanical and Electronic Information, China University of Geosciences, Wuhan 430074, China

Funds: The National Natural Science Foundation of China (62076229, 61963033, 62073301)

摘要

摘要: 忆阻因具有阻值可调、记忆特性以及纳米尺寸等特点，非常适合作为实现神经网络突触的电子元器件。为构建出更加符合真实物理忆阻器特性的忆阻器模型，该文在现有忆阻器模型的基础之上，克服了边界锁定、正负电压调整速率问题以及电路结构通用性问题，提出一种改进忆阻器模型。然后结合Pavlov联想记忆实验和Hopfield神经网络理论设计出了该文的字符联想记忆电路。电路结构主要有输入信号模块、突触阵列模块、激活函数模块以及反馈控制模块。该电路可以解决因传统阵列模块使用电阻作为突触模块的灵活性问题，而且还可以实现对3阶字符模糊图像的自联想功能。此外，该电路与深度学习相关的卷积计算模块原理类似，为实现基于忆阻的智能硬件奠定了理论基础。
- 忆阻器 /
- 神经网络 /
- 电路设计 /
- 联想记忆
Abstract: Memristor is a very suitable electronic component for synapse of neural network because of its adjustable resistance, memory property and nano size. In order to build a memristor model more consistent with the characteristics of real physical memristors, an improved memristor model is proposed based on existing ones to overcome the problems of boundary locking, positive and negative voltage rate adjustment and the universality of circuit structure. Then combining Pavlov associative memory experiment and Hopfield neural network theory, the character associative memory circuit is designed in this paper. The circuit structure includes mainly input signal module, synaptic array module, activation function module and feedback control module. This circuit can solve the flexibility problem of using resistors as synaptic modules in traditional array modules, and can also realize the self-association function of third-order character blurred images. In addition, the circuit is similar to the convolutional computation module related to deep learning, and provides a theoretical basis for realizing memristor-based intelligent hardware.
- Memristor /
- Neural network /
- Circuit design /
- Associative memory

HTML全文

1. 引言

忆阻器是一种纳米级模拟存储器，其电阻的阻值随外施电压的改变而发生变化，是目前实现人工突触元件的最佳选择之一。忆阻器于1971年由Leon Chua教授根据电路完备性原理所提出^[1]，惠普实验室在2008年首次制造出实物模型^[2]。因忆阻器良好的非线性、低功耗和可扩展性等特点，其被广泛应用于逻辑运算、神经形态系统构建、人工神经网络等不同领域^[3-5]。

在忆阻器和突触^[6]之间有许多比较类似的特性，比如记忆特性^[7]、遗忘特性^[8]等。因此，越来越多的研究提出了各种忆阻器模型并将其应用仿生实验中，相关电路实现已被广泛研究^[9-12]。将电子元器件作为突触并将忆阻突触应用在神经网络中进行仿生是目前研究热点方向之一。递归神经神经网络中比较常见的模型是Hopfield神经网络^[13]，主要分为离散型和连续型两种形式。为了模拟生物的特性，Hopfield使用电阻、电容和运算放大器等模拟电子元器件初步搭建了模拟生物系统的神经网络电路，该方法利用电容的积分效果来模拟生物信号的连续性，然后再结合生物神经网络的学习规则对突触权重进行计算^[14]。但是在传统模型中，使用的突触元器件是电阻，由于电阻的阻值一经确定其电路特性就无法改变，不能在神经网络电路中做到复用。

由于忆阻器在不同电压下阻值会发生变化，将忆阻器作为突触并将其应用在递归神经网络相关电路中，可以更好地实现联想记忆的功能。目前研究人员针对基于忆阻的递归神经网络进行了大量的研究。Guo等人^[15]设计了基于忆阻的二值和三值激活函数，并提出了一种通过忆阻实现激活函数的递归神经网络，实现了字符图像的联想记忆功能。Tarkov等人^[16]提出了一种由耦合相位振荡器网络实现的递归神经网络电路，并且实现了3阶的二值图像的联想记忆，但上述电路并没有实现异联想记忆的功能。Yang等人^[17]提出一种新的忆阻递归神经网络电路，该电路采用忆阻桥的方式完成突触权重的调节，同时也实现了3阶二值图像的联想记忆功能，不过该研究是基于离散信号的，不符合常规连续信号的特点。

针对图像复原和联想记忆高阶功能，Hong等人^[18]提出一种基于忆阻器模型的连续型神经网络电路，该电路可以并行地进行连续递归运算，并且可以实现对噪声图像的复原。Chen等人^[19]提出一个统一的忆阻递归神经网络模型，并使用忆阻器实现双曲激活函数来连接神经元，并进行了一定的理论分析和数值的计算。Sun等人^[20]利用忆阻器设计了具有识别和排序功能的递归神经网络电路，不过该方法考虑的只是离散信号作为输入的情况。Wang等人^[21] 利用忆阻器建立情感学习模型，但其设计功能过于简单使得系统只能简单模拟神经系统的初级功能。此外，还有其他一些研究针对忆阻的特性应用到了更多的领域^[22-24]。由国内外的研究现状可以得出，目前基于忆阻器设计递归神经网络电路的研究，一方面是从实现功能进行模拟，另一方面是对电路各模块设计进行优化，但是对其的研究大多仍然停留于离散状态，所以对递归神经网络电路有待作进一步的研究。

本文为了解决传统电路系统不灵活的问题，改进了目前的忆阻器模型，并克服了边界锁定以及正负电压调整等问题。结合建立的忆阻器模型设计出了忆阻字符联想记忆电路，其不仅克服了传统电路的灵活性问题，还实现了对字符的自联想功能。

2. 忆阻器模型

为了将忆阻应用于人工神经网络中，现有研究设计了很多基于新材料的忆阻器物理设备，包括AIST忆阻、PCMO忆阻、TaOx忆阻等。这些忆阻设备都可以作为突触并应用到人工神经网络中。但是传统的惠普模型、各类窗函数忆阻模型、两种适应性忆阻阈值模型都不能完全反映以上几种常用忆阻物理设备的真实特性，因此本文建立和改进了一种新的忆阻器模型，其忆阻掺杂区宽度的微分可表示为

$\frac{{{\text{d}}w(t)}}{{{\text{d}}t}} = \left\{ \begin{gathered} {k_{{\text{on}}}}({R_{{\text{off}}}} - {R_{{\text{on}}}}) \cdot i(t) \cdot f(w(t),p),\begin{array}{*{20}{c}} {}&{{\text{ }}v(t) \gt {V_{{\text{T + }}}} \gt 0} \end{array} \\ 0,\begin{array}{*{20}{c}} {}&{\begin{array}{*{20}{c}} {}&{\begin{array}{*{20}{c}} {}&{\begin{array}{*{20}{c}} {}&{\begin{array}{*{20}{c}} {}&{\begin{array}{*{20}{c}} {}&{\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {}&{}&{} \end{array}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} }&{{V_{{{{\rm{T}} - }}}} \le v(t) \le {V_{{\text{T + }}}}} \end{array}} \end{array}} \end{array}} \end{array}} \end{array}} \end{array}} \end{array} \\ {k_{{\text{off}}}}({R_{{\text{off}}}} - {R_{{\text{on}}}}) \cdot i(t) \cdot f(w(t),p),\begin{array}{*{20}{c}} {}&{{\text{ }}v(t) \lt {V_{{{{\rm{T}} - }}}} \lt 0} \end{array} \\ \end{gathered} \right.$

(1)

其中， ${k_{{\text{off}}}}$ 和 ${k_{{\text{on}}}}$ 分别表示正负电压下离子漂移速率的调整参数， $i(t)$ 是流经忆阻的电流， ${R_{{\text{off}}}}$ 和 ${R_{{\text{on}}}}$ 分别代表忆阻最大和最小阻值， ${V_{{\text{T + }}}}$ 和 ${V_{{\text{T}}-}}$ 分别是正负电压阈值。窗函数 $f(w(t),p)$ 可依据具体情况进行灵活选择， $p$ 是一个正参数。

该模型相较于其他模型的优点是模型各参数物理含义可以进行直观定义，而且不含指数函数部分，使得该模型在进行相关阵列并行计算时易于实现。该模型在外施正负电压条件下，其忆阻的阻值变化速率都是先快后慢。当正向电压超过正的电压阈值 ${V_{{\text{T + }}}}$ 时，忆阻值减小，减小的速度是先快后慢；当外加负向电压超过负的电压阈值 ${V_{{\text{T}}-}}$ 时，忆阻阻值增大，增大的速度也是先快后慢；当外加电压在区间( ${V_{{\text{T + }}}}$ , ${V_{{\text{T}}-}}$ )之间时，忆阻阻值不变。在外施脉冲电压的刺激下，忆阻的状态常量微分也不同于前文所介绍的适应性阈值模型，不再是一个常数。该模型具备的特性与现有的大多数忆阻设备的物理性质都是符合的，意味着该忆阻器模型可以真实反映大多数忆阻物理设备的性质，非常适合用于做忆阻相关电路的仿真实验。

将本文建立的新型忆阻器模型和部分经典忆阻器模型作对比，如表1所示。经验证，该模型在外施正弦电压激励下的电流－电压仿真曲线表现为典型的磁滞回线曲线，忆阻阻值可在高低阻态之间切换；忆阻模型具有电压阈值特性，并且在外施脉冲电压时忆阻阻值也可以有规律的发生变化，忆阻器阻值的变化能够模拟人工神经网络中突触结构强度的变化，因此将本文建立的忆阻器模型作为突触应用于忆阻逻辑电路和联想记忆电路当中是可行的。

表 1 本文模型与现有的部分代表性忆阻模型的比较

文献	功能实现
文献	伏安特性	边界锁定	控制类型	阈值特性	遗忘特性	逻辑电路	突触电路
线性漂移^[2]	明确	存在问题	电流	无	无	不适用	不适用
Joglekar^[25]	明确	存在问题	电流	无	无	不适用	不适用
Biolek^[26]	明确	无	电流	无	无	适用	不适用
TEAM^[27]	明确	无	电流	有	无	适用	不适用
VTEAM^[28]	明确	无	电压	有	无	适用	不适用
本文	明确	无	电压	有	有	适用	适用

下载: 导出CSV

| 显示表格

3. 联想记忆模型构建

HNNs是Hopfield^[13]提出的一个单层全互连且含有对称突触的反馈网络，HNNs中的每一个神经元输出会通过反馈突触模块传递到其他的输入神经元上，并且该神经元也会接收其他输出神经元传递过来的输出信号。HNNs可以根据输入信号离散与连续特性分为离散型Hopfield神经网络(Discrete Hopfield Neural Networks, DHNNs)和连续型Hopfield神经网络(Continues Hopfield Neural Networks, CHNNs)。DHNNs网络结构如图1所示，后续本文将基于上述所设计忆阻神经网络电路，并进行相关仿真实验。

图 1 DHNNs结构示意图

下载: 全尺寸图片幻灯片

Hopfield除了提出DHNNs和CHNNs以外，还将HNNs和能量函数联系在一起。本文以CHNNs为例来分析，其能量函数定义为

$E = - \frac{1}{2}\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{w_{ij}}{v_i}{v_j} - } } \sum\limits_{i = 1}^n {I_i}{v_i} + \frac{1}{{{R_i}}}\sum\limits_{i = 1}^n {\int\limits_0^{{u_i}} {{f^{ - 1}}({v_i}){\rm{d}}{v_i}} }$

(2)

对式(2)求导

$\frac{{{\text{d}}E}}{{{\text{d}}t}} = \sum\limits_{i = 1}^n {\frac{{\partial E}}{{\partial {v_i}}}} \frac{{{\text{d}}{v_i}}}{{{\text{d}}t}}$

(3)

其中，

$\frac{{\partial E}}{{\partial {v_i}}} = \frac{{{u_i}}}{{{R_i}}} - \frac{1}{2}\sum\limits_{j = 1}^n {{w_{ij}}{v_j} - } \frac{1}{2}\sum\limits_{j = 1}^n {{w_{ji}}{v_j} - {I_i}}$

(4)

由于 ${w_{ij}} = {w_{ji}}$ ，所以有

$\frac{{\partial E}}{{\partial {v_i}}} = \frac{{{u_i}}}{{{R_i}}} - \sum\limits_{j = 1}^n {{w_{ij}}{v_j} - {I_i}} = - {C_i}\frac{{{\text{d}}{u_i}}}{{{\text{d}}t}}$

(5)

因此可得

$\begin{split} \frac{{{\text{d}}E}}{{{\text{d}}t}} &= \sum\limits_{i = 1}^n {\frac{{\partial E}}{{\partial {v_i}}}} \frac{{{\text{d}}{v_i}}}{{{\text{d}}t}} = - {C_i}\sum\limits_{i = 1}^n {\frac{{{\text{d}}{u_i}}}{{{\text{d}}t}}\frac{{{\text{d}}{v_i}}}{{{\text{d}}t}} } \\ & = -{C_i}\sum\limits_{i = 1}^n {\frac{{{\text{d}}{u_i}}}{{{\text{d}}{v_i}}}} {\left( {\frac{{{\text{d}}{v_i}}}{{{\text{d}}t}}} \right)^2} \\ \frac{{{\text{d}}{u_i}}}{{{\text{d}}{v_i}}} &= \frac{{{\text{d}}{f^{ - 1}}\left( {{v_i}} \right)}}{{{\text{d}}{v_i}}} \end{split}$

(6)

由于 ${C_i}$ 大于0，因此有

$\frac{{{\text{d}}E}}{{{\text{d}}t}} \le 0$

(7)

由式(7)可知，HNNs的能量函数会随着时间逐渐会往极小值逼近，同时网络最终趋向于一个稳定状态。

忆阻因具有神经突触特性从而被广泛地应用于卷积过程实现以及图像滤波等领域，利用忆阻构建神经网络电路模拟实现生物的联想记忆功能是目前主要的研究方向之一。联想记忆是神经系统的一种记忆方式，联想记忆最为通俗的解释就是生物系统可以通过上下文语境联想起文章中较为模糊句子和词语，或者在环境的影响下回忆起某件发生过事件和其相关特征但其相关细节信息并不完整。

本文将电阻替换成忆阻，并将忆阻作为电子突触应用在HNNs电路中。由于忆阻器阻值可变且是纳米级元件，网络中权重一旦改变，就可以改变忆阻器两端的初始电压获得相应的权重大小，从而实现对HNNs电路的灵活编程。本文设计的神经网络电路模型如式(8)所示

${C_i}\frac{{{\text{d}}{u_i}}}{{{\text{d}}t}} + \frac{{{u_i}}}{{{R_c}}} = {I_i} + \sum\limits_{j = 1}^n {\frac{{{V_{\rm{o}}}}}{{{M_i}}}} + \sum\limits_{j = 1}^n {\frac{{{V_j}}}{{{M_{ij}}}}}$

(8)

其中， ${V_{\rm{o}}}$ 是输出电压， ${R_{\text{c}}}$ 和 ${M_i}$ 是反馈调节电阻， ${C_i}$ 和 ${u_i}$ 分别是积分模块中电容值与电容正负电势差， ${I_i}$ 是外部激励模块的定常输入， ${M_{ij}}$ 是神经突触模块中忆阻器的阻值， ${V_j}$ 是对应激活函数模块中输出神经元的输出电压。

经过反馈调节模块中运算放大器的和忆阻 ${M_i}$ 的作用，神经网络电路的输出经过反向求和再次对神经突触模块进行作用，因此可以将式(8)写成

$\begin{split} {C_i}\frac{{{\text{d}}{u_i}}}{{{\text{d}}t}} = & - \frac{{{u_i}}}{{{R_{\rm{c}}}}} + {I_i} - \sum\limits_{j = 1}^n {\frac{{{V_j}}}{{{M_i}}}} + \sum\limits_{j = 1}^n {\frac{{{V_j}}}{{{M_{ij}}}}} \\ & = - \frac{{{u_i}}}{{{R_{\rm{c}}}}} + {I_i} + \sum\limits_{j = 1}^n {{w_{ij}}{V_j}} \\ {w_{ij}} = & \frac{1}{{{M_{ij}}}} - \frac{1}{{{M_i}}} \end{split}$

(9)

本文设计的忆阻递归神经网络电路的表达式如式(9)所示，其主要表示的是突触调整模块的基尔霍夫电流定律方程。

本文设计的忆阻神经网络电路结构如图2所示。该电路中核心的模块是神经突触模块、积分保持模块以及激活函数模块，同时还包括输入信号模块、外部激励模块以及反馈调节模块。组成该电路的主要元器件有：阈值型忆阻器、电容、电压源、电阻、运算放大器、电流源等。

图 2 忆阻神经网络电路结构

下载: 全尺寸图片幻灯片

本文首先根据理论计算得到模糊字符集图像所对应的输入信号，然后将输入信号转换成相应的电压值。使用初始电压值对输入信号模块进行初始赋值，赋值完成之后经过输入模块将电压输入到神经突触模块，根据电压阈值调整突触权重大小，突触模块输出信号会随之传输到积分模块和激活函数模块完成整体电路的正向传播过程，最后通过反馈调节模块进行修正。整体电路通过多次迭代后会逐渐趋于一个稳定状态。

整体忆阻阵列神经网络电路权值写入步骤：

步骤1　对阵列中的所有忆阻器进行初始化，设定为一个固定的初值；

步骤2　利用MOS管开关控制模块选通需要进行阻值修改的忆阻器，若忆阻器的阻值需要修改，则将对应的NMOS管极端置为高电平，反之将其置为低电平；

步骤3　在电压脉冲控制模块施加电压，若此时需要将忆阻器的阻值减小，则在电压脉冲控制端施加大于忆阻器正向阈值电压的脉冲，反之则施加小于负向阈值电压的脉冲；

步骤4　测量忆阻器的阻值，并计算当前忆阻器的阻值与目标图像阻值的差值是否在规定误差之内，若满足误差要求，则完成权重调整，若不满足，则回到步骤3。

整体设计电路的结构如图3所示。

图 3 忆阻神经网络整体电路

下载: 全尺寸图片幻灯片

4. 仿真分析

本文基于上述所设计忆阻神经网络电路，并进行相关仿真实验。在实验中搭建一个3阶的神经网络，如图4所示。像素值–1表示为黑色，像素值1表示为白色，其中N1～N9是–1～1的像素值，在忆阻联想记忆神经网络电路中N1～N9所对应激活函数的输出电压。

图 4 本文神经网络模型

下载: 全尺寸图片幻灯片

本文以联想记忆为例来分析忆阻神经网络电路的权值调整与设计。如图5，将神经网络中输入的字符样本进行数据预处理，一般的步骤是首先将初始图像进行灰度化处理，再进行平滑去噪，最后将样本转化成输入向量的形式。将输入的字符样本进行灰度化和平滑去噪后，转换成向量形式

图 5 忆阻神经网络联想记忆过程

下载: 全尺寸图片幻灯片

$\begin{split} & {{\boldsymbol{x}}_{\text{1}}} = [{x_{11}},{x_{12}}, \cdots ,{x_{1n}}],{\kern 1pt} {\kern 1pt} {\kern 1pt} {{\boldsymbol{x}}_{{2}}} = [{{{x}}_{21}},{x_{22}}, \cdots ,{x_{2n}}], \cdots ,{\kern 1pt} {\kern 1pt} {\kern 1pt}\\ & {{\boldsymbol{x}}_n} = [{x_{n1}},{x_{n2}}, \cdots ,{x_{nn}}] \\[-10pt] \end{split}$

(10)

将式(10)作为网络的输入，在自联想记忆中，网络的输出形式与输入形式相同，因此有

$\begin{split} & {{\boldsymbol{y}}_{\text{1}}} = [{y_{11}},{y_{12}}, \cdots ,{y_{1n}}],{\kern 1pt} {\kern 1pt} {\kern 1pt} {{\boldsymbol{y}}_{{2}}} = [{y_{21}},{y_{22}}, \cdots ,{y_{2n}}], \cdots ,{\kern 1pt} {\kern 1pt} {\kern 1pt} \\ & {{\boldsymbol{y}}_n} = [{y_{n1}},{y_{n2}}, \cdots ,{y_{nn}}] \\[-10pt] \end{split}$

(11)

将式(10)和式(11)代入式(9)中进行求解就可得到自联想记忆中权重矩阵和外部激励。

本文结合上述权重求解的结果，忆阻神经网络电路运行步骤如下所示。

步骤1　初始化原始字符图像信息X₀，对字符进行模糊化，再对图像加入额外的加性噪声，得到模糊图像信息X₁；

步骤2　根据式(10)和式(11)求解出忆阻神经网络电路的权重和外部激励，然后根据上述的电路权重写入步骤1-步骤4调节忆阻器的阻值；

步骤3　将步骤1中模糊化后的图像信息X₁作为忆阻神经网络电路的初始输入；

步骤4　根据权重信息和外部激励信息对初始信息X₁进行运算，每一次递归计算后得到字符图像信息X₂，并判断X₀和X₂是否在误差范围之内，若不在误差之内，继续进行步骤4，否则结束运算并进行步骤5；

步骤5　将步骤4中X₂还原出原始字符图像信息。

本文将使用3个字符图像“C”“U”“H”进行联想记忆仿真分析，首先对3个字符信息计算其网络权值，按照步骤对相应的忆阻器进行调节。

图6—图8分别表示的是字符CUH的电压变化情况，起始电压与输入模块的初始化有关，初始化完成之后会经过突触模块、积分模块、激活函数模块以及反馈调整模块，经过多次迭代会达到预先设定好的稳定状态。电路经过一段时间运算和积分求和，最终可以将带有噪声的图像恢复到原始图像的电压，最后通过电压值在MATLAB中显示效果图来说明联想记忆电路的有效性。

图 6 字符“C”神经元输出电压曲线图

下载: 全尺寸图片幻灯片

图 7 字符“U”神经元输出电压曲线图

下载: 全尺寸图片幻灯片

图 8 字符“H”神经元输出电压曲线图

下载: 全尺寸图片幻灯片

从3个字符图像的仿真结果可以看出，通过对稳定电压进行计算，最终电压值与字符CUH的像素值相对应，可以通过输入噪声字符回忆出原始字符图像。设计的忆阻神经网络电路具有联想记忆的功能，通过改变每个输入神经元对应的电容大小来调节输出神经元的电压达到稳定时间。

通过表2可以看出，相比其他的忆阻神经网络电路，本文电路具有功能更丰富的特点。文献[10,17]实现了基本的联想记忆功能，文献[18,20]在实现联想记忆功能的基础上，电路具有抗噪声的功能，并且神经网络电路的迭代过程是连续变化的。而本文设计的忆阻神经网络电路既可以实现对字符的联想记忆功能，且所设计出来的电路具有抗噪声能力，能够完成对一定程度噪声字符的识别。此外，所设计的电路具有可重用功能，能针对不同场景进行模式切换，具有灵活性。由于电路的计算中采用的是连续迭代的方式，所以电路更能体现出生物神经元的延迟效应。在电路的可重用性方面，本文采用晶体管与忆阻器混合串联的方式进行控制，这样控制权值的写入，一定程度上降低电路的功耗。

表 2 忆阻联想记忆模型功能完善程度对比

文献	功能实现
文献	联想记忆	可重用	抗噪声	连续性
[10, 17]	√
[18, 20]	√		√	√
本文	√	√	√	√

下载: 导出CSV

| 显示表格

5. 结束语

本文分析了现有忆阻器模型存在的一些不足，建立了一种改进的忆阻器模型，改进模型克服了传统忆阻器模型边界锁定等问题带来的阻值调整问题。根据Pavlov联想记忆实验和Hopfield离散实验理论设计出了基于忆阻的字符神经网络电路，然后利用仿真软件进行仿真实验，实验结果表明设计的电路不仅具有联想记忆功能，同时具有可重用和抗噪声功能，表明了设计的神经网络电路的正确性和有效性。本文相对于复杂的生物神经网络来说功能比较单一，未来将考虑设计更多输入神经元、神经网络层数来真实模拟生物功能的神经网络模型电路，同时也将侧重于根据生物特征进一步优化电路性能和简化电路结构。

图 1 DHNNs结构示意图

下载: 全尺寸图片幻灯片

图 2 忆阻神经网络电路结构

下载: 全尺寸图片幻灯片

图 3 忆阻神经网络整体电路

下载: 全尺寸图片幻灯片

图 4 本文神经网络模型

下载: 全尺寸图片幻灯片

图 5 忆阻神经网络联想记忆过程

下载: 全尺寸图片幻灯片

图 6 字符“C”神经元输出电压曲线图

下载: 全尺寸图片幻灯片

图 7 字符“U”神经元输出电压曲线图

下载: 全尺寸图片幻灯片

图 8 字符“H”神经元输出电压曲线图

下载: 全尺寸图片幻灯片

表 1 本文模型与现有的部分代表性忆阻模型的比较

文献	功能实现
文献	伏安特性	边界锁定	控制类型	阈值特性	遗忘特性	逻辑电路	突触电路
线性漂移^[2]	明确	存在问题	电流	无	无	不适用	不适用
Joglekar^[25]	明确	存在问题	电流	无	无	不适用	不适用
Biolek^[26]	明确	无	电流	无	无	适用	不适用
TEAM^[27]	明确	无	电流	有	无	适用	不适用
VTEAM^[28]	明确	无	电压	有	无	适用	不适用
本文	明确	无	电压	有	有	适用	适用

下载: 导出CSV

表 2 忆阻联想记忆模型功能完善程度对比

文献	功能实现
文献	联想记忆	可重用	抗噪声	连续性
[10, 17]	√
[18, 20]	√		√	√
本文	√	√	√	√

下载: 导出CSV

参考文献(28)

[1]	CHUA L. Memristor-the missing circuit element[J]. IEEE Transactions on Circuit Theory, 1971, 18(5): 507–519. doi: 10.1109/TCT.1971.1083337
[2]	STRUKOV D B, SNIDER G S, STEWART D R, et al. The missing memristor found[J]. Nature, 2008, 453(7191): 80–83. doi: 10.1038/nature06932
[3]	WANG Leimin, ZENG Zhigang, and GE Mingfeng. A disturbance rejection framework for finite-time and fixed-time stabilization of delayed memristive neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics:Systems, 2021, 51(2): 905–915. doi: 10.1109/TSMC.2018.2888867
[4]	GUO Mei, ZHU Yongliang, LIU Renyuan, et al. An associative memory circuit based on physical memristors[J]. Neurocomputing, 2022, 472: 12–23. doi: 10.1016/j.neucom.2021.11.034
[5]	LAI Qiang, WAN Zhiqiang, ZHANG Hui, et al. Design and analysis of multiscroll memristive Hopfield neural network with adjustable memductance and application to image encryption[J]. IEEE Transactions on Neural Networks and Learning Systems, To be published.
[6]	ZHANG Yang, WANG Xiaoping, LI Yi, et al. Memristive model for synaptic circuits[J]. IEEE Transactions on Circuits and Systems II:Express Briefs, 2017, 64(7): 767–771. doi: 10.1109/TCSII.2016.2605069
[7]	CHANG Ting, JO S H, and LU Wei. Short-term memory to long-term memory transition in a nanoscale memristor[J]. ACS Nano, 2011, 5(9): 7669–7676. doi: 10.1021/nn202983n
[8]	王春华, 蔺海荣, 孙晶如, 等. 基于忆阻器的混沌、存储器及神经网络电路研究进展[J]. 电子与信息学报, 2020, 42(4): 795–810. doi: 10.11999/JEIT190821 WANG Chunhua, LIN Hairong, SUN Jingru, et al. Research progress on chaos, memory and neural network circuits based on memristor[J]. Journal of Electronics &Information Technology, 2020, 42(4): 795–810. doi: 10.11999/JEIT190821
[9]	李志军, 谭茂林, 王梦蛟, 等. 具有艾宾浩斯遗忘规则的忆阻联想记忆电路[J]. 电子与信息学报, 2022, 44(10): 3657–3665. doi: 10.11999/JEIT210677 LI Zhijun, TAN Maolin, WANG Mengjiao, et al. Associative memory circuit based on memristor with the ebbinghaus forgetting rule[J]. Journal of Electronics &Information Technology, 2022, 44(10): 3657–3665. doi: 10.11999/JEIT210677
[10]	HU S G, LIU Y, LIU Z, et al. Associative memory realized by a reconfigurable memristive hopfield neural network[J]. Nature Communications, 2015, 6: 7522. doi: 10.1038/ncomms8522
[11]	LI Haoyu, WANG Leimin, and LAI Qiang. Synchronization of a memristor chaotic system and image encryption[J]. International Journal of Bifurcation and Chaos, 2021, 31(16): 2150251. doi: 10.1142/S0218127421502515
[12]	董哲康, 钱智凯, 周广东, 等. 基于忆阻的全功能巴甫洛夫联想记忆电路的设计、实现与分析[J]. 电子与信息学报, 2022, 44(6): 2080–2092. doi: 10.11999/JEIT210376 DONG Zhekang, QIAN Zhikai, ZHOU Guangdong, et al. Memory circuit design, implementation and analysis based on memristor full-function Pavlov associative[J]. Journal of Electronics &Information Technology, 2022, 44(6): 2080–2092. doi: 10.11999/JEIT210376
[13]	HOPFIELD J J. Neural networks and physical systems with emergent collective computational abilities[J]. Proceedings of the National Academy of Sciences of Sciences of the United States of America, 1982, 79(8): 2554–2558. doi: 10.1073/pnas.79.8.2554
[14]	HOPFIELD J J. Neurons with graded response have collective computational properties like those of two-state neurons[J]. Proceedings of the National Academy of Sciences of the United States of America, 1984, 81(10): 3088–3092. doi: 10.1073/pnas.81.10.3088
[15]	GUO Tengteng, WANG Lidan, ZHOU Mengzhe, et al. A recurrent neural network based on memristive activation function and its associative memory[J]. Scientia Sinica Informationis, 2017, 47(9): 1226–1241. doi: 10.1360/N112016-00266
[16]	TARKOV M S. Hopfield network with interneuronal connections based on memristor bridges[C]. The 13th International Symposium on Neural Networks. St. Petersburg, Russia: Springer, 2016: 196–203.
[17]	YANG Jiu, WANG Lidan, WANG Yan, et al. A novel memristive Hopfield neural network with application in associative memory[J]. Neurocomputing, 2017, 227: 142–148. doi: 10.1016/j.neucom.2016.07.065
[18]	HONG Qinghui, YAN Renao, WANG Chunhua, et al. Memristive circuit implementation of biological nonassociative learning mechanism and its applications[J]. IEEE Transactions on Biomedical Circuits and Systems, 2020, 14(5): 1036–1050. doi: 10.1109/TBCAS.2020.3018777
[19]	CHEN Chengjie, CHEN Jingqi, BAO Han, et al. Coexisting multi-stable patterns in memristor synapse-coupled Hopfield neural network with two neurons[J]. Nonlinear Dynamics, 2019, 95(4): 3385–3399. doi: 10.1007/s11071-019-04762-8
[20]	SUN Junwei, XIAO Xiao, YANG Qinfei, et al. Memristor-based Hopfield network circuit for recognition and sequencing application[J]. AEU-International Journal of Electronics and Communications, 2021, 134: 153698. doi: 10.1016/j.aeue.2021.153698
[21]	WANG Leimin and ZOU Huayu. A new emotion model of associative memory neural network based on memristor[J]. Neurocomputing, 2020, 410: 83–92. doi: 10.1016/j.neucom.2020.05.002
[22]	HONG Qinghui, CHEN Hegan, SUN Jingru, et al. Memristive circuit implementation of a self-repairing network based on biological astrocytes in robot application[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(5): 2106–2120. doi: 10.1109/TNNLS.2020.3041624
[23]	HONG Qinghui, SHI Zirui, SUN Jingru, et al. Memristive self-learning logic circuit with application to encoder and decoder[J]. Neural Computing and Applications, 2021, 33(10): 4901–4913. doi: 10.1007/s00521-020-05281-z
[24]	YAN Renao, HONG Qinghui, WANG Chunhua, et al. Multilayer memristive neural network circuit based on online learning for license plate detection[J]. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2022, 41(9): 3000–3011. doi: 10.1109/TCAD.2021.3121347
[25]	JOGLEKAR Y N and WOLF S J. The elusive memristor: Properties of basic electrical circuits[J]. European Journal of Physics, 2009, 30(4): 661–675. doi: 10.1088/0143-0807/30/4/001
[26]	BIOLEK Z, BIOLEK D, and BIOLKOVÁ V. SPICE model of memristor with nonlinear dopant drift[J]. Radioengineering, 2009, 18(2): 210–214.
[27]	KVATINSKY S, FRIEDMAN E G, KOLODNY A, et al. TEAM: Threshold adaptive memristor model[J]. IEEE Transactions on Circuits and Systems I:Regular Papers, 2013, 60(1): 211–221. doi: 10.1109/TCSI.2012.2215714
[28]	KVATINSKY S, RAMADAN M, FRIEDMAN E G, et al. VTEAM: A general model for voltage-controlled memristors[J]. IEEE Transactions on Circuits and Systems II:Express Briefs, 2015, 62(8): 786–790. doi: 10.1109/TCSII.2015.2433536

施引文献

期刊类型引用(1)
1. 洪庆辉，孙辰，肖平旦，韦正苗，杜四春. 复值Hopfield神经网络的信号盲检测一步计算电路. 电子与信息学报. 2024(11): 4123-4131 . 本站查看
其他类型引用(3)

资源附件(0)

访问统计

图(8) / 表(2)

计量

文章访问数: 656
HTML全文浏览量: 348
PDF下载量: 113
被引次数: 4

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于改进的忆阻器在字符联想记忆中的应用

doi: 10.11999/JEIT220709

通讯作者:
王雷敏　wangleimin@cug.edu.cn

计量

Application of Improved Memristor in Character Associative Memory

1. 引言

2. 忆阻器模型

3. 联想记忆模型构建

4. 仿真分析

5. 结束语

期刊类型引用(1)

其他类型引用(3)

计量

目录

1. 引言

2. 忆阻器模型

3. 联想记忆模型构建

4. 仿真分析

5. 结束语

留言板

基于改进的忆阻器在字符联想记忆中的应用

doi: 10.11999/JEIT220709

通讯作者: 王雷敏 wangleimin@cug.edu.cn

计量

出版历程

Application of Improved Memristor in Character Associative Memory

1. 引言

2. 忆阻器模型

3. 联想记忆模型构建

4. 仿真分析

5. 结束语

期刊类型引用(1)

其他类型引用(3)

计量

出版历程

目录

1. 引言

2. 忆阻器模型

3. 联想记忆模型构建

4. 仿真分析

5. 结束语

通讯作者:
王雷敏　wangleimin@cug.edu.cn