基于忆阻的全功能巴甫洛夫联想记忆电路的设计、实现与分析

董哲康; 钱智凯; 周广东; 纪晓悦; 齐冬莲; 赖俊升

doi:10.11999/JEIT210376

基于忆阻的全功能巴甫洛夫联想记忆电路的设计、实现与分析

doi: 10.11999/JEIT210376

董哲康^{1, 2},
钱智凯¹,
周广东³,
纪晓悦^2, ,,
齐冬莲²,
赖俊升⁴

1.
杭州电子科技大学电子信息学院杭州 310018
2.
浙江大学电气工程学院杭州 310027
3.
西南大学人工智能学院重庆 400715
4.
英国伦敦布鲁奈尔大学电子与计算机工程系伦敦 UB8 3PH

基金项目: 国家自然科学基金(62001149)，浙江省自然科学基金(LQ21F010009)

详细信息

作者简介:
董哲康：男，1989年生，副教授，研究方向为忆阻理论、基于忆阻神经形态系统

钱智凯：男，1996年生，硕士生，研究方向为忆阻理论、基于忆阻神经形态系统

周广东：男，1986年生，教授，研究方向为忆阻制备及其物理机制研究、基于忆阻神经形态系统

纪晓悦：女，1993年生，博士生，研究方向为忆阻理论、基于忆阻器的神经形态系统

齐冬莲：女，1973年生，教授，研究方向为忆阻器理论、基于忆阻器的非线性系统

赖俊升：男，1991年生，助理教授，研究方向为非线性系统、神经形态系统

通讯作者:
纪晓悦　ji.xiaoyue@zju.edu.cn

中图分类号: TN601; TP183
计量
- 文章访问数: 3471
- HTML全文浏览量: 1092
- PDF下载量: 265
- 被引次数: 5
出版历程
- 收稿日期: 2021-04-30
- 修回日期: 2021-08-26
- 网络出版日期: 2021-09-15
- 刊出日期: 2022-06-21

Memory Circuit Design, Implementation and Analysis Based on Memristor Full-function Pavlov Associative

1.
School of Electronic Information, Hangzhou Dianzi University, Hangzhou 310018, China
2.
College of Electrical Engineering, Zhejiang University, Hangzhou 310027, China
3.
School of Artificial Intelligence, Southwest University, Chongqing 400715, China
4.
Department of Electronic and Computer Engineering, Brunel University London, London UB8 3PH, United Kingdom

Funds: The National Natural Science Foundation of China (62001149), Natural Science Foundation of Zhejiang Province (LQ21F010009)

摘要

摘要: 联想记忆是一种描述生物学习和遗忘过程的重要机制，对构建神经形态计算系统和模拟类脑功能有重要的意义，设计并实现联想记忆电路成为人工神经网络领域内的研究热点。巴甫洛夫条件反射实验作为联想记忆的经典案例之一，其硬件电路的实现方案仍然存在电路设计复杂、功能不完善以及过程描述不清晰等问题。基于此，该文融合经典的条件反射理论和纳米科学技术，提出一种基于忆阻的全功能巴甫洛夫联想记忆电路。首先，基于水热合成法和磁控溅射法制备了Ag/TiO_x nanobelt/Ti结构的忆阻器，通过电化学工作站、四探针测试台和透射电子显微镜联合完成相应的性能测试；接着，利用测试得到的电化学数据，构建了Ag/TiO_x nanobelt/Ti忆阻器的数学模型和SPICE电路模型，并通过客观评价验证模型的精确度；进一步，基于提出的Ag/TiO_x nanobelt/Ti忆阻器模型，设计了一种全功能巴甫洛夫联想记忆电路，通过电路描述和功能分析，论述了该电路能够正确模拟巴甫洛夫实验中2类学习过程和3类遗忘过程；最后，通过一系列计算机仿真和分析，验证了所提方案的正确性和有效性。
- 忆阻器 /
- 联想记忆 /
- 巴普洛夫条件反射 /
- 电路实现 /
- 性能测试
Abstract: Associative memory is an important mechanism describing biological learning process and forgetting process, which is of great significance for constructing neuromorphic computing systems, as well as simulating brain-like functions. As a result, the design and implementation of associative memory circuit has become a research hotspot in the field of artificial neural networks. Pavlov conditioning experiment, as one of the classic cases of associative memory, its hardware implementation still suffers from some limitations such as complex circuit configuration, imperfect function and unclear process description. Based on this, a memory circuit is proposed based on memristor full-fuction pavlov associative in this paper, which combines the classical conditioned reflection theory and nano science and technology. Firstly, the Ag/TiO_x nanobelt/Ti memristor is prepared using hydrothermal synthesis method and magnetron sputtering method, and its performance testing is conducted jointly by electrochemical workstation, four-probe test bench, and transmission electron microscope. Then, the mathematical model and SPICE circuit model of the Ag/TiO_x nanobelt/Ti memristor are built up respectively, based on the electrochemical data derived from the performance testing, and the model accuracy is verified by objective evaluation. Furthermore, the proposed Ag/TiO_x nanobelt/Ti memristor model is applied to the implementation of a full-function Pavlovian associative memory circuit. The specific circuit description and function analysis illustrate that this circuit is able to simulate two kinds of learning process and three kinds of forgetting process in Pavlov experiment. Finally, a series of computer simulation and analysis are carried out, which verifies the validity and effectiveness of the entire scheme.
- Memristor /
- Associative memory /
- Pavlov conditioning /
- Circuit implementation /
- Performance testing

HTML全文

1. 引言

当一个系统的脉冲响应包含很多为零或者接近于零的系数时，且只有少数比较大的系数时，这个系统就可以看作稀疏系统。众所周知，在实际生活中，许多需要辨识的信号都具有这样的稀疏特性，比如数字电视传输信道和回声路径等^[1]。多年来，Widrow等人^[2]提出的基于均方误差(Mean Square Error, MSE)准则的最小均方(Least Mean Square, LMS)算法具有结构简单、计算复杂度低的优点，已经广泛应用于信道估计、回声消除等领域。在稀疏系统识别时，稀疏系统的先验稀疏信息可以改善系统识别的性能。但是，标准的LMS算法并没有利用这些信息。针对这个问题，文献[3]提出零吸LMS(Zero-Attracting LMS, ZA-LMS)算法，文献[4-6]提出重加权ZA-LMS(Reweighted Zero-Attracting LMS, RZA-LMS)算法用于识别稀疏系统。ZA-LMS在代价函数中引入滤波器系数的l₁范数约束，导致在迭代过程中生成一个零吸因子，能够促进滤波器抽头的稀疏性，改善识别和跟踪性能。RZA-LMS算法则利用系数的加权l₁范数约束构造一个重加权零吸因子，以获得相对于ZA-LMS算法更好的性能。

然而，基于LMS的稀疏自适应算法是在系统噪声为高斯噪声下所提出的。当系统噪声为脉冲噪声时，LMS类算法的性能会受到很大影响。为了解决脉冲噪声下的系统识别问题，Zhao等人^[7]用最大熵准则(Maximum Correntropy Crition, MCC)来取代MSE准则，提出了一系列MCC算法，实验结果表明提出的MCC算法对于脉冲噪声具有很好的鲁棒性。基于MCC算法，文献[8,9]提出了用于稀疏系统识别的ZA-MCC和RZA-MCC算法，以对抗脉冲噪声环境。最近，基于双曲余弦函数的自然对数lncosh函数^[10,11]的自适应滤波算法已经用于系统识别。利用lncosh函数构建的代价函数可以看作MSE准则和平均绝对值误差(Mean Absolute Error, MAE)准则的组合，且组合比例由系数q>0确定。当参数q接近于0时，该代价函数接近于MSE代价函数，当参数q为无穷大时，该代价函数可以看作MAE代价函数。类似地，文献[12]提出了零吸双曲余弦函数的自然对数(ZA-lncosh)和加权零吸双曲余弦函数的自然对数(RZA-lncosh)算法，并用来识别稀疏系统。

Lawson范数^[13]可以近似替代l₁和l₀范数，且当Lawson范数中的参数p等于1或者0时，该范数可以分别近似l₁和l₀范数。基于Lawson范数和lncosh函数，本文提出一种用于稀疏系统识别的通用Lawson-lncosh自适应滤波算法，本算法采用系数向量的Lawson范数和误差的lncosh函数构建新的代价函数，并采用梯度下降法得到更新方程。然后，在脉冲噪声环境下对稀疏系统进行估计，以验证算法的有效性，计算机仿真结果表明，在高斯信号输入和色信号输入情况下，所提Lawson-lncosh算法的性能都要优于其他现存的算法，且具有鲁棒性。

2. ZA-lncosh和RZA-lncosh算法

考虑一个M维未知系统的权向量 ${{\boldsymbol{h}}_0} = \left[ {h_1},{h_2}, \cdots ,$ ${h_M} \right]^{\rm{T}}$ , ${\boldsymbol{x}}\left( l \right) = {\left[ {x\left( l \right),x\left( {l - 1} \right), \cdots ,x\left( {l - M + 1} \right)} \right]^{\rm{T}}}$ 表示时刻l处的输入信号，那么未知系统在时刻l时的输出可以表示为

$d\left( l \right) = {\boldsymbol{h}}_{\rm{0}}^{\rm{T}}{\boldsymbol{x}}\left( l \right) + n\left( l \right)$

(1)

其中，n(l)为零均值系统背景噪声，估计误差e(l)可以表示为

$e\left( l \right) = d\left( l \right) - {{\boldsymbol{h}}^{\rm{T}}}\left( l \right){\boldsymbol{x}}\left( l \right)$

(2)

其中，h(l)是时刻l处的估计权向量。

2.1 ZA-lncosh算法

对于ZA-lncosh算法，代价函数为误差信号e(l)的lncosh函数和系数向量的l₁范数约束的组合，定义为

${J_{{L_1}}}\left( {{\boldsymbol{h}}\left( l \right)} \right) = \frac{1}{q}\ln \cosh \left( {qe\left( l \right)} \right) + \gamma {\left\| {{\boldsymbol{h}}\left( l \right)} \right\|_1}$

(3)

其中， $\gamma > 0$ 是一个常数。利用梯度下降法，可得

${\boldsymbol{h}}\left( {l + 1} \right) = {\boldsymbol{h}}\left( l \right) - \mu \frac{{\partial {J_{{L_1}}}\left( {{\boldsymbol{h}}\left( l \right)} \right)}}{{\partial {\boldsymbol{h}}\left( l \right)}}$

(4)

其中， $\mu$ 为步长

$\frac{{\partial {J_{{L_1}}}\left( {{\boldsymbol{h}}\left( l \right)} \right)}}{{\partial {\boldsymbol{h}}\left( l \right)}}{\rm{ = - }}\tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right){\rm{ + }}\gamma {\rm{sgn}} \left( {{\boldsymbol{h}}\left( l \right)} \right)$

(5)

那么，ZA-lncosh的迭代方程为

${\boldsymbol{h}}\left( {l + 1} \right) = {\boldsymbol{h}}\left( l \right) + \mu \tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right) - \eta {\rm{sgn}} \left( {{\boldsymbol{h}}\left( l \right)} \right)$

(6)

其中， $\eta = \mu \gamma$ ， ${\rm{sgn}} \left( \cdot \right)$ 为符号函数，定义为

${\mathop{\rm sgn}} \left( a \right){\rm{ = }}\left\{ \begin{aligned} & a/\left| a \right|,\;\;\;\;a \ne 0\\ & 0,\quad\;\;\;\;\;\;\;\, a{\rm{ = 0}} \end{aligned} \right.$

(7)

与标准lncosh算法相比，ZA-lncosh算法增加了一个额外的 $- \eta {\rm{sgn}} \left( {{\boldsymbol{h}}\left( l \right)} \right)$ 项，该项能够使滤波器近零系数快速趋近于0，所以叫作零吸引项。在系统系数接近0时，该项可以加快收敛速度，减小稳态误差。

2.2 RZA-lncosh算法

由于ZA-lncosh算法不能区分零和非零抽头，在迭代过程中，促使所有的抽头系数均匀地趋近于0。所以对于稀疏性度低的系统，ZA-lncosh算法的性能会恶化。因此，RZA-lncosh算法可以解决以上问题，RZA-lncosh算法的代价函数为

${J_{{L_2}}}\left( {{\boldsymbol{h}}\left( l \right)} \right) = \frac{1}{q}\ln \cosh \left( {qe\left( l \right)} \right) + \gamma \sum\limits_{i = 1}^M {\lg \left( {1 + \frac{{\left| {{h_i}\left( l \right)} \right|}}{{\delta '}}} \right)}$

(8)

式(8)引入的对数和约束项 $\displaystyle\sum\nolimits_{i = 1}^M \lg \left( 1 +$ ${{\left| {{h_i}\left( l \right)} \right|} / {\delta '}} \right)$ 更加类似于l₀范数，其中 $\delta '$ 是一个正的常数，用来调整算法的零吸强度，利用梯度法得到的系数更新方程为

${h_i}\left( {l + 1} \right) = {h_i}\left( l \right) + \mu \tanh \left( {qe\left( l \right)} \right){x_i}\left( l \right) - \eta \frac{{{\rm{sgn}} \left( {{h_i}\left( l \right)} \right)}}{{1 + \delta \left| {{h_i}\left( l \right)} \right|}}$

(9)

式(9)的向量形式为

${\boldsymbol{h}}\left( {l + 1} \right) = {\boldsymbol{h}}\left( l \right) + \mu \tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right) - \eta \frac{{{\rm{sgn}} \left( {{\boldsymbol{h}}\left( l \right)} \right)}}{{1 + \delta \left| {{\boldsymbol{h}}\left( l \right)} \right|}}$

(10)

其中， $\eta = \mu \gamma /\delta '$ , $\delta = 1/\delta '$ , RZA-lncosh算法可以有选择地调整抽头系数的零吸强度，且该重加权零吸因子只对那些在量级上与 $1/\delta$ 相当的抽头影响较大，对于量级大于 $1/\delta$ 的抽头影响很小。

3. Lawson-lncosh算法

本文所提Lawson-lncosh算法利用抽头系数向量的Lawson范数与误差e(l)的lncosh函数构建代价函数。Lawson范数为

${\left\| {{\boldsymbol{h}}\left( l \right)} \right\|_L} = \sum\limits_{i = 1}^M {\frac{{h_i^2\left( l \right)}}{{{{\left( {h_i^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{2 - p}}{2}}}}}}$

(11)

其中， $\beta$ >0是一个很小的常数。当参数p等于0或者1时，Lawson范数分别接近于l₀和l₁范数。根据自适应滤波算法理论，Lawson-lncosh算法的代价函数写为

$J\left( {{\boldsymbol{h}}\left( l \right)} \right) = \frac{1}{q}\ln \cosh \left( {qe\left( l \right)} \right) + \gamma \sum\limits_{i = 1}^M {\frac{{h_i^2\left( l \right)}}{{{{\left( {h_i^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{2 - p}}{2}}}}}}$

(12)

根据梯度下降法，有

$\begin{split} \frac{{\partial J\left( {{\boldsymbol{h}}\left( l \right)} \right)}}{{\partial {\boldsymbol{h}}\left( l \right)}} =\,& - \tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right) \\ & + \gamma\partial \sum\limits_{i = 1}^M {\frac{{{h_i^2}\left( l \right)}}{{{{\left( {h_i^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{2 - p}}{2}}}}}} /\partial {\boldsymbol{h}}(l) \end{split}$

(13)

式(13)可以改写为

$\frac{{\partial J\left( {{\boldsymbol{h}}\left( l \right)} \right)}}{{\partial {\boldsymbol{h}}\left( l \right)}} = - \tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right) + \gamma {\boldsymbol{G}}\left( l \right){\boldsymbol{h}}\left( l \right)$

(14)

其中

$\begin{split} {\boldsymbol{G}}\left( l \right) =\,& {\rm{diag}}\left( \frac{{\left( {ph_1^2\left( l \right) + 2{\beta ^2}} \right)}}{{{{\left( {h_1^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{4 - p}}{2}}}}},\frac{{\left( {ph_2^2\left( l \right) + 2{\beta ^2}} \right)}}{{{{\left( {h_2^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{4 - p}}{2}}}}}, \right.\\ & \left.\cdots ,\frac{{\left( {ph_M^2\left( l \right) + 2{\beta ^2}} \right)}}{{{{\left( {h_M^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{4 - p}}{2}}}}} \right)\\[-23pt] \end{split}$

(15)

由此，Lawson-lncosh算法的迭代方程为

$\begin{split} {\boldsymbol{h}}\left( {l + 1} \right) =\,& {\boldsymbol{h}}\left( l \right) - \mu \frac{{\partial {\rm{J}}\left( {{\boldsymbol{h}}\left( l \right)} \right)}}{{\partial {\boldsymbol{h}}\left( l \right)}} \\ = \,&{\boldsymbol{h}}\left( l \right) + \mu \tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right) - \eta {\boldsymbol{G}}\left( l \right){\boldsymbol{h}}\left( l \right)\\ \end{split}$

(16)

其中， $\eta = \mu \gamma$ 。

为了分析所提Lawson-lncosh算法，定义系数误差向量 $\tilde {\boldsymbol{h}}\left( l \right){\rm{ = }}{\boldsymbol{h}}\left( l \right) - {{\boldsymbol{h}}_0}$ ，且它与输入向量 ${\boldsymbol{x}}\left( l \right)$ 和所需信号 $d\left( l \right)$ 无关。式(16)的两端同时减去 ${{\boldsymbol{h}}_0}$ ，得到

$\tilde {\boldsymbol{h}}\left( {l + 1} \right){\rm{ = }}\tilde {\boldsymbol{h}}\left( l \right) + \mu \tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right) - \eta{\boldsymbol{ G}}\left( l \right){\boldsymbol{h}}\left( l \right)$

(17)

式(17)两端同时取数学期望，得到

$\begin{split} {\rm{E}}\left[ {\tilde {\boldsymbol{h}}\left( {l + 1} \right)} \right]=\,&{\rm{ E}}\left[ {\tilde {\boldsymbol{h}}\left( l \right)} \right] + \mu {\rm{E}}\left[ {\tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right)} \right] \\ &- \eta {\rm{E}}\left[ {{\boldsymbol{G}}\left( l \right){\boldsymbol{h}}\left( l \right)} \right]\\[-10pt] \end{split}$

(18)

基于文献[14]，得到

$\begin{split} &{\rm{E}}\left[ {\tanh \left( {qe\left( l \right)} \right){\boldsymbol{x}}\left( l \right)} \right]= \frac{{{\rm{E}}\left[ {e\left( l \right)\tanh \left( {qe\left( l \right)} \right)} \right]}}{{{\rm{E}}\left[ {{e^2}\left( l \right)} \right]}} \\ &{\rm{E}}\left[ {{\boldsymbol{x}}\left( l \right)e\left( l \right)} \right]=F\left( q \right){\rm{E}}\left[ {{\boldsymbol{x}}\left( l \right)e\left( l \right)} \right] \\[-10pt] \end{split}$

(19)

其中， $F\left( q \right){\rm{ = }}\dfrac{{{\rm{E}}\left[ {e\left( l \right)\tanh \left( {qe\left( l \right)} \right)} \right]}}{{{\rm{E}}\left[ {{e^2}\left( l \right)} \right]}}$ 。

由于背景噪声 $n\left( l \right)$ 与输入信号统计独立，所以

$\begin{split} {\rm{E}}\left[ {{\boldsymbol{x}}\left( l \right)e\left( l \right)} \right]=\,&{\rm{ E}}\left[ {{\boldsymbol{x}}\left( l \right)\left( {{\boldsymbol{h}}_0^{\rm{T}}x\left( l \right) - {{\boldsymbol{h}}^{\rm{T}}}\left( l \right){\boldsymbol{x}}\left( l \right) + n\left( l \right)} \right)} \right] \\ = \,&- {\boldsymbol{R}}{\rm{E}}\left[ {\tilde {\boldsymbol{h}}\left( l \right)} \right] \\[-15pt] \end{split}$

(20)

其中， ${\boldsymbol{R}} = {\rm{E}}\left[ {{\boldsymbol{x}}\left( l \right){{\boldsymbol{x}}^{\rm{T}}}\left( l \right)} \right]$ 。将式(19)和式(20)代入式(18)中，得到

${\rm{E}}\left[ {\tilde {\boldsymbol{h}}\left( {l + 1} \right)} \right]{\rm{ = }}\left[ {{\boldsymbol{I}} - \mu F\left( q \right){\boldsymbol{R}}} \right]{\rm{E}}\left[ {\tilde {\boldsymbol{h}}\left( l \right)} \right] - \eta {\rm{E}}\left[ {{\boldsymbol{G}}\left( l \right){\boldsymbol{h}}\left( l \right)} \right]$

(21)

其中， ${\boldsymbol{G}}\left( l \right){\boldsymbol{h}}\left( l \right)$ 的第i个分量 $\dfrac{{\left( {ph_i^3\left( l \right) + 2{\beta ^2}{h_i}\left( l \right)} \right)}}{{{{\left( {h_i^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{4 - p}}{2}}}}}$ 为连续函数，且当 $p = 1$ 时，有

$\left. \begin{split} & \mathop {\lim }\limits_{{h_i}\left( l \right) \to + \infty } \frac{{\left( {ph_i^3\left( l \right) + 2{\beta ^2}{h_i}\left( l \right)} \right)}}{{{{\left( {h_i^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{4 - p}}{2}}}}} = 1\\ & \mathop {\lim }\limits_{{h_i}\left( l \right) \to - \infty } \frac{{\left( {ph_i^3\left( l \right) + 2{\beta ^2}{h_i}\left( l \right)} \right)}}{{{{\left( {h_i^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{4 - p}}{2}}}}} = 1 \end{split}\right\}$

(22)

当 $0 \le p < 1$ 时，有

$\left. \begin{split} & \mathop {\lim }\limits_{{h_i}\left( l \right) \to + \infty } \frac{{\left( {ph_i^3\left( l \right) + 2{\beta ^2}{h_i}\left( l \right)} \right)}}{{{{\left( {h_i^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{4 - p}}{2}}}}} = 0\\ & \mathop {\lim }\limits_{{h_i}\left( l \right) \to - \infty } \frac{{\left( {ph_i^3\left( l \right) + 2{\beta ^2}{h_i}\left( l \right)} \right)}}{{{{\left( {h_i^2\left( l \right) + {\beta ^2}} \right)}^{\frac{{4 - p}}{2}}}}} = 0 \end{split}\right\}$

(23)

可以看出，该项是有界的。因此，若使 ${\rm{E}}\left[ {\tilde {\boldsymbol{h}}\left( l \right)} \right]$ 收敛， $\left[ {{\boldsymbol{I}} - \mu F\left( q \right){\boldsymbol{R}}} \right]$ 的最大特征值要小于1^[15]，即

$0 < \mu < \frac{2}{{F\left( q \right){\lambda _{\max }}}}$

(24)

当 $q \to 0$ 时， $F\left( q \right) \to q$ 。此时步长 $\mu ' = \mu q$ 满足

$0 < \mu ' < \frac{2}{{{\lambda _{\max }}}}$

(25)

当 $q \to + \infty$ 时， $\tanh \left( {qe\left( l \right)} \right) \sim {\rm{sign}}\left( {e\left( l \right)} \right)$ , $F\left( q \right) =$ $\dfrac{{{\rm{E}}\left[ {e\left( l \right){\rm{sign}}\left( {e\left( l \right)} \right)} \right]}}{{{\rm{E}}\left[ {{e^2}\left( l \right)} \right]}}$ 。假设e(l)为零均值高斯，那么有

${\rm{E}}\left[ {e\left( l \right){\rm{sign}}\left( {e\left( l \right)} \right)} \right] = \sqrt {\frac{{2{\rm{E}}\left[ {{e^2}\left( l \right)} \right]}}{\pi }}$

(26)

由此得到 $F\left( q \right) = \sqrt {\dfrac{2}{{\pi {\rm{E}}\left[ {{e^2}\left( l \right)} \right]}}}$ ，此时

$0 < \mu < \frac{{\sqrt {2\pi {\rm{E}}\left[ {{e^2}\left( l \right)} \right]} }}{{{\lambda _{\max }}}}$

(27)

4. 仿真结果

本节设计了5个实验以验证所提算法的性能。所有仿真结果均在100次独立仿真下取得，在算法迭代过程中，本文将 ${\boldsymbol{h}}$ 的初始值设置为一个M维的0向量。

实验1　假设未知系统具有16个系数，其中只有1个系数非0，其他系数均为0，即系统的稀疏度为93.75%。分别用高斯输入信号和AR(1)输入信号测试标准lncosh, ZA-lncosh, RZA-lncosh和Lawson-lncosh这4种算法，这4种算法的参数q=1, RZA-lncosh的参数 $\delta {\rm{ = }}10$ ,Lawson-lncosh的参数p=0，系统噪声是脉冲噪声^[16,17]。脉冲噪声 ${n_i}\left( l \right)$ 可表示为 ${n_i}\left( l \right) = b\left( l \right)w\left( l \right) + z\left( l \right)$ ，其中 $b\left( l \right)$ 为伯努利过程， $b\left( l \right)$ =1的概率为p_r， $b\left( l \right)$ =0的概率为1–p_r。 $w\left( l \right)$ 和 $z\left( l \right)$ 均是0均值高斯噪声， $\sigma _w^2$ 和 $\sigma _z^2$ 分别表示二者的方差且 $\sigma _w^2$ 远大于 $\sigma _z^2$ 。本实验中，p_r, $\sigma _w^2$ 和 $\sigma _z^2$ 的取值分别为0.1, 1和10^–3。图1(a)为以上4种算法在高斯信号输入时的均方偏差(Mean Square Deviation, MSD)，输入信号是方差为1的0均值高斯信号。4种算法的步长 $\mu$ 均设置为0.05，参数 $\eta$ 设置为0.0005， $\beta$ 为0.03。图1(b)是在AR(1)输入信号下的MSD曲线，AR(1)信号的功率为1，由高斯信号v(n)通过一个AR 1阶滤波器获得，即 $x\left( n \right) = 0.8x\left( {n - 1} \right) +$ $v\left( n \right)$ 。4种算法的步长 $\mu$ 均设置为0.015，参数 $\eta$ 设置为0.00003， $\beta$ 为0.01。由图1可知，无论是高斯输入还是AR(1)输入信号，所提Lawson-lncosh算法的性能要优于其他3种算法。

图 1 稀疏度为93.75%时的算法收敛曲线

下载: 全尺寸图片幻灯片

实验2　假设未知系统具有16个系数，设置奇数位上的抽头系数为1，其他的抽头为0，即系统的稀疏度为50%。分别用高斯信号和AR(1)信号输入，标准lncosh, ZA-lncosh, RZA-lncosh和Lawson-lncosh 4种算法中，输入信号、系统噪声和各算法参数与实验1相同。图2(a)是以上4种算法在高斯信号输入时的MSD曲线。图2(b)是在AR(1)输入信号下的MSD曲线。由图2可知，无论是高斯输入还是AR(1)输入信号下，所提Lawson-lncosh算法的性能都要优于其他3种算法。

图 2 稀疏度为50%时的算法收敛曲线

下载: 全尺寸图片幻灯片

实验3　假设未知系统具有16个抽头系数，设置奇数位上的抽头系数为1，偶数位上的抽头系数为–1，即系统的稀疏度为0%。分别用高斯输入信号和AR(1)输入信号来测试标准lncosh, ZA-lncosh, RZA-lncosh和Lawson-lncosh这4种算法，输入信号、系统噪声和各算法参数与实验1相同。图3(a)所示的是以上4种算法在高斯信号输入时的MSD曲线。图3(b)是在AR(1)输入信号下的MSD曲线。由图3可知，无论是高斯输入还是AR(1)输入信号，Lawson-lncosh, lncosh和RZA-lncosh算法的性能基本一致，即该Lawson-lncosh算法在稀疏度为0%时也能达到与标准lncosh算法相似的性能。

图 3 稀疏度为0%时的算法收敛曲线

下载: 全尺寸图片幻灯片

实验4　假设未知系统具有256个抽头系数，具有32个非0随机系数且满足 ${\boldsymbol{h}}_0^{\rm{T}}{{\boldsymbol{h}}_0} = 1$ 。分别用高斯输入信号和AR(1)输入信号来测试ZA-LMS, RZA-LMS, ZA-MCC,RZA-MCC,ZA-lncosh, RZA-lncosh, Lawson-lncosh(p=1),Lawson-lncosh(p=0.5)和Lawson-lncosh(p=0)这7种算法，其中lncosh类算法的参数q=1，MCC类算法的核宽为3，输入信号与实验1相同。此实验中的脉冲噪声参数p_r, $\sigma _w^2$ 和 $\sigma _z^2$ 的取值分别为0.1, 4和10^–3， $\beta$ 为0.001，各算法的参数如表1所示(本文仔细调整了参数使其在同一收敛速率的情况下均能达到最小的稳态误差)。图4(a)所示的是以上8种算法在高斯信号输入时的MSD曲线。图4(b)是在AR(1)输入信号下的MSD曲线。由图4可知，无论是高斯输入还是AR(1)输入信号，所提Lawson-lncosh(p=1)算法的性能都要优于其他ZA类算法，Lawson-lncosh(p=0)的性能要优于其他RZA类算法，而且当参数p越小时，Lawson-lncosh算法的性能越好。

表 1 实验4各算法参数

算法	$\mu$ (高斯输入)	$\eta$ (高斯输入)	$\mu$ (AR输入)	$\eta$ (AR输入)
ZA-LMS	0.0020	0.000008	0.002	0.0000100
RZA-LMS	0.0020	0.000040	0.002	0.0000300
ZA-MCC	0.0020	0.000005	0.002	0.0000050
RZA-MCC	0.0022	0.000020	0.002	0.0000100
ZA-lncosh	0.0024	0.000005	0.002	0.0000100
RZA-lncosh	0.0024	0.000010	0.002	0.0000040
Lawson-lncosh(p=1)	0.0024	0.000008	0.002	0.0000030
Lawson-lncosh(p=0.5)	0.0024	0.000003	0.002	0.0000010
Lawson-lncosh(p=0)	0.0024	0.000004	0.002	0.0000004

下载: 导出CSV

| 显示表格

图 4 256抽头系统时的算法收敛曲线

下载: 全尺寸图片幻灯片

实验5　本文在实验4的基础之上比较了Lawson-lncosh(p=0)算法在不同迭代步长下的性能，分别在高斯输入信号和AR(1)输入信号的情况下分析算法的性能，迭代步长 $\mu$ 分别为0.0012, 0.0018和0.0024，其他参数与实验4一致。图5(a)是在高斯信号输入时的MSD曲线。图5(b)是在AR(1)输入信号下的MSD曲线。由图5可知，无论是高斯输入还是AR(1)输入信号，迭代步长对于算法均有很大的影响，且步长较大时，算法收敛较快，但MSD较大。步长越小，算法收敛越慢，但可以获得更小的MSD。

图 5 256抽头系统在不同迭代步长下的算法收敛曲线

下载: 全尺寸图片幻灯片

由上述实验可知，本文所提Lawson-lncosh算法比其他现存的算法具有更好的性能，且具有很好的抗脉冲噪声的能力。可以用在宽带无线通信信道估计、水声信道估计、卫星通信信道估计、噪声抑制和稀疏系统识别等具有稀疏特性的系统中或者脉冲噪声环境中。

5. 结论

本文提出一种用于稀疏系统识别的通用Lawson-lncosh自适应滤波算法，本算法利用系数向量的Lawson范数和误差的lncosh函数提出了新的代价函数，并分析了所提Lawson-lncosh算法步长参数的取值范围。仿真结果表明在不同稀疏度的系统识别中，Lawson-lncosh算法都具有很好的性能且系统的稀疏度越高，算法的性能越好。误差的lncosh函数可以提供优秀的抗脉冲噪声的性能，能够在脉冲噪声的环境下稳定地识别系统。计算机仿真结果验证了在高斯信号输入和色信号输入下，背景噪声为脉冲噪声时，本文算法的性能要明显优于其他现存算法。

图 1 Ag/TiO_x nanobelt/Ti忆阻器的制备过程

下载: 全尺寸图片幻灯片

图 2 Ag/TiO_x nanobelt/Ti忆阻器的性能测试

下载: 全尺寸图片幻灯片

图 3 Ag/TiO_x nanobelt/Ti忆阻器建模

下载: 全尺寸图片幻灯片

图 4 基于忆阻的全功能巴甫洛夫联想记忆电路

下载: 全尺寸图片幻灯片

图 5 情况1(初始状态)的电路仿真结果

下载: 全尺寸图片幻灯片

图 6 情况2(L₁)的电路仿真结果

下载: 全尺寸图片幻灯片

图 7 情况3(F₁)的电路仿真结果

下载: 全尺寸图片幻灯片

图 8 情况4(L₁)的电路仿真结果

下载: 全尺寸图片幻灯片

图 9 情况5(F₂)的电路仿真结果

下载: 全尺寸图片幻灯片

图 10 情况6(L₂)的电路仿真结果

下载: 全尺寸图片幻灯片

图 11 情况7(F₃)的电路仿真结果

下载: 全尺寸图片幻灯片

表 1 巴甫洛夫联想记忆电路的对比信息汇总

性能	文献[7]	文献[8,9,12,13]	文献[10,11]	文献[14]	文献[15]	文献[16]	文献[17,18,19]	本文工作
实物支撑	有	有	有	无	无	无	无	有
功能完备性	一类学习无遗忘	一类学习一类遗忘	一类学习一类遗忘	一类学习无遗忘	两类学习一类遗忘	两类学习两类遗忘	两类学习三类遗忘	两类学习三类遗忘
电路复杂度	简单	简单	简单	中等	复杂	中等	复杂	中等
生物特性	无	无	有	无	无	无	无	有

下载: 导出CSV

表 2 Ag/TiO_x nanobelt/Ti忆阻器SPICE模型子电路描述

* Ag/TiOx nanobelt/Ti memristor
.SUBCKT IJBCMEM Plus Minus PARAMS:
+kL=-6 AlphaL=2 aL=-1 wL=2 a1=0.22 b1=-0.38 c1=0.166 d1=9.96E-05 kH=3E-3 AlphaH=4 aH=-1 wH=1
+a2=0.22 b2=-10 b2=-10 c2=8.15 d2=3E-08 Vth1=0 Vth2=0
**************Differential equation mode*************
Gx 0 x value={F(V(x),V(Plus,Minus),aL,aH,wL,wH,kL,kH,AlphaL,AlphaH)}
Cx x 0 1 IC={0}
Raux x 0 1T
*********************Ohms law*********************
Gm Plus Minus value={IVRel(V(x),V(Plus,Minus),a1,a2,b1,b2,c1,c2,d1,d2)}
*********************Functions*********************
.func f1(x,v,kL,AlphaL,aL,wL)={kLv^AlphaLexp(-exp(aL*x+wL))}
.func f2(x,v,kH,AlphaH,aH,wH)={kHv^AlphaHexp(-exp(aH*x+wH))}
.func f3(x,v,a1,b1,c1,d1)={a1xexp(b1x^3+c1)sinh(d1*(v)^3)}
.func f4(x,v,a2,b2,c2,d2)={a2xexp(b2x^3+c2)sinh(d2*(v)^3)}
.func F(x,v,aL,aH,wL,wH,kL,kH,AlphaL,AlphaH)={if(v<Vth1,f1(x,v,kL,AlphaL,aL,wL),
+if(v>Vth2,f2(x,v,kH,AlphaH,aH,wH),0))}
.func IVRel(x,v,a1,a2,b1,b2,c1,c2,d1,d2)={if(v<Vth1,f3(x,v,a1,b1,c1,d1),if(v>Vth2,f4(x,v,a2,b2,c2,d2),0))}
ENDS Ag/TiOx nanobelt/Ti memristor

下载: 导出CSV

表 3 巴甫洛夫联想记忆信息汇总

学习过程	遗忘过程




	/　　　　　　　　/　　　　　　　　/

下载: 导出CSV

参考文献(31)

[1]	ZYARAH A M, GOMEZ K, and KUDITHIPUDI D. Neuromorphic system for spatial and temporal information processing[J]. IEEE Transactions on Computers, 2020, 69(8): 1099–1112.
[2]	RYU J H, KIM B, HUSSAIN F, et al. Bio-inspired synaptic functions from a transparent zinc-tin-oxide-based memristor for neuromorphic engineering[J]. Applied Surface Science, 2021, 544: 148796. doi: 10.1016/j.apsusc.2020.148796
[3]	董哲康, 杜晨杰, 林辉品, 等. 基于多通道忆阻脉冲耦合神经网络的多帧图像超分辨率重建算法[J]. 电子与信息学报, 2020, 42(4): 835–843. doi: 10.11999/JEIT190868 DONG Zhekang, DU Chenjie, LIN Huipin, et al. Multi-channel memristive pulse coupled neural network based multi-frame images super-resolution reconstruction algorithm[J]. Journal of Electronics &Information Technology, 2020, 42(4): 835–843. doi: 10.11999/JEIT190868
[4]	DONG Zhekang, LAI C S, ZHANG Zhaowei, et al. Neuromorphic extreme learning machines with bimodal memristive synapses[J]. Neurocomputing, 2021, 453: 38–49. doi: 10.1016/j.neucom.2021.04.049
[5]	DONG Zhekang, QI Donglian, HE Yufei, et al. Easily cascaded memristor-CMOS hybrid circuit for high-efficiency boolean logic implementation[J]. International Journal of Bifurcation and Chaos, 2018, 28(12): 1850149. doi: 10.1142/S0218127418501493
[6]	YANG Zijia and WANG Xiaoping. Memristor-based BAM circuit implementation for image associative memory and filling-in[J]. Neural Computing and Applications, 2021, 33(13): 7929–7942. doi: 10.1007/s00521-020-05538-7
[7]	ZIEGLER M, SONI R, PATELCZYK T, et al. An electronic version of Pavlov’s dog[J]. Advanced Functional Materials, 2012, 22(13): 2744–2749. doi: 10.1002/adfm.201200244
[8]	BICHLER O, ZHAO W, ALIBART F, et al. Pavlov’s dog associative learning demonstrated on synaptic-like organic transistors[J]. Neural Computation, 2013, 25(2): 549–566. doi: 10.1162/NECO_a_00377
[9]	HU S G, LIU Y, LIU Z, et al. Synaptic long-term potentiation realized in Pavlov’s dog model based on a NiO_x-based memristor[J]. Journal of Applied Physics, 2014, 116(21): 214502. doi: 10.1063/1.4902515
[10]	LI Yi, XU Lei, ZHONG Yingpeng, et al. Associative learning with temporal contiguity in a memristive circuit for large-scale neuromorphic networks[J]. Advanced Electronic Materials, 2015, 1(8): 1500125. doi: 10.1002/aelm.201500125
[11]	YU Fei, ZHU Liqiang, XIAO Hui, et al. Restickable oxide neuromorphic transistors with spike-timing-dependent plasticity and Pavlovian associative learning activities[J]. Advanced Functional Materials, 2018, 28(44): 1804025. doi: 10.1002/adfm.201804025
[12]	徐威, 王钰琪, 李岳峰, 等. 新型忆阻器神经形态电路的设计及其在条件反射行为中的应用[J]. 物理学报, 2019, 68(23): 238501. doi: 10.7498/aps.68.20191023 XU Wei, WANG Yuqi, LI Yuefeng, et al. Design of novel memristor-based neuromorphic circuit and its application in classical conditioning[J]. Acta Physica Sinica, 2019, 68(23): 238501. doi: 10.7498/aps.68.20191023
[13]	PEI Yifei, ZHOU Zhenyu, CHEN A P, et al. A carbon-based memristor design for associative learning activities and neuromorphic computing[J]. Nanoscale, 2020, 12(25): 13531–13539. doi: 10.1039/D0NR02894K
[14]	PERSHIN Y V and DI VENTRA M. Experimental demonstration of associative memory with memristive neural networks[J]. Neural Networks, 2010, 23(7): 881–886. doi: 10.1016/j.neunet.2010.05.001
[15]	CHEN Ling, LI Chuandong, WANG Xin, et al. Associate learning and correcting in a memristive neural network[J]. Neural Computing and Applications, 2013, 22(6): 1071–1076. doi: 10.1007/s00521-012-0868-7
[16]	WANG Lidan, LI Huifang, DUAN Shukai, et al. Pavlov associative memory in a memristive neural network and its circuit implementation[J]. Neurocomputing, 2016, 171: 23–29. doi: 10.1016/j.neucom.2015.05.078
[17]	YANG Le, ZENG Zhigang, and WEN Shiping. A full-function Pavlov associative memory implementation with memristance changing circuit[J]. Neurocomputing, 2018, 272: 513–519. doi: 10.1016/j.neucom.2017.07.020
[18]	SHANG Meijia and WANG Xiaoping. A memristor-based circuit design for generalization and differentiation on Pavlov associative memory[J]. Neurocomputing, 2020, 389: 18–26. doi: 10.1016/j.neucom.2019.12.106
[19]	SUN Junwei, HAN Juntao, LIU Peng, et al. Memristor-based neural network circuit of Pavlov associative memory with dual mode switching[J]. AEU-International Journal of Electronics and Communications, 2021, 129: 153552. doi: 10.1016/j.aeue.2020.153552
[20]	LO H Y, YANG C Y, HUANG G M, et al. Observing topotactic phase transformation and resistive switching behaviors in low power SrCoO_x memristor[J]. Nano Energy, 2020, 72: 104683. doi: 10.1016/j.nanoen.2020.104683
[21]	ZHOU Guangdong, REN Zhijun, SUN Bai, et al. Capacitive effect: An original of the resistive switching memory[J]. Nano Energy, 2020, 68: 104386. doi: 10.1016/j.nanoen.2019.104386
[22]	ZHOU Guangdong, REN Zhijun, WANG Lidan, et al. Resistive switching memory integrated with amorphous carbon-based nanogenerators for self-powered device[J]. Nano Energy, 2019, 63: 103793. doi: 10.1016/j.nanoen.2019.05.079
[23]	YU L S, LIU Q Z, XING Q J, et al. The role of the tunneling component in the current-voltage characteristics of metal-GaN Schottky diodes[J]. Journal of Applied Physics, 1998, 84(4): 2099–2104. doi: 10.1063/1.368270
[24]	AFIFI A, AYATOLLAHI A, and RAISSI F. STDP implementation using memristive nanodevice in CMOS-Nano neuromorphic networks[J]. IEICE Electronics Express, 2009, 6(3): 148–153. doi: 10.1587/elex.6.148
[25]	LI Junrui, DONG Zhekang, LUO Li, et al. A novel versatile window function for memristor model with application in spiking neural network[J]. Neurocomputing, 2020, 405: 239–246. doi: 10.1016/j.neucom.2020.04.111
[26]	HUTTER F, HOOS H H, and LEYTON-BROWN K. Sequential model-based optimization for general algorithm configuration[C]. The 5th International Conference on Learning and Intelligent Optimization, Rome, Italy, 2011: 507–523.
[27]	LIN G F and CHEN L H. A non-linear rainfall-runoff model using radial basis function network[J]. Journal of Hydrology, 2004, 289(1/4): 1–8.
[28]	RESCORLA R A. Pavlovian conditioning: It’s not what you think it is[J]. American Psychologist, 1988, 43(3): 151–160. doi: 10.1037/0003-066X.43.3.151
[29]	RESCORLA R A. Behavioral studies of Pavlovian conditioning[J]. Annual Review of Neuroscience, 1988, 11: 329–352. doi: 10.1146/annurev.ne.11.030188.001553
[30]	ALSAEED N H. Wish you were here: A psychological analysis using Atkinson-Shiffrin memory mode[J]. Journal of Literature and Art Studies, 2017, 6(5): 521–527.
[31]	BARKER R W J and HART B L. Precision absolute-value circuit technique[J]. International Journal of Electronics, 1989, 66(3): 445–448. doi: 10.1080/00207218908925401

施引文献

期刊类型引用(2)

1.	吴健华，张晓锋，陈亮. OVMD-MF算法用于漏电流光纤传感. 国防科技大学学报. 2025(01): 181-189 . 百度学术
2.	吴健华，张晓锋，陈亮. OVMD-ICA算法用于光纤电流传感器降噪. 光学学报. 2023(02): 43-52 . 百度学术

其他类型引用(3)

资源附件(0)

访问统计

图(11) / 表(3)

计量

文章访问数: 3471
HTML全文浏览量: 1092
PDF下载量: 265
被引次数: 5

1. 引言
2. ZA-lncosh和RZA-lncosh算法
2.1 ZA-lncosh算法
2.2 RZA-lncosh算法
3. Lawson-lncosh算法
4. 仿真结果
5. 结论

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于忆阻的全功能巴甫洛夫联想记忆电路的设计、实现与分析

doi: 10.11999/JEIT210376

通讯作者:
纪晓悦　ji.xiaoyue@zju.edu.cn

计量

Memory Circuit Design, Implementation and Analysis Based on Memristor Full-function Pavlov Associative

1. 引言

2. ZA-lncosh和RZA-lncosh算法

2.1 ZA-lncosh算法

2.2 RZA-lncosh算法

3. Lawson-lncosh算法

4. 仿真结果

5. 结论

期刊类型引用(2)

其他类型引用(3)

计量

目录

1. 引言

2. ZA-lncosh和RZA-lncosh算法

2.1 ZA-lncosh算法

2.2 RZA-lncosh算法

3. Lawson-lncosh算法

4. 仿真结果

5. 结论

留言板

基于忆阻的全功能巴甫洛夫联想记忆电路的设计、实现与分析

doi: 10.11999/JEIT210376

通讯作者: 纪晓悦 ji.xiaoyue@zju.edu.cn

计量

出版历程

Memory Circuit Design, Implementation and Analysis Based on Memristor Full-function Pavlov Associative

1. 引言

2. ZA-lncosh和RZA-lncosh算法

2.1 ZA-lncosh算法

2.2 RZA-lncosh算法

3. Lawson-lncosh算法

4. 仿真结果

5. 结论

期刊类型引用(2)

其他类型引用(3)

计量

出版历程

目录

1. 引言

2. ZA-lncosh和RZA-lncosh算法

2.1 ZA-lncosh算法

2.2 RZA-lncosh算法

3. Lawson-lncosh算法

4. 仿真结果

5. 结论

通讯作者:
纪晓悦　ji.xiaoyue@zju.edu.cn