高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于忆阻器的感存算一体技术综述

张章 李超 韩婷婷 许傲 程心 刘钢 解光军

杨晋生, 蔡靖, 丁润涛. 一种具有鲁棒性的基于小波变换的滤波方法[J]. 电子与信息学报, 2002, 24(3): 413-417.
引用本文: 张章, 李超, 韩婷婷, 许傲, 程心, 刘钢, 解光军. 基于忆阻器的感存算一体技术综述[J]. 电子与信息学报, 2021, 43(6): 1498-1509. doi: 10.11999/JEIT201102
Yang Jinsheng, Cai Jing, Ding Runtao. Robust filter algorithm based on wavelet[J]. Journal of Electronics & Information Technology, 2002, 24(3): 413-417.
Citation: Zhang ZHANG, Chao LI, Tingting HAN, Ao XU, Xin CHENG, Gang LIU, Guangjun XIE. Review of the Fused Technology of Sensing, Storage and Computing Based on Memristor[J]. Journal of Electronics & Information Technology, 2021, 43(6): 1498-1509. doi: 10.11999/JEIT201102

基于忆阻器的感存算一体技术综述

doi: 10.11999/JEIT201102
基金项目: 国家自然科学基金(U19A2053, 61674049),中央高校基本科研业务费(JZ2020YYPY0089),中国科学院红外成像材料与器件重点实室开放课题(IMDKFJJ-19-04)
详细信息
    作者简介:

    张章:男,1982年生,教授,研究方向为集成电路设计及基于混合器件的AI神经形态芯片设计

    李超:男,1998年生,硕士生,研究方向为基于混合器件的AI神经形态芯片设计

    韩婷婷:女,1998年生,硕士生,研究方向为基于混合器件的AI神经形态芯片设计

    许傲:男,1998年生,硕士生,研究方向为基于混合器件的AI神经形态芯片设计

    程心:女,1985年生,副教授,研究方向为集成电路设计

    刘钢:男,1982年生,教授,研究方向为基于新型半导体材料的非冯忆阻逻辑器件与神经形态器件

    解光军:男,1970年生,教授,研究方向为集成电路及新型器件电路设计

    通讯作者:

    程心 xcheng@hfut.edu.cn

  • 中图分类号: TN601

Review of the Fused Technology of Sensing, Storage and Computing Based on Memristor

Funds: The National Natural Science Foundation of China (U19A2053, 61674049), The Fundamental Research Funds for Central Universities (JZ2020YYPY0089), Key Laboratory of CAS (IMDKFJJ-19-04)
  • 摘要: 忆阻器的低功耗、高响应、纳米级、非易失性等特性,在实现非冯·诺依曼计算架构中展现出巨大潜力。基于忆阻器的高密度横梁阵列可实现数据存储及并行计算一体的逻辑电路和类脑计算电路。此外,纳米传感器与忆阻器进一步集成,采集的信号直接送往忆阻器阵列进行运算和存储,感知、存储与计算一体化的芯片技术成为新的研究热点。该文对基于忆阻器的存算一体技术、感存算一体技术的研究现状进行综述,并给出研究前景展望。
  • 肾癌是泌尿系统常见的恶性肿瘤之一,2020年全球肾癌新发病例和新增死亡病例在所有的恶性肿瘤中分别占2.2%和1.8%[1]。在我国,肾癌的年发病率也呈明显增长的趋势[2]。肾透明细胞癌(clear cell Renal Cell Carcinoma, ccRCC)是肾癌最常见的病理类型,预后较差[3]。2016年国际泌尿病理协会(International Society for Urology and Pathology, ISUP)发布的ISUP分级系统中,将ccRCC按照细胞核仁突出的程度分为3个核级,若存在极端多形性和/或肿瘤巨细胞、和/或肉瘤样、和/或横纹肌样分化,则作为4级[4]。在临床治疗中,如果术前能够对ccRCC进行精确核分级对于治疗方案的制定和患者预后的评估都具有重要意义。然而,精确的核分级高度依赖临床医生的专业知识和经验水平,同一病例的诊断结果在不同的医师之间可能存在较大差异。随着计算机技术的快速发展,计算机辅助诊断系统因速度快、稳定性强、精确度高等优点在医学影像处理领域取得了快速发展[5]。将计算机辅助诊断系统应用于ccRCC的核分级,可以在节省诊断时间的同时,减少医生因技术或临床经验差异而导致的诊断误判。

    增强CT是肾肿瘤早期发现和诊断常用的影像学方法之一,由于不同ISUP等级的ccRCC可能表现出不同的影像学特征,一些学者利用CT图像构建了ccRCC的ISUP等级预测模型。韩冬等人[6]回顾性地收集了131例患者的CT图像,对患者的性别、是否出现血尿、是否腹痛等一般特征和增强CT图像特征进行降维后用于神经网络模型的训练和验证,在验证集中模型鉴别高、低级别ccRCC的AUC为0.7924,敏感度为75.00%,特异度为86.96%。陈心怡等人[7]构建了一种基于增强CT动脉期图像的人工智能模型,通过对3D肿瘤的感兴趣区域提取特征建立了逻辑回归模型,在验证集上模型对高、低级别ccRCC的敏感性和特异性分别为81.25%和84.93%,AUC为0.8987。康钦钦等人[8]提出并验证了一个基于CT影像特征及解剖学RENAL评分的模型,用于无创、个体化预测ccRCC的病理分级,该模型在训练集和测试集上的AUC分别为0.972和0.995,均表现出良好的鉴别能力。Lin等人[9]基于ResNet卷积神经网络构建了一个CT图像的ccRCC核分级模型,并使用重复测量法比较了图像裁剪、设置注意力级别、选择模型复杂度和应用迁移学习等不同方法对深度模型性能的影响,经过最终测试,该模型在内部验证集上的准确率为73.7±11.6%, AUC为0.82±0.11,在外部验证集上的准确率为77.9±6.2%, AUC为0.81±0.04。Hadjiyski[10]则利用具有迁移学习的Inception V3深度学习模型对从 3D CT 扫描中裁剪得到肾癌图像进行训练后,经过最终测试,模型在训练集、验证集和测试集上的AUC 分别为0.97, 0.91和0.90。

    除CT图像外,基于核磁共振图像的计算机辅助诊断模型也被应用于ccRCC的分级预测。石博文等人[11]回顾性地分析了63例术前行腹部3.0T MR扫描的ccRCC患者的图像数据,首先采用A.K.软件提取医生在T2序列图像上勾画的感兴区域的影像组学特征,再从中筛选出对术后病理分级最具有诊断价值的特征参数,然后构建随机森林机器学习模型对特征参数进行分类训练和测试,实验结果表明模型的准确度、敏感度、特异度及AUC分别为85%, 100%, 72%, 0.87。张钰等人[12]则回顾性分析了78例经手术病理确诊为ccRCC患者的术前肾脏MRI图像,在选取横断面图像病灶的最大层面后由医生分别在T2WI及皮髓质期图像上勾画感兴趣区,然后提取图像的纹理特征并筛选出具有统计学意义的特征,据此构建了多因素二元logistic回归模型,经过最终测试,模型在训练集和验证集中AUC分别为0.901和0.820。

    尽管上述研究有助于对ccRCC进行分级诊断,但是存在以下问题:(1)病理诊断结果是ccRCC核分级的金标准,然而目前鲜有基于病理图像的ISUP核分级研究;(2)以往研究只粗略将ccRCC划分为低级别和高级别两种等级,并没有以ISUP为标准进行更为精确的核分级。针对以上问题,本文构建了对ccRCC病理图像进行ISUP分级预测的深度学习网络模型。主要贡献包括:(1)基于病理图像实现了ccRCC的ISUP 1-3级的精确核分级;(2)提出了一种新的通道注意力模块sECANet用于提升卷积神经网络性能;(3)通过先对病理图像的每个切块(Patch)进行分类,再使用多数投票法得到图像(Image)级别的病理学分级预测结果。

    卷积神经网络是人工智能领域重要的研究成果之一,在图像分类、目标检测、实例分割等领域取得了突破性的成果[13]。卷积神经网络通常由一系列的卷积层、池化层和非线性激活层组合而成,与之前的全连接神经网络相比,卷积神经网络可以通过权重共享的方式在局部感受野上进行信息聚合,进而能够从全局感受野上捕获图像的特征,有效地减少了参数量。目前,诸如AlexNet[14], VGGNet[15]和ResNet[16]等一系列典型的卷积神经网络已经应用于人脸识别、自动驾驶和医学影像识别等领域。这些卷积神经网络都通过不断堆叠卷积层的个数来提高网络的性能。

    近几年的研究发现,在卷积神经网络中引入通道注意力机制对于提高其识别性能有着巨大的潜力[17]。最早的通道注意力模型SeNet[18]通过对特征图通道之间的相互依赖关系进行建模,自动获取每个特征通道的重要程度,然后以此为通道权重提升有用的特征并抑制对当前任务用处不大的特征,从而在一定程度上提高了网络的性能。随后,Wang等人[19]发现SeNet对特征图的降维会降低网络性能,并且获取所有通道之间的依赖关系是低效且不必要的。为此,他们提出了一种局部跨信道交互策略ECANet,可以在不降低维数的通道级全局平均池化之后,通过执行卷积核大小为k的1维卷积来获得特征图每个通道及其k个临近通道之间的局部依赖关系,在避免降维造成的信息损失的同时也有效地获取了跨通道之间的相互依赖关系。

    尽管ECANet和SeNet相比有着更好的性能提升,但是ECANet仅仅考虑了特征图当前通道与其若干临近通道之间的局部依赖关系,这样不可避免地丢失当前通道与其他远距离通道之间的全局依赖关系。因此,本文提出了一种新的通道注意力模块sECANet,通过计算特征图中当前通道和临近通道以及当前通道和远距离通道之间的信息交互获取更多有用的特征。

    sECANet通道注意力模块结构如图1所示。改进前的ECANet对特征图进行通道级全局平均池化操作后,通过计算得到了每个通道及其k个临近通道之间的局部依赖关系信息(图1中示例k=3)。为了得到更多的全局依赖关系,sECANet在此基础上增加了一个新的通道级全局平均池化并打乱的分支(图1中虚线框所示),该分支在进行通道级的全局平均池化后对特征图的通道顺序进行随机重排,因此打乱前的远距离通道可能成为其邻近通道。在获取新的特征图当前通道及其新的k个临近通道之间的局部依赖关系后,对两个分支进行加权就可以得到更多的通道间的交互信息。

    图 1  sECANet通道注意力模块

    sECANet通道注意力模块具体的计算流程如下:假设输入特征经过卷积操作后的特征向量为xRW×H×C,其中W, HC分别表示特征向量的宽度、高度和通道大小。通道维度的全局平均池化可以表示为

    y=g(x)=1WHW,Hi=1,j=1xij
    (1)

    则在sECANet中两个分支输入的特征向量可以分别表示为

    ys=S(g(x))=S(1WHW,Hi=1,j=1xij)
    (2)
    yg=g(x)=1WHW,Hi=1,j=1xij
    (3)

    其中,ys表示通过全局平均池化后并打乱通道顺序分支后得到的向量,yg表示通过全局平均池化分支后得到的向量,S()是通道打乱操作[20]。给定没降维的特征向量为yRC,则通道注意力模块对通道间权重的计算可以通过式(4)得到。

    w=σ(Wky)
    (4)

    其中,σ是Sigmoid激活函数,Wk是ECANet中计算通道注意力的参数矩阵。σ的计算方法如式(5),Wk的定义如式(6)

    σ(x)=11+ex
    (5)
    Wk=[w1,1w1,k00w2,2000wC,C]
    (6)

    根据式(6)可知,yi的计算权重只考虑了yi和它邻近的k个通道,

    wi=σ(kj=1wjyj),yjΩki
    (7)

    其中,Ωki表示yi和它k个临近通道的集合。这种策略可以通过内核大小为k的1维卷积实现。因此,两个分支的特征通道权重分别为

    ˜w=σ(C1Dk(ys))
    (8)
    ˆw=σ(C1Dk(yg))
    (9)

    其中,C1Dk表示卷积核大小为k的1维卷积。考虑到模型参数的大小和运算速度,所有的1维卷积核大小均为k=3

    通道间权重选择操作(Select)通过式(10)对两个分支进行加权得到[21]

    V=a˜w+b˜w,a+b=1
    (10)

    其中,ab是动态参数,在网络训练时会不断调整优化。而注意力模块最终的输出˜xRW×H×C由通道间的权重V和输入注意力模块的特征向量xRW×H×C相乘得到,如式(11)所示。

    ˜x=Vx
    (11)

    本文选择ResNet50网络作为基础网络架构,并通过在ResNet50中添加SeNet, ECANet和sECANet等不同的注意力模块后比较网络的性能表现。

    ResNet50的网络结构如图2所示,输入图像首先经过一个7×7的卷积层和一个3×3的池化层提取图像中的浅层特征,然后经过Stage2, Stage3, Stage4和Stage5卷积层提取图像中的深层次特征,随后通过一个全局平均池化层对提取到的特征进行降维操作并将其作为全连接层神经网络的输入,最后提取到的特征通过一个softmax层输出网络的预测结果。在ResNet50中,Stage2, Stage3, Stage4和Stage5卷积层分别由3, 4, 6和3个瓶颈层组成,每一个瓶颈层又由1个1×1卷积层、1个3×3卷积层、1个1×1卷积层和1个输入和输出间残差连接组成。本文将sECANet插入到了Stage2~Stage5的每个瓶颈层中。图2以Stage3为例,这个卷积层中包含4个瓶颈层,在每个瓶颈层的第2个1×1卷积层后都插入1个sECANet模块。

    图 2  ResNet50网络的整体结构图以及sECANet模块插入位置示意图

    本文从中科光华(西安)智能生物科技有限公司的NO.U090KI01 肾癌组织芯片中收集到了90例患者的病变区域病理切片图像,每例患者有明确的ISUP分级、Stage分期、TNM分期等病理诊断结果。组织芯片所有临床信息的统计结果如表1所示。

    表 1  No.U090KI01组织芯片的临床信息
    项目特征数量
    年龄(岁)≤5033
    51~7049
    >708
    性别男性28
    女性62
    ISUP等级ISUP 1级38
    ISUP 2级25
    ISUP 3级17
    正常10
    Stage分期Ⅰ期59
    Ⅱ期19
    Ⅲ期2
    TNM分期T1N0M059
    T2N0M019
    T3N0M02
    发病位置左肾癌10
    右肾癌8
    未标明62
    下载: 导出CSV 
    | 显示表格

    由于每个患者的病理图像在40倍放大倍率下的尺寸为5120像素×5120像素,将全片送入到网络中进行训练是不可行的,故对每位患者的原始病理图像进行切分。切分过程如图3中第1个虚线框所示(Image切分为Patch),先将图像裁成尺寸为320像素×320像素的切块。为了减少信息丢失,取步长为260。再对裁剪得到的切块进行筛选,剔除那些空白区域、组织纤维、出血、血管、囊肿或淋巴病变超过50%区域的Patch,最终得到19978张切块。

    图 3  40倍放大倍率下病理图像切分以及图像增强过程

    数据增强是提高网络性能和降低分类网络模型过拟合风险的重要方法之一[22]。因此,对筛选后的切块进行增强,具体的操作如图3中第2个虚线框所示(数据增强模块)。首先,将尺寸为320像素×320像素的切块调整为256像素×256像素后,再对图像进行随机水平翻转、随机垂直翻转和随机旋转等一系列的增强操作,并进行归一化处理,最后将得到的张量送入到卷积神经网络模型中。

    本文实验环境配置如下:CPU为Intel(R) Xeon(R) Gold 6240 CPU @ 2.60 GHz;系统版本为:Ubuntu 18.04.5 LTS PC;GPU为NVIDIA RTX 2080Ti GPU*2,CUDA11.1;Python版本为3.7.11;深度学习框架版本为Pytorch 1.8.1。

    考虑到样本的不均衡性,本文引入加权交叉熵损失函数,来抑制样本不平衡对模型性能产生的影响。为了加快模型的训练速度,提高模型的稳定性和泛化能力,本文使用ImageNet数据集上学习到的 ResNet50的权重作为初始网络参数,注意力模块的参数则进行了随机初始化。然后通过随机梯度下降 (Stochastic Gradient Descent, SGD) 算法优化网络参数,权重衰减为 10–5,学习动量为 0.9,batch size大小为 80。每个模型训练 100 个epoch,其中初始学习率设置为 0.01,并每隔30个epoch学习率乘以0.1。

    本文采用五折交叉验证来衡量模型的性能。值得注意的是在划分训练集和验证集时以患者为个体单位对不同的类别进行分层采样,从而提高模型对患者进行预测的准确度。由于实验中先将病理图像划分成切块进行训练,因此首先对网络进行Patch级别的分类性能评价。每个病例的分类结果采用多数投票法得到,即统计该病例切块数最多的切块分级作为该病例的最终预测结果,因此进一步进行Image级别的分类性能评价。

    评价指标采用分类准确率(Acc、精确率(Pre)、召回率(Rec)、F1分数(F1)、混淆矩阵和梯度加权类激活映射方法(Gradient-weighted Class Activation Mapping, Grad-CAM)。分类准确率、精确率、召回率和F1可以通过式(12)—式(15)得到。

    Acc(%)=TP+TNTP+FP+TN+FN×100
    (12)
    Pre(%)=TPTP + FP×100
    (13)
    Rec(%)=TPTP + FN×100
    (14)
    F1(%)=2×Rec×PreRec+Pre×100
    (15)

    其中,TP是真正例的个数,FN是假反例的个数,FP是假正例的个数,TN是真反例的个数。

    混淆矩阵表示分类器处理多分类问题时造成的混淆情况,横坐标表示分类器预测的类别,纵坐标表示图像的真实类别,对角线上的值表示每类图像被正确分类的个数,对角线颜色越深则表明分类器的性能越好,本文在绘制时对预测结果进行了归一化处理。

    Grad-CAM可以通过生成粗略的定位图,突出图像中用于分类器预测的重要区域,其中红色表示分类器预测时高关注度的区域,而深蓝色区域表示分类器预测时低关注度的区域[23]

    为了验证sECANet通道注意力机制的有效性,本文在相同的数据集上对比了ResNet50基础网络和分别融合3种不同的通道注意力模块SeNet, ECANet和sECANet后的性能。融合不同注意力模块的ResNet50模型在Patch级别的评价指标如表2所示(其中加粗字体表示相同评价指标下的最优结果)。通过比较可以发现通道注意力模块SeNet, ECANet和sECANet均可有效地提升网络的性能,且本文提出的sECANet相较于其他两者是最优的。与基础的ResNet50相比,融合了sECANet后网络的Acc、Pre、Rec和F1分别提高了1.91% (78.48% vs. 76.57%), 1.69% (79.95% vs. 78.26%), 2.25% (78.43% vs. 76.18%)和1.84% (78.51% vs. 76.67%)。同时,在五折交叉验证中,ResNet50 + sECANet网络模型的各个分类指标的标准差(Standard Deviation, SD)最小,这表明相较于其他网络,本文提出的算法的分类性能最稳定。

    表 2  融合不同注意力模块的ResNet50模型在Patch级别的分类性能(%)对比
    方法AccPreRecF1
    ResNet5076.57±4.3878.26±5.4976.18±4.4976.67±4.46
    ResNet50+SeNet77.64±3.4278.92±4.7477.69±3.0377.39±3.51
    ResNet50+ECANet77.27±3.9079.78±5.0377.82±3.7678.01±3.87
    本文ResNet50+sECANet78.48±3.1779.95±4.3778.43±2.4478.51±3.04
    下载: 导出CSV 
    | 显示表格

    进一步地,本文计算了融合不同注意力模块的ResNet50模型在Patch级的分类混淆矩阵,结果如图4所示,主对角线的数值即为各类的召回率。通过比较4个混淆矩阵可以看出,本文提出的sECANet整体性能最好、分类准确率最高(图4(d))。

    图 4  融合不同注意力模块的ResNet50模型在Patch级别分类结果混淆矩阵

    值得注意的是,虽然所有的算法都能够较好地区分ISUP 1级和正常级别的ccRCC病理图像,但在鉴别ISUP 2级、ISUP 3级时的表现性能相对较差。其中分类错误的ISUP 2级主要被鉴别为ISUP 1级或ISUP 3级,且错分为前者的可能性更大;分类错误的ISUP 3级主要被鉴别为ISUP 2级。导致该现象的原因一方面可能是数据集中4种类别的样本数量较少(ISUP 1级有38例,ISUP 2级有25例,ISUP 3级有17例,正常有10例),还需要进一步地收集典型的ISUP 2级和ISUP 3级的数据;另一方面从组织病理学特征来看,相邻ISUP级别的病理图像中细胞核仁形态特征相近。图5的蓝色圆点区域为HE染色的细胞核,正常的细胞核形态最小(图5(d)),ISUP 1级的细胞核增大(图5(a)),ISUP 3级细胞核更大(图5(c)),且形态有一定的变化,而ISUP 2级(图5(b))的细胞核大小介于ISUP 1级和3级之间。在数据量有限的情况下,模型很难提取足够多的有效区分相邻级别的特征信息,因此导致ISUP 2级可能被错分为ISUP 1级或3级,ISUP 3级和少量ISUP 1级可能被错分成ISUP 2级。此外,对比图4(a)图4(d),融合了新的注意力模块的ResNet50提升了对ISUP 1级(0.90 vs. 0.87)和正常级别(0.94 vs. 0.89)的分类能力,但是对ISUP 2级和3级的提升效果不显著。

    图 5  数据集中4种不同病理级别的典型示意图

    通过五折交叉验证,得到90例患者每个Patch的分类结果后,再通过多数投票法得到每个患者Image的分类结果,统计结果如表3所示。从实验结果可知,在ResNet50网络中引入ECANet或sECANet通道注意力模块均可显著提高模型的性能,且sECANet模块对网络分类性能的提升更为显著,sECANet在进行通道选择时能够关注到更多与任务相关的通道信息,相对SeNet和ECANet能够提取更多有用的特征,因此能够更好地在Image级别实现ccRCC病理图像的精确分级。

    表 3  融合不同注意力模块的ResNet50模型在Image级别的分类性能(%)对比
    方法AccPreRecF1
    ResNet5085.5685.784.5284.46
    ResNet50+SeNet85.5684.7284.5284.36
    ResNet50+ECANet86.6788.5985.9986.99
    ResNet50+sECANet(Ours)88.8989.8887.6588.51
    下载: 导出CSV 
    | 显示表格

    为了进一步比较融合不同注意力模块的ResNet50模型的分类效果,本文进一步地计算了4种算法在Image级别上的分类结果混淆矩阵,结果如图6所示。

    图 6  融合不同注意力模块的ResNet50模型在Image级别分类结果混淆矩阵

    通过比较4个混淆矩阵可以看出,融合不同注意力模块的ResNet50模型都能够在Image级别对正常的病理图像实现精确的分级,对ISUP 1级的分类精度也较高,但对ISUP 2级、ISUP 3级的预测效果较差。其中, ISUP 2级主要被错误地鉴别为ISUP 1级或ISUP 3级,部分ISUP 3级和极少量ISUP 1级主要被鉴别为ISUP 2级。此外,与基础网络ResNet50相比,本文提出的ResNet50 +sECANet在Image级别上将ISUP 1级的召回率由0.97提升为1.00,同时有效地提升了ISUP 2级(0.80 vs. 0.76)和ISUP 3级(0.71 vs. 0.65)的召回率。

    为解决卷积神经网络模型中感兴趣的区域不可见问题,本文分别绘制了融合不同注意力模块的ResNet50模型的Grad-CAM图像,对不同算法在对输入图像进行分类时重点关注的区域在视觉上进行可视化处理,以便于了解模型做出决策时的核心图像区域。由于分类器根据细胞核仁的形态对病理图像进行分级预测,因此网络的感兴趣区域如果更集中在细胞核区域,就能够提取更多有用的分类特征,排除无关区域的干扰,从而使网络的性能更优。对于图7的3张输入图像,sECANet在分类决策时相较于基础网络ResNet50,以及融合其他通道注意力机制的ResNet50+SeNet, ResNet50+ECANet要关注到病理图像中更多的细胞核,因此可以提取更多有用的特征,从而得到最佳的分类性能。

    图 7  融合不同注意力模块的ResNet50模型相同输入图像下的Grad-CAM图

    为了进一步验证ResNet50+sECANet模型的分类效果,将本文方法与近几年代表性的ShuffleNet V2, DenseNet121和VGG16等分类方法进行了对比,所有方法均使用本文构建的数据集,实验评价指标采用Acc,Pre,Rec与F1进行定量分析,不同算法在Patch级别的分类性能见表4。本文提出的ResNet50+sECANet模型的准确率为78.48±3.17%,精确率为79.95±4.37%,召回率为78.43±2.44,F1分数为78.51±3.04%,与其他几种网络算法相比均最高,同时各个分类性能指标的标准差最小,表明我们提出的ISUP分级模型整体的预测效果优于其他模型,且具有更好的泛化能力和更高的可靠性。

    表 4  不同网络在Patch级别的分类性能(%)对比
    方法AccPreRecF1
    ShuffleNet V2[20]75.87±5.0377.78±5.6475.87±5.3475.79±5.13
    DenseNet121[24]76.64±3.8176.96±5.0676.42±3.4975.93±3.72
    VGG16[15]75.89±3.6077.20±5.3874.97±4.8874.66±4.70
    本文ResNet50+sECANet78.48±3.1779.95±4.3778.43±2.4478.51±3.04
    下载: 导出CSV 
    | 显示表格

    表5是本文提出的ResNet50+sECANet 与ShuffleNet V2, DenseNet121, VGG16等不同算法在Image级别上分类性能的对比结果。ResNet50+sECANet预测所有病例的ISUP分级的准确率达到88.89%,精确率达到89.88%,召回率达到87.65%,F1分数达到88.51%,在所有的模型中均表现出最优的性能。

    表 5  不同网络在Image级别的分类性能(%)对比
    方法AccPreRecF1
    ShuffleNet V2[20]85.5687.683.7184.92
    DenseNet121[24]86.6786.4686.3386.15
    VGG16[15]84.4484.9582.4983.38
    本文ResNet50+sECANet88.8989.8887.6588.51
    下载: 导出CSV 
    | 显示表格

    本文针对ECANet通道注意力模块在捕获特征通道间相互依赖关系时只考虑临近通道而忽略远距离通道的不足,提出了一种两者兼顾的通道注意力模块sECANet,并将其应用于ccRCC病理图片的Patch级别的ISUP分级预测。在得到每个患者Patch级别的预测结果后,再通过多数投票法得到相对应患者Image级别的分类结果。最终的实验结果表明,新的注意力模块能够有效地提升网络的分类能力和泛化能力,特别是有效提升了Image级别的预测结果。但是,本文提出的ccRCC ISUP分级模型识别ISUP 2级和ISUP 3级的性能还需改进,因此收集更多的典型数据以及如何利用卷积神经网络提取更有效区分ISUP等级的图像特征是下一步的研究方向之一。此外,本研究采用的数据集是从每个患者的全视野数字切片(Whole Slide Image, WSI)上对病变区域采样后得到的,因此进一步开发针对肾组织WSI图像的病理分级CAD也是未来的主要工作。

  • 图  1  基于忆阻器的逻辑单元

    图  2  基于忆阻器的类脑电路

    图  3  触觉感存算一体技术

    图  4  视觉感存算一体技术

    图  5  嗅觉感存算一体技术

    图  6  听觉感存算一体技术

    图  7  感存算片上集成

  • [1] CHUA L. Memristor-the missing circuit element[J]. IEEE Transactions on Circuit Theory, 1971, 18(5): 507–519. doi: 10.1109/TCT.1971.1083337
    [2] LI Can, GRAVES C E, SHENG Xia, et al. Analog content-addressable memories with memristors[J]. Nature Communications, 2020, 11(1): 1638. doi: 0.1038/s41467-020-15254-4
    [3] CAO Qiang, LÜ Weiming, WANG Renshaw, et al. Nonvolatile multistates memories for high-density data storage[J]. ACS Applied Materials & Interfaces, 2020, 12(38): 42449–42471. doi: 10.1021/acsami.0c10184
    [4] ALI K A, RIZK M, BAGHDADI A, et al. Crossbar memory architecture performing memristor overwrite logic[C]. 2019 26th IEEE International Conference on Electronics, Circuits and Systems (ICECS), Genoa, Italy, 2019: 723–726. doi: 10.1109/ICECS46596.2019.8964910.
    [5] LUO Li, DONG Zhekang, DUAN Shukai, et al. Memristor-based stateful logic gates for multi-functional logic circuit[J]. IET Circuits, Devices & Systems, 2020, 14(6): 811–818. doi: 10.1049/iet-cds.2019.0422
    [6] ASCOLI A, SLESAZECK S, MÄHNE H, et al. Nonlinear dynamics of a locally-active memristor[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2015, 62(4): 1165–1174. doi: 10.1109/TCSI.2015.2413152
    [7] CORINTO F and FORTI M. Nonlinear dynamics of memristor oscillators via the flux-charge analysis method[C]. 2017 IEEE International Symposium on Circuits and Systems (ISCAS), Baltimore, USA, 2017. doi: 10.1109/ISCAS.2017.8050989.
    [8] WU Renping and WANG Chunhua. A new simple chaotic circuit based on memristor[J]. International Journal of Bifurcation and Chaos, 2016, 26(9): 1650145. doi: 10.1142/S0218127416501455
    [9] WANG Chunhua, XIA Hu, and ZHOU Ling. A memristive hyperchaotic multiscroll jerk system with controllable scroll numbers[J]. International Journal of Bifurcation and Chaos, 2017, 27(6): 1750091. doi: 10.1142/s0218127417500912
    [10] ZHU Minghao, WANG Chunhua, DENG Quanli, et al. Locally active memristor with three coexisting pinched hysteresis loops and its emulator circuit[J]. International Journal of Bifurcation and Chaos, 2020, 30(13): 2050184. doi: 10.1142/S0218127420501849
    [11] ZHOU Chao, WANG Chunhua, SUN Yichuang, et al. Weighted sum synchronization of memristive coupled neural networks[J]. Neurocomputing, 2020, 403: 211–233. doi: 10.1016/j.neucom.2020.04.087
    [12] YAO Wei, WANG Chunhua, SUN Yichuang, et al. Exponential multistability of memristive Cohen-Grossberg neural networks with stochastic parameter perturbations[J]. Applied Mathematics and Computation, 2020, 386: 125483. doi: 10.1016/j.amc.2020.125483
    [13] LIN Hairong, WANG Chunhua, HONG Qinghui, et al. A multi-stable memristor and its application in a neural network[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2020, 67(12): 3472–3476. doi: 10.1109/TCSII.2020.3000492
    [14] LIN Hairong, WANG Chunhua, SUN Yichuang, et al. Firing multistability in a locally active memristive neuron model[J]. Nonlinear Dynamics, 2020, 100(4): 3667–3683. doi: 10.1007/s11071-020-05687-3
    [15] LIN Hairong, WANG Chunhua, and TAN Yumei. Hidden extreme multistability with hyperchaos and transient chaos in a Hopfield neural network affected by electromagnetic radiation[J]. Nonlinear Dynamics, 2020, 99(4): 2369–2386. doi: 10.1007/s11071-019-05408-5
    [16] IELMINI D and WONG H S P. In-memory computing with resistive switching devices[J]. Nature Electronics, 2018, 1(6): 333–343. doi: 10.1038/s41928-018-0092-2
    [17] CHI Ping, LI Shuangchen, XU Cong, et al. PRIME: A novel processing-in-memory architecture for neural network computation in ReRAM-based main memory[C]. 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA), Seoul, Korea, 2016: 27–39. doi: 10.1109/ISCA.2016.13.
    [18] BORGHETTI J, SNIDER G S, KUEKES P J, et al. ‘Memristive’ switches enable ‘stateful’ logic operations via material implication[J]. Nature, 2010, 464(7290): 873–876. doi: 10.1038/nature08940
    [19] KVATINSKY S, BELOUSOV D, LIMAN S, et al. MAGIC—memristor-aided logic[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2014, 61(11): 895–899. doi: 10.1109/TCSII.2014.2357292
    [20] ALAMGIR Z, BECKMANN K, CADY N, et al. Flow-based computing on nanoscale crossbars: Design and implementation of full adders[C]. 2016 IEEE International Symposium on Circuits and Systems, Montreal, Canada, 2016: 1870–1873.
    [21] TALATI N, GUPTA S, MANE P, et al. Logic design within memristive memories using memristor-aided loGIC (MAGIC)[J]. IEEE Transactions on Nanotechnology, 2016, 15(4): 635–650. doi: 10.1109/TNANO.2016.2570248
    [22] LI H, GAO B, CHEN Z, et al. A learnable parallel processing architecture towards unity of memory and computing[J]. Scientific Reports, 2015, 5: 13330. doi: 10.1038/srep13330
    [23] CHENG Long, ZHANG Meiyun, LI Yi, et al. Reprogrammable logic in memristive crossbar for in-memory computing[J]. Journal of Physics D: Applied Physics, 2017, 50(50): 505102. doi: 10.1088/1361-6463/aa9646
    [24] KARIMI A and REZAI A. High-performance digital logic implementation approach using novel Memristor-based multiplexer[J]. International Journal of Circuit Theory and Applications, 2019, 47(12): 1933–1947. doi: 10.1002/cta.2712
    [25] BEN-HUR R, RONEN R, HAJ-ALI A, et al. SIMPLER MAGIC: Synthesis and mapping of in-memory logic executed in a single row to improve throughput[J]. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2020, 39(10): 2434–2447. doi: 10.1109/TCAD.2019.2931188
    [26] LIU Xiaoxiao, MAO Mengjie, LIU Beiye, et al. Harmonica: A framework of heterogeneous computing systems with memristor-based neuromorphic computing accelerators[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2016, 63(5): 617–628. doi: 10.1109/TCSI.2016.2529279
    [27] HALAWANI Y, MOHAMMAD B, Al-QUTAYRI M, et al. A re-configurable memristor array structure for in-memory computing applications[C]. 2018 30th International Conference on Microelectronics (ICM), Sousse, Tunisia, 2018: 160–163. doi: 10.1109/ICM.2018.8704111.
    [28] ZHANG Xunming, ZHANG Quan, YANG Jianguo, et al. Novel hybrid computing architecture with memristor-based processing-in-memory for data-intensive applications[C]. 2018 14th IEEE International Conference on Solid-State and Integrated Circuit Technology (ICSICT), Qingdao, China, 2018: 1–3. doi: 10.1109/ICSICT.2018.8564888.
    [29] ALAM M R, NAJAFI M H, and NEJAD N T. Exact stochastic computing multiplication in memristive memory[J]. IEEE Design & Test, To be published. doi: 10.1109/MDAT.2021.3051296
    [30] KOLMS T, LANG C, WALDNER A, et al. Towards in-memory computing: Arithmetic operations on real memristors[C]. The IECON 2020 the 46th Annual Conference of the IEEE Industrial Electronics Society, Singapore, 2020: 2296–2301. doi: 10.1109/IECON43393.2020.9254441.
    [31] ZANOTTI T, PUGLISI F M, and PAVAN P. Reconfigurable smart in-memory computing platform supporting logic and binarized neural networks for low-power edge devices[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2020, 10(4): 478–487. doi: 10.1109/JETCAS.2020.3030542
    [32] CHENG Long, LI Yi, YIN Kangsheng, et al. Functional demonstration of a memristive arithmetic logic unit (MemALU) for in-memory computing[J]. Advanced Functional Materials, 2019, 29(49): 1905660. doi: 10.1002/adfm.201905660
    [33] DAI Lan, GUO Hong, LIN Qipeng, et al. An in-memory-computing design of multiplier based on multilevel-cell of resistance switching random access memory[J]. Chinese Journal of Electronics, 2018, 27(6): 1151–1157. doi: 10.1049/cje.2018.08.006
    [34] ZHOU Yaxiong, LI Yi, DUAN Nian, et al. Boolean and sequential logic in a one-memristor-one-resistor (1M1R) structure for in-memory computing[J]. Advanced Electronic Materials, 2018, 4(9): 1800229. doi: 10.1002/aelm.201800229
    [35] HALAWANI Y, MOHAMMAD B, LEBDEH M A, et al. ReRAM-based in-memory computing for search engine and neural network applications[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2019, 9(2): 388–397. doi: 10.1109/JETCAS.2019.2909317
    [36] CHU M, KIM B, PARK S, et al. Neuromorphic hardware system for visual pattern recognition with memristor array and CMOS neuron[J]. IEEE Transactions on Industrial Electronics, 2015, 62(4): 2410–2419. doi: 10.1109/TIE.2014.2356439
    [37] LI Can, BELKIN D, LI Yunning, et al. Efficient and self-adaptive in-situ learning in multilayer memristor neural networks[J]. Nature Communications, 2018, 9(1): 2385. doi: 10.1038/s41467-018-04484-2
    [38] DUAN Qingxi, JING Zhaokun, ZOU Xiaolong, et al. Spiking neurons with spatiotemporal dynamics and gain modulation for monolithically integrated memristive neural networks[J]. Nature Communications, 2020, 11(1): 3399. doi: 10.1038/s41467-020-17215-3
    [39] YAO Peng, WU Huaqiang, GAO Bin, et al. Fully hardware-implemented memristor convolutional neural network[J]. Nature, 2020, 577(7792): 641–646. doi: 10.1038/s41586-020-1942-4
    [40] BALAJI A, DAS A, WU Yuefeng, et al. Mapping spiking neural networks to neuromorphic hardware[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2020, 28(1): 76–86. doi: 10.1109/TVLSI.2019.2951493
    [41] TAN Hongwei, MAJUMDAR S, QIN Qihang, et al. Mimicking neurotransmitter release and long-term plasticity by oxygen vacancy migration in a tunnel junction memristor[J]. Advanced Intelligent Systems, 2019, 1(2): 1900036. doi: 10.1002/aisy.201900036
    [42] WIJESINGHE P, ANKIT A, SENGUPTA A, et al. An all-memristor deep spiking neural computing system: A step toward realizing the low-power stochastic brain[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2018, 2(5): 345–358. doi: 10.1109/TETCI.2018.2829924
    [43] ZHANG Yang, WANG Xiaoping, and FRIEDMAN E G. Memristor-based circuit design for multilayer neural networks[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2018, 65(2): 677–686. doi: 10.1109/TCSI.2017.2729787
    [44] ZHAO Yongyan, SUN Wuji, WANG Jia, et al. All‐inorganic ionic polymer-based memristor for high-performance and flexible artificial synapse[J]. Advanced Functional Materials, 2020, 30(39): 2004245. doi: 10.1002/adfm.202004245
    [45] GREENBERG-TOLEDO T, MAZOR R, HAJ-ALI A, et al. Supporting the momentum training algorithm using a memristor-based synapse[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2019, 66(4): 1571–1583. doi: 10.1109/TCSI.2018.2888538
    [46] SUN Shengyang, XU Hui, LI Jiwei, et al. Cascaded architecture for memristor crossbar array based larger-scale neuromorphic computing[J]. IEEE Access, 2019, 7: 61679–61688. doi: 10.1109/ACCESS.2019.2915787
    [47] HU Lingxiang, YANG Jing, WANG Jingrui, et al. All‐optically controlled memristor for optoelectronic neuromorphic computing[J]. Advanced Functional Materials, 2021, 31(4): 2005582. doi: 10.1002/adfm.202005582
    [48] LI Haoyang, HUANG Xiaodi, YUAN Junhui, et al. Controlled memory and threshold switching behaviors in a heterogeneous memristor for neuromorphic computing[J]. Advanced Electronic Materials, 2020, 6(8): 2000309. doi: 10.1002/aelm.202000309
    [49] BAE W and YOON K J. Weight update generation circuit utilizing phase noise of integrated complementary metal-oxide-semiconductor ring oscillator for memristor crossbar array neural network-based stochastic learning[J]. Advanced Intelligent Systems, 2020, 2(5): 2000011. doi: 10.1002/aisy.202000011
    [50] ZHU Bowen, WANG Hong, LIU Yaqing, et al. Skin-inspired haptic memory arrays with an electrically reconfigurable architecture[J]. Advanced Materials, 2016, 28(8): 1559–1566. doi: 10.1002/adma.201504754
    [51] ZHANG Chen, YE Wenbin, ZHOU Kui, et al. Bioinspired artificial sensory nerve based on nafion memristor[J]. Advanced Functional Materials, 2019, 29(20): 1808783. doi: 10.1002/adfm.201808783
    [52] JIANG Chengming, LI Qikun, SUN Nan, et al. A high-performance bionic pressure memory device based on piezo-OLED and piezo-memristor as luminescence-fish neuromorphic tactile system[J]. Nano Energy, 2020, 77: 105120. doi: 10.1016/j.nanoen.2020.105120
    [53] HE Ke, LIU Yaqing, WANG Ming, et al. An artificial somatic reflex arc[J]. Advanced Materials, 2020, 32(4): 1905399. doi: 10.1002/adma.201905399
    [54] LIU Fengyuan, TAUBE W, YOGESWARAN N, et al. Transforming the short-term sensing stimuli to long-term e-skin memory[C]. 2017 IEEE SENSORS, Glasgow, UK, 2017: 1–3. doi: 10.1109/ICSENS.2017.8234187.
    [55] SUN Yihui, ZHENG Xin, YAN Xiaoqin, et al. Bioinspired tribotronic resistive switching memory for self-powered memorizing mechanical stimuli[J]. ACS Applied Materials & Interfaces, 2017, 9(50): 43822–43829. doi: 10.1021/acsami.7b15269
    [56] WANG Zilu, HONG Qinghui, and WANG Xiaoping. Memristive circuit design of emotional generation and evolution based on skin-like sensory processor[J]. IEEE Transactions on Biomedical Circuits and Systems, 2019, 13(4): 631–644. doi: 10.1109/TBCAS.2019.2923055
    [57] WAN Changjin, CAI Pingqiang, GUO Xintong, et al. An artificial sensory neuron with visual-haptic fusion[J]. Nature Communications, 2020, 11: 4602. doi: 10.1038/s41467-020-18375-y
    [58] RAHMAN M A, WALIA S, NAZNEE S, et al. Artificial somatosensors: Feedback receptors for electronic skins[J]. Advanced Intelligent Systems, 2020, 2(11): 2000094. doi: 10.1002/aisy.202000094
    [59] LIU Haitao, HUA Qilin, YU Ruomeng, et al. A bamboo-like GaN microwire-based piezotronic memristor[J]. Advanced Functional Materials, 2016, 26(29): 5307–5314. doi: 10.1002/adfm.201600962
    [60] KIM Y, CHORTOS A, XU Wentao, et al. A bioinspired flexible organic artificial afferent nerve[J]. Science, 2018, 360(6392): 998–1003. doi: 10.1126/science.aao0098
    [61] EMBORAS A, GOYKHMAN I, DESIATOV B, et al. Nanoscale plasmonic memristor with optical readout functionality[J]. Nano Letters, 2013, 13(12): 6151–6155. doi: 10.1021/nl403486x
    [62] TAN Hongwei, LIU Gang, ZHU Xiaojian, et al. An optoelectronic resistive switching memory with integrated demodulating and arithmetic functions[J]. Advanced Materials, 2015, 27(17): 2797–2803. doi: 10.1002/adma.201500039
    [63] SEO S, JO S H, KIM S, et al. Artificial optic-neural synapse for colored and color-mixed pattern recognition[J]. Nature Communications, 2018, 9(1): 5106. doi: 10.1038/s41467-018-07572-5
    [64] ZHOU Feichi, ZHOU Zheng, CHEN Jiewei, et al. Optoelectronic resistive random access memory for neuromorphic vision sensors[J]. Nature Nanotechnology, 2019, 14(8): 776–782. doi: 10.1038/s41565-019-0501-3
    [65] YANG Lin, SINGH M, SHEN S W, et al. Transparent and flexible inorganic perovskite photonic artificial synapses with dual-mode operation[J]. Advanced Functional Materials, 2020, 31(6): 2008259. doi: 10.1002/adfm.202008259
    [66] LORENZI P, SUCRE V, ROMANO G, et al. Memristor based neuromorphic circuit for visual pattern recognition[C]. 2015 International Conference on Memristive Systems (MEMRISYS), Paphos, Cyprus, 2015: 1–2. doi: 10.1109/MEMRISYS.2015.7378387.
    [67] SARKAR M, CHOWDHURY A, ARKA A I, et al. A new supervised learning approach for visual pattern recognition using discrete circuit elements and memristor array[C]. The TENCON 2017 – 2017 IEEE Region 10 Conference, Penang, Malaysia, 2017: 223–228. doi: 10.1109/TENCON.2017.8227866.
    [68] ASCOLI A, MESSARIS I, TETZLAFF R, et al. CNNs with bistable-like non-volatile memristors: A novel mem-computing paradigm for the IoT era[C]. 2018 25th IEEE International Conference on Electronics, Circuits and Systems (ICECS), Bordeaux, France, 2018: 541–544. doi: 10.1109/ICECS.2018.8617924.
    [69] DONG Zhekang, LAI C S, HE Yufei, et al. Hybrid dual-CMOS/memristor synapse-based neural network with its applications in image super-resolution[J]. IET Circuits, Devices & Systems, 2019, 13(8): 1241–1248. doi: 10.1049/iet-cds.2018.5062
    [70] HALAWANI Y, MOHAMMAD B, AL-QUTAYRI M, et al. Memristor-based hardware accelerator for image compression[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2018, 26(12): 2749–2758. doi: 10.1109/TVLSI.2018.2835572
    [71] WU Lindong, WANG Zongwei, WANG Bowen, et al. Emulation of biphasic plasticity in retinal electrical synapses for light-adaptive pattern pre-processing[J]. Nanoscale, 2021, 13(6): 3483–3492. doi: 10.1039/d0nr08012h
    [72] LIN Ya, WANG Cong, REN Yanyun, et al. Analog-digital hybrid memristive devices for image pattern recognition with tunable learning accuracy and speed[J]. Small Methods, 2019, 3(10): 1900160. doi: 10.1002/smtd.201900160
    [73] SUN Yilin, QIAN Liu, XIE Dan, et al. Photoelectric synaptic plasticity realized by 2D perovskite[J]. Advanced Functional Materials, 2019, 29(28): 1902538. doi: 10.1002/adfm.201902538
    [74] YANG C M, CHEN T C, VERMA D, et al. Bidirectional all-optical synapses based on a 2D Bi2O2Se/graphene hybrid structure for multifunctional optoelectronics[J]. Advanced Functional Materials, 2020, 30(30): 2001598. doi: 10.1002/adfm.202001598
    [75] WANG Xin, LU Yang, ZHANG Junyao, et al. Highly sensitive artificial visual array using transistors based on porphyrins and semiconductors[J]. Small, 2021, 17(2): 2005491. doi: 10.1002/smll.202005491
    [76] HSU H T, YANG Donglin, WIYANTO L D, et al. Red-light-stimulated photonic synapses based on non-volatile perovskite-based photomemory[J]. Advanced Photonics Research, 2021: 2000185. doi: 10.1002/adpr.202000185
    [77] ZHANG Lei, YU Hao, XIAO Cancheng, et al. Building light stimulated synaptic memory devices for visual memory simulation[J]. Advanced Electronic Materials, 2021, 7(1): 2000945. doi: 10.1002/aelm.202000945
    [78] DONG Zhekang, LAI C S, QI Donglian, et al. A general memristor-based pulse coupled neural network with variable linking coefficient for multi-focus image fusion[J]. Neurocomputing, 2018, 308: 172–183. doi: 10.1016/j.neucom.2018.04.066
    [79] NYENKE C and DONG Lixin. Sensing ambient oxygen using a W/CuxO/Cu memristor[C]. The 10th IEEE International Conference on Nano/Micro Engineered and Molecular Systems, Xi’an, China, 2015: 254–258. doi: 10.1109/NEMS.2015.7147421.
    [80] SHULAKER M M, HILLS G, PARK R S, et al. Three-dimensional integration of nanotechnologies for computing and data storage on a single chip[J]. Nature, 2017, 547(7661): 74–78. doi: 10.1038/nature22994
    [81] IWATA T, ONO K, YOSHIKAWA T, et al. Gas discrimination based on single-device extraction of transient sensor response by a MetalOxide memristor toward olfactory sensor array[C]. 2019 IEEE SENSORS, Montreal, Canada, 2019: 1–4. doi: 10.1109/SENSORS43011.2019.8956826.
    [82] ADEYEMO A, JABIR A, MATHEW J, et al. Reliable gas sensing with memristive array[C]. 2017 IEEE 23rd International Symposium on On-Line Testing and Robust System Design (IOLTS), Thessaloniki, Greece, 2017: 244–246.
    [83] KHANDELWAL S, BALA A, GUPTA V, et al. Fault modeling and simulation of memristor based gas sensors[C]. 2019 IEEE 25th International Symposium on On-Line Testing and Robust System Design (IOLTS), Rhodes, Greece, 2019: 58–59. doi: 10.1109/IOLTS.2019.8854459.
    [84] WEN Changbao, HONG Jitong, RU Feng, et al. A novel memristor-based gas cumulative flow sensor[J]. IEEE Transactions on Industrial Electronics, 2019, 66(12): 9531–9538. doi: 10.1109/TIE.2019.2891436
    [85] VIDIŠ M, PLECENIK T, MOŠKO M, et al. Gasistor: A memristor based gas-triggered switch and gas sensor with memory[J]. Applied Physics Letters, 2019, 115(9): 093504. doi: 10.1063/1.5099685
    [86] SHAH J, BARANGI M, and MAZUMDER P. Memristor crossbar memory for hybrid ultra low power hearing aid speech processor[C]. 2013 13th IEEE International Conference on Nanotechnology (IEEE-NANO 2013), Beijing, China, 2013: 83–86. doi: 10.1109/NANO.2013.6720867.
    [87] SALEH Q, MERKEL C, KUDITHIPUDI D, et al. Memristive computational architecture of an echo state network for real-time speech-emotion recognition[C]. 2015 IEEE Symposium on Computational Intelligence for Security and Defense Applications (CISDA), Verona, USA, 2015: 1–5. doi: 10.1109/CISDA.2015.7208624.
    [88] RAFIQUE M A, LEE B G, and JEON M. Hybrid neuromorphic system for automatic speech recognition[J]. Electronics Letters, 2016, 52(17): 1428–1430. doi: 10.1049/el.2016.0975
    [89] WANG Wei, PEDRETTI G, MILO V, et al. Learning of spatiotemporal patterns in a spiking neural network with resistive switching synapses[J]. Science Advances, 2018, 4(9): eaat4752. doi: 10.1126/sciadv.aat4752
    [90] SUN Linfeng, ZHANG Yishu, HWANG G, et al. Synaptic computation enabled by joule heating of single-layered semiconductors for sound localization[J]. Nano Letters, 2018, 18(4): 3229–3234. doi: 10.1021/acs.nanolett.8b00994
    [91] LI Can, HAN Lili, JIANG Hao, et al. Three-dimensional crossbar arrays of self-rectifying Si/SiO2/Si memristors[J]. Nature Communications, 2017, 8: 15666. doi: 10.1038/ncomms15666
    [92] BISHOP M D, WONG H S P, MITRA S, et al. Monolithic 3-D integration[J]. IEEE Micro, 2019, 39(6): 16–27. doi: 10.1109/MM.2019.2942982
    [93] LIN Peng, LI Can, WANG Zhongrui, et al. Three-dimensional memristor circuits as complex neural networks[J]. Nature Electronics, 2020, 3(4): 225–232. doi: 10.1038/s41928-020-0397-9
    [94] WANG Tianyu, MENG Jialin, CHEN Lin, et al. Flexible 3D memristor array for binary storage and multi‐states neuromorphic computing applications[J]. InfoMat, 2021, 3(2): 212–221. doi: 10.1002/inf2.12158
    [95] AN Hongyu, EHSAN M A, ZHOU Zhen, et al. Monolithic 3D neuromorphic computing system with hybrid CMOS and memristor-based synapses and neurons[J]. Integration, 2019, 65: 273–281. doi: 10.1016/j.vlsi.2017.10.009
    [96] SUN W, CHOI S, KIM B, et al. Three-dimensional (3D) vertical resistive random-access memory (VRRAM) synapses for neural network systems[J]. Materials, 2019, 12(20): 3451. doi: 10.3390/ma12203451
    [97] FERNANDO B R, QI Yangjie, YAKOPCIC C, et al. 3D memristor crossbar architecture for a multicore neuromorphic system[C]. 2020 International Joint Conference on Neural Networks (IJCNN), Glasgow, UK, 2020. doi: 10.1109/IJCNN48605.2020.9206929.
  • 加载中
图(7)
计量
  • 文章访问数:  4859
  • HTML全文浏览量:  2237
  • PDF下载量:  903
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-12-31
  • 修回日期:  2021-03-18
  • 网络出版日期:  2021-04-02
  • 刊出日期:  2021-06-18

目录

/

返回文章
返回