1.   引言

随着智能化技术的提高，深度学习模型的层数不断加深，结构更加复杂，对芯片的计算能力提出了更高的要求^[1]。为了满足大模型时代的算力需求，传统单芯片上系统(System-on-Chip, SoC)通过提高集成度和扩大芯片面积的方式来提升算力。然而，随着摩尔定律的放缓，单芯SoC面临面积墙的限制。芯片制造面积接近极限。芯片面积增加导致制造成本提升、芯片良率下降^[2,3]。随着可变电阻式随机存取存储器(Resistive Random Access Memory, ReRAM)和基于ReRAM的存算一体加速器^[4,5]等新兴设备的出现，面积墙对芯片算力的制约更加明显。由于纳米级制造技术的不成熟和忆阻器的固有特性^[6]，随着芯片规模的扩大，ReRAM器件受到非理想因素的影响更加严重，严重阻碍了大规模深度学习模型的高效部署^[7]。

随着算力需求大与芯片算力提升困难的矛盾日益凸显，国内外研究学者结合新型设计模式，将大规模芯片拆分成小规模芯粒(Chiplet)，再通过有机衬底(organic substrates)^[8]、2.5D硅中介基板(2.5D silicon interposers)^[9]、硅桥(silicon bridges)^[10]等方式将多个芯粒连接成完整的系统(System-in-Package, SiP)，缩小了单个芯片的面积与规模。多芯粒集成的芯片(集成芯片)突破了单芯SoC的性能与能耗瓶颈，具有更强的灵活性和更低的芯片设计成本与制造成本。一方面，已知良好(Known Good Die, KGD)的芯粒可以在多种系统设计中重复利用，降低了芯片设计的周期与成本。另一方面，芯粒缩小了单个芯片的规模，避免了局部微小故障导致的整个芯片报废，提升了整个芯片的良率。

尽管集成芯片具有高灵活性、高可扩展和低成本等优点，但也存在一些亟需解决的问题。集成芯片引入了昂贵的芯粒间通信。相比于片上通信，芯粒间数据在基板层传输，传输带宽更低，延迟和能耗却更高^[11]。深度学习任务计算密度高，当任务的计算需求超出单芯粒可提供的算力时，就需要多个芯粒协同完成计算。由于神经网络层与层之间存在数据依赖，在将网络映射到集成芯片上时，无论采用何种任务划分方法，都不可避免会产生芯粒间数据通信。文献[12]指出，芯粒间数据传输的能耗占据了系统总能耗的30%。随着神经网络规模不断增加，这种高开销的数据搬运成为制约多芯粒集成的深度学习系统性能的瓶颈。

为了解决上述问题，一些研究工作对传统基于CMOS的深度学习芯片做出了优化。Simba^[13]设计了一个由36片芯粒集成的推理加速器，并提出了一种通信感知的数据映射方法来降低芯粒间数据传输开销。NN-Baton^[14]提供了一个在集成芯片上部署深度神经网络(Deep Neural Network, DNN)的框架，较Simba实现了超过22%的能耗节省。与基于CMOS的传统处理器相比，基于ReRAM的深度学习加速器具有存内计算的优势。数据可以在ReRAM交叉阵列(crossbar)中并行计算。这种计算方式不仅可以提高数据处理的并行度，同时减少了数据在处理器与存储器之间的交换，提高了处理器的吞吐量和能量效率^[15]。然而，深度学习应用在基于ReRAM的集成芯片的数据传输模式与传统CMOS芯片完全不同，给突破芯粒间通信瓶颈对芯片性能的制约提出了新的挑战，为扩展存算一体集成芯片的算力增加了难度。

第1个挑战是为基于存算一体集成芯片设计一种合理的深度学习计算任务适应性划分策略。在将神经网络推理任务映射到集成芯片上时，权重和数据存在多种划分方式，不同的划分方式将引发不同的并行计算行为，从而对处理器性能和功耗产生不同的影响。因此，需要设计一种芯片友好的深度神经网络计算负载划分策略，在充分利用存内计算提供的高计算并行度的同时，减少芯粒间的数据同步和通信开销。

第2个挑战是在将复杂深度学习计算任务划分成芯片友好的子任务后，为存算一体集成芯片找到一个最优的任务调度和映射方案。实际上，芯粒间的通信成本不仅取决于子任务之间的数据交换量，还受到部署子任务的芯粒间的物理距离以及通信链路的影响。因此，设计高可扩展的存算一体集成芯片需要一种考虑芯粒位置和封装布局的DNN调度方法，以有效降低传输能量消耗。

针对上述挑战，本文提出了面向多芯粒集成的存算一体加速器的自动化调度框架—SMCA。该框架通过优化任务调度，提升系统能效，进一步增强集成芯片的可扩展性。本文的主要贡献包括以下3个方面：

(1) 提出一种自适应集成芯片架构的任务划分方法，将深度神经网络划分为适合集成芯片架构的多个通信友好的子任务。充分考虑芯粒间通信的代价，为给定的网络模型和大规模多芯粒集成的存算一体深度学习系统生成芯片友好的任务划分方案。

(2) 提出基于可满足性模理论(Satisfiability Modulo Theories, SMT)的深度学习任务自动化映射策略。该策略充分考虑各网络层之间的数据依赖关系以及存算一体芯粒在封装内的物理位置和布局，为深度学习任务在多芯粒集成的存算一体加速器上生成最佳映射方案。

(3) 在7种典型的DNN应用上对SMCA框架进行评估。实验结果表明，SMCA能够在基于ReRAM的多芯粒集成加速器上找到最佳DNN调度方案，减少35%的芯粒间通信能耗，有效缓解复杂片间通信对集成芯片算力扩展的制约。

2.   研究背景和动机

2.1   存算一体深度学习计算

首先，以常用的卷积神经网络(Convolutional Neural Network, CNN)为例说明DNN的推理过程。CNN的核心运算是卷积核${{\boldsymbol{W}}_i}$与输入特征${{\boldsymbol{a}}_i}$的矩阵向量乘(Matrix Vector Multiplication, MVM)，通过卷积操作从输入特征图中提取特征并将特征向上层${{\boldsymbol{a}}_{i{\text{ + 1}}}}$传播，其计算过程可以表示为

近年来，ReRAM凭借其低读写延时、高存储密度的优点以及支持MVM运算的交叉阵列结构，被广泛用于加速深度神经网络应用^[13,15]。图1显示了将卷积计算映射到ReRAM交叉阵列的一个示例。在每次卷积操作中，多维的卷积核在输入特征图上滑动执行MVM计算。输入特征图被展开成1维向量，并转换为ReRAM阵列的字线(Wordline, WL)上的电压${\boldsymbol{V}}$。卷积核参数则表示为ReRAM单元的电阻值${\boldsymbol{G}}$存储在交叉阵列中。根据欧姆定律和基尔霍夫定律，当一组输入电压${\boldsymbol{V}}$同时施加到ReRAM交叉阵列行时，${\boldsymbol{V}} \cdot {\boldsymbol{G}}$的MVM运算结果将在每根位线(Bitline, BL)以电路求和的方式自动计算完成。

图 1  在 ReRAM 交叉阵列上执行卷积计算的示意图

下载: 全尺寸图片 幻灯片

2.2   多芯粒集成的芯片架构

与单片大芯片相比，集成芯片由多个小规模芯粒封装而成。这种设计模式一方面降低了芯片的制造成本，有效避免了大规模芯片面临的低良率问题，另一方面通过在封装中连接不同数量、不同大小的芯粒实现了芯片规模的扩大，大大降低设计成本，提升了芯片的灵活性。Intel公司提出的Ponte Vecchio芯片通过集成47个芯粒降低了芯片的制造成本^[16]。COMB-MCM^[17]通过在多芯粒模块(Multi-chiplet Modules, MCM)中集成不同数量的芯粒，设计了一个可以支持不同规模深度学习任务的可扩展系统。文献[18]提出了一种稀疏与密集型模式混合的深度学习芯片, 通过异构集成的方式显著提升了芯片的性能与能效。除此之外，AMD, ARM等公司也在积极推进基于芯粒的集成芯片研究工作^[11]。

2.3   基于芯粒的存算一体加速器

随着摩尔定律的发展逐渐趋缓，传统冯·诺依曼架构的单芯大芯片受到面积墙和存储墙制约，遭遇算力和性能的瓶颈。在这一背景下，多芯粒集成的存算一体芯片成为打破芯片设计僵局的关键技术。文献[19]针对云端深度学习任务的巨大算力需求，设计了一款基于ReRAM的2.5D集成芯片。文献[5]考虑神经网络算法的计算不均匀性，设计了一款集成不同规模存算一体芯粒的加速器，提升了系统能效。为了评估存算一体集成芯片的性能，SIAM^[12]设计了一款支持多种存算一体架构设计与网络模型的模拟器。复旦大学的研究团队探索了存算一体集成芯片在缓解带宽瓶颈的优势，通过存内压缩，设计了一款高能效大模型专用处理器^[20]。目前已有的研究往往采用较为简单的通信模型，对芯粒间昂贵通信的优化不足。因此，本文致力于深入探索芯粒间通信的优化策略，为深度学习任务构建自动化任务调度和资源分配框架。

2.4   任务划分与调度研究

处理器的性能很大程度取决于任务和资源的调度。之前的研究人员通过优化数据流加速部署在多核处理器上的深度学习应用，提出了输入固定、权重固定、输出固定以及行固定等数据流来提升计算资源的利用率^[21]。此外，为了减少片间通信开销，文献[22]探索了一种张量划分策略以减少在异构阵列上进行DNN训练的计算和通信成本。文献[11]针对深度学习集成芯片提出了一种自动化任务调度框架。然而，这些研究通常集中在传统冯诺依曼架构的CMOS加速器。在这些加速器中，数据在PE(Processing Element)阵列上进行计算，网络参数并不固定在PE阵列，而是在需要的时候从权重缓冲区中取出。此外，单个Chiplet集成的PE阵列有限，DNN计算往往需要时分复用计算单元。因此，在传统CMOS加速器中，多个网络层会被划分并映射到多个相同的Chiplet上以提升计算的并行度。Chiplet在不同的时间片依次执行不同网络层的一部分运算。所有Chiplet间都存在数据交互。而在基于ReRAM的加速器中，ReRAM具有存内计算能力，输入与固定在ReRAM阵列的权重值可以进行原位运算。此外，ReRAM交叉阵列具有高集成度和并行计算能力。因此，网络层的计算不需要时分复用计算资源。与传统冯·诺依曼架构的CMOS加速器不同，芯粒间数据的传输大多只来自部署相邻两层网络的Chiplet。考虑到ReRAM的高能效、高计算并行度，本文提出的SMCA框架考虑网络层间的数据传输关系与集成芯片架构，对基于ReRAM的存算一体集成芯片的芯粒间通信进行优化，进一步提升了处理器性能。

3.   多芯粒集成的存算一体芯片调度框架

3.1   SMCA工作流程

本节主要介绍面向多芯粒集成的存算一体智能芯片的调度框架SMCA。如图2所示，SMCA的输入包括深度学习负载的详细信息以及集成芯片的架构。SMCA由两个关键功能部件组成，包括网络划分引擎(Network Partition Engine, NPE)和负载映射引擎(Workload Mapping Engine, WME)。其中，NPE首先根据芯粒的计算能力以及网络层的计算需求，将每一层网络${l_i}$的计算任务在逻辑上划分成若干个通信友好的子任务$\{ {t_{i{\text{0}}}}{\text{,}}{t_{i{\text{1}}}}{\text{,}} \cdots {\text{,}}{t_{ik}}\}$。划分完成后，WME模块根据层间数据依赖关系以及NPE生成的任务划分，搭建深度学习任务的计算图。接下来，WME模块通过分析计算图和集成芯片的硬件资源图，将划分好的子任务映射到集成芯片的分布式芯粒中。当逻辑上相互依赖、数据交换频繁的任务映射到多个芯粒上执行时，数据需要在芯粒间同步与通信。为了尽可能降低芯粒间数据通信的开销，WME基于可满足性模(SMT)理论，结合波前并行计算结构自动优化了DNN在存算一体集成芯片上的调度。

图 2  SMCA 工作流程

下载: 全尺寸图片 幻灯片

3.2   深度学习计算任务适应性划分策略

如图3所示，SMCA考虑的基于ReRAM的存算一体多芯粒集成处理器架构包括以下4个层次：封装(package)、芯粒、计算核(core)和集成了原位计算单元(In-situ Multiply-Accumulate Units, IMA)的ReRAM 交叉阵列。芯粒通过NoP(Network-on-Package)互连。具体来说，ReRAM交叉阵列的大小为128$\times$128，每一个计算核包含16个交叉阵列。深度神经网络的矩阵乘运算在交叉阵列中进行，运算结果通过ADC转换成数字信号，并在移位累加单元进行累加。单个Chiplet包含16个计算核。DNN权重以阻值的形式存储在ReRAM交叉阵列上。当某一层的参数量超过了单个Chiplet上ReRAM交叉阵列的容量范围时，该参数需要映射到多个Chiplet上进行计算。芯粒内部的计算核间通过片上网络(Network-on-Chip, NoC)连接并进行数据交互。此外，芯粒内还集成了激活部件和池化部件以完成激活操作和池化操作。模型计算产生的部分和在Chiplet内通过累加器进行累加。芯粒间传输的数据主要来源于网络层间的中间特征图。每个Chiplet上集成了输入输出缓冲区，用来存放该Chiplet计算所需要的输入特征图以及存储该Chiplet计算完成的特征图。

图 3  同构存算一体芯粒集成的深度学习芯片架构

下载: 全尺寸图片 幻灯片

当某一网络层的计算需求超过单个芯粒的处理能力时，该网络层需要被网络划分引擎(NPE)分割然后再映射到多个芯粒上并行计算。具体来说，NPE以网络层为单位逐层划分推理计算任务。在划分前，首先需要分析每一层网络的结构和属性，以确定其计算需求。假设一个卷积神经网络的卷积层的大小如

其中，${K_x}{\text{,}}\;{K_y}$表示卷积核的高和宽。$C{\text{,}}\;M$分别表示输入特征图和输出特征图的通道(channel)数。

映射该卷积层需要${N^{{\text{row}}}}$行，${N^{{\text{col}}}}$列大小的ReRAM交叉阵列。${N^{{\text{row}}}}{\text{,}}\;{N^{{\text{col}}}}$可以由式(3)和式(4)计算得出。其中，${\text{X}}{{\text{B}}_x},\;{\text{X}}{{\text{B}}_y}$表示ReRAM交叉阵列的行数和列数。${N_{{\text{bit}}}}$表示权重的精度。$B$表示单个ReRAM单元能保存的数据位数。

式(5)和式(6)可以进一步计算出容纳该网络层共需要$t$个计算核和$c$个芯粒。其中，${T_x},\;{T_y}$分别表示每个计算核内ReRAM交叉阵列的行数和列数。$n$表示芯粒中计算核的个数。

假设卷积核按照输出通道的维度映射到芯粒上。如图4所示，当$K$个卷积核被均匀地划分成$M$个子任务并部署在$M$个芯粒上时，执行计算的每一个芯粒将并行计算出$K/M$个通道的激活值。计算出来的输出特征图将通过芯粒间通信链路传递给部署下一层网络计算任务的所有芯粒。为了提升单个芯粒上计算资源的利用率，SMCA允许将多个网络层映射到同一芯粒。

图 4  深度学习计算任务的平均划分策略

下载: 全尺寸图片 幻灯片

关于网络层的计算任务划分，NPE首先考虑了一种平均划分(Uniform Partition, UP)策略，将计算任务平均划分成多个子任务并映射到多个芯粒上，利用集成芯片的高并行计算能力提升任务的计算效率。如图4所示，将第$i$个网络层和第$i + 1$个网络层的参数均匀划分并部署到$M$个芯粒上并行计算。在UP模式下，任意一个芯粒在完成第$i$层网络子任务的计算后，需要将中间计算结果通过NoP传递给其他$M{{ - 1}}$个参与计算的芯粒来执行下一层网络任务的计算。UP策略划分的子任务越多，芯粒间数据传输的复杂性与数据传输通路拥堵的可能性越大。

考虑到UP策略在实际应用中的执行效率并不十分理想，本文提出了通信感知的划分(Communication-Aware Partition, CAP)策略和匹配算力的划分(Capacity-Matched Partition, CMP)策略。其中，CAP充分考虑了神经网络层之间的数据交互，尽量将相邻网络层部署在同一芯粒上，从而将网络层间的数据交流控制在传输开销更小的芯粒内部。如图5所示，在映射完前一层网络${l_{i{{ - 1}}}}$之后，${l_{i{{ - 1}}}}$层映射的芯粒上可能存在空闲的计算核。CAP首先对${l_i}$层的子任务进行划分以匹配前一层映射芯片的剩余的可用计算核。然后，根据芯粒的固定算力对${l_i}$层剩余未划分的计算任务进行分割，从而增加了将连续两层网络的计算任务部署到同一芯粒上的可能性，减少了芯粒间数据传输的需求。与CAP策略不同，CMP策略在任务划分时优先考虑划分计算需求与整个芯粒的算力相匹配的子任务，从而充分利用芯粒上的全部计算资源。CMP方法相比UP和CAP减少了子任务的划分数量，降低了芯粒间数据交换的强度，进一步减少了芯粒间通信的能耗。

图 5  CAP 策略与 CMP 策略的对比

下载: 全尺寸图片 幻灯片

无论基于CAP还是基于CMP的任务划分，计算的中间数据都需要从前一层网络的映射芯粒传输到下一层网络的映射芯粒上。基于CAP的任务划分使得任务在集成芯片上全局稠密但局部稀疏。如果${l_{i - 1}}$层网络映射芯粒的空闲计算资源与当前网络层${l_i}$的需求不匹配，CAP将导致资源碎片化，划分的子任务数增多，从而增加了数据交换的强度。此外，虽然CMP策略尽可能减少对任务的划分，但是在网络层的计算任务与芯粒算力不匹配的场景下，CMP策略将会导致计算资源分配不均，造成资源的浪费。

由于CAP与CMP这两种任务划分模式在加速器架构和模型结构不同的情况下各有优点，本文提出了一种自适应层级网络划分策略(Adaptive Layer-wise network Partition, ALP)以确保深度学习推理任务在存算一体集成芯片上的最优划分。ALP按照网络层顺序对计算任务进行划分。对于当前网络层的划分，ALP首先尝试将该层网络部署到与前一层网络相同的芯粒上，以降低相邻两层网络层间的数据传输开销。因此，ALP首先比较前一层网络部署的芯粒上的剩余计算资源${C_{{\text{idle}}}}$与当前网络层的计算需求${w_i}$(算法1第5行)。如果${C_{{\text{idle}}}} \ge {w_i}$，说明${l_i}$层可以与${l_{i - 1}}$层网络部署在同一个芯粒上。在这种情况下，${l_i}$层网络的计算任务不需要被划分(算法1第6行)。如果${C_{{\text{idle}}}} < {w_i}$，则首先判断采用CAP划分${l_i}$层计算任务是否会导致子任务数量的增加(算法1第7行)。如果是，ALP选择采用CMP策略划分${l_i}$层(算法1第8行)，从而充分利用空闲芯粒的计算资源，并避免子任务数量增加导致的通信复杂度增加。反之，ALP采用CAP策略划分以增加${l_i}$层与${l_{i - 1}}$层网络部署在同一个芯粒上的可能性(算法1第10行)。

表 1  自适应层级网络划分策略

1: 输入：单个芯粒的固定算力M；网络$l({l_0},{l_1}, \cdots,{l_{L - 1}})$的算力 　需求$w({w_0},{w_1}, \cdots ,{w_{L - 1}})$。

2: 输出：网络划分策略bestP。

3: ${C_{{\text{idle}}}}{{ = M}}$; /*初始化${C_{{\text{idle}}}}$*/

4: for $i = 0,1, \cdots ,L - 1$

5: 　if ${C_{{\text{idle}}}} \ge {w_i}$ then

6: 　　${\text{bestP}} \leftarrow {\text{NoPartition}}(i{\text{,}}{w_i})$;

7: 　else if $\left\lceil {\dfrac{{{w_i}}}{{{M}}} = = \dfrac{{{w_i} - {C_{{\text{idle}}}}}}{{{M}}}} \right\rceil$ then

8: 　　${\text{bestP}} \leftarrow {\text{CMP}}(i{\text{,}}{w_i})$;

9: 　else

10: 　 ${\text{bestP}} \leftarrow {\text{CAP}}(i{\text{,}}{w_i})$;

11: Update(${C_{{\text{idle}}}}$)

下载: 导出CSV 

| 显示表格

3.3   基于SMT的深度学习负载映射策略

集成芯片的芯粒间通信开销不仅与任务划分有关，还与任务在芯片上的映射有关。然而，神经网络模型在多核处理器上的映射优化问题是一个NP难问题。因此，我们提出了一种基于可满足性模理论(SMT)的方法，利用SAT求解器(例如Z3 ^[23])自动优化DNN任务在集成芯片上的部署。SMT是一种用于解决复杂可满足性问题的先进技术。在SMCA中，负载映射引擎首先根据神经网络的层间依赖生成如图2所示的有向计算图。其中，图的每一个节点$t$表示一个子任务，节点间连接的边$E$代表任务之间的数据依赖关系，包含节点间需要同步或传输的数据量等信息。由$n$个同构芯粒组成的存算一体芯片可以表示为$C = \{ {c_1},{c_2}, \cdot \cdot \cdot ,{c_n}\}$，其中${c_i}$表示第$i$个芯粒。芯粒间通过Mesh网络结构的NoP相连。深度学习任务在集成芯片上的最优化问题可以描述为找到映射$M:T \to C$，使得芯粒间数据传输的能耗最小。我们将优化过程描述为由以下目标函数和约束条件组成的约束满足问题。表1中定义了目标与约束函数中用到的符号。

表 1  SMT约束中的符号表示

符号	含义
${T},{E},{C}$	计算任务集合，计算图中边的集合以及 芯片封装的芯粒集合
$t,c$	计算任务$t$，芯粒$c$
${e}_{i,j}$	计算图中，任务$i$到任务$j$的有向边
${x}^{c},\;{y}^{c}$	芯粒$c$在芯片上的$\left(x,y\right)$坐标
${w}^{t}$	任务$t$的计算需求
${o}^{t}$	任务$t$计算产生的中间数据量
${s}^{t}$	任务$t$的开始执行时间
${d}^{t}$	完成任务t所有前置任务所需的芯粒间最小数据传输开销
${\tau }^{t}$	任务$t$的执行时间
$\mathrm{s}{\mathrm{w}}^{c}$	芯粒$c$所在的波前编号
$\mathrm{d}\mathrm{i}\mathrm{s}({c}_{i},{c}_{j})$	芯粒$i$到芯粒$j$的距离

下载: 导出CSV 

| 显示表格

目标函数：最小化存算一体集成芯片的芯粒间数据传输的能耗，其中${d_{{\text{trans}}}}({t_i},{t_j})$指中间数据从任务${t_i}$所在芯粒传输给任务${t_j}$所在芯粒的能耗。

其中，${d_{{\text{trans}}}}({t_i},{t_j}) = {o^i} \times {\text{dis}}({c_k},{c_l})$。${{m}}(t,c) = 1$表示任务$t$被映射到芯粒$c$上。反之，${{m}}(t,c) = 0$。

约束C1：芯粒的实际位置约束：芯粒位置不能超过芯片封装范围。给定一个由$m \times n$个芯粒集成的深度学习芯片，任务映射的芯片的坐标$x,y$受到$m$和$n$的约束。

约束C2：任务的开始约束：所有任务的开始时间不早于零时刻并且完成任务的数据传输开销不小于零。

约束C3：任务先决时间约束：如果两个任务之间存在数据依赖关系，当这两个任务被映射到同一个芯粒上时，后一个任务${t_j}$应在其先决任务${t_i}$完成计算任务后执行。如果两个任务映射到不同的芯粒上，任务${t_j}$还需要等待收到从任务${t_i}$传输的数据后才能开始执行。其中，${t_{{\text{trans}}}}({t_i},{t_j})$指任务${t_i}$计算完成后，计算结果传输给任务${t_j}$的时间

其中，如果${c_k} = {c_l}$, ${t_{{\text{trans}}}}({t_i},{t_j}) = 0$。

约束C4：任务执行的累计开销约束：本约束描述了完成任务所需的芯粒间最小数据传输开销。

如果${c_k} = {c_l}$, ${d_{{\text{trans}}}}({t_i},{t_j}) = 0$。

约束C5：芯粒计算能力约束。部署在同一芯粒上的任务的总计算需求不能超过单芯粒的计算能力W。

约束C6：波前并行约束。波前并行是一种常用的并行计算结构 ^[24]。在波前并行结构中，数据流被组织成一系列连续的波前，每一个波前的任务同步并行执行，并将计算结果传给下一个阶段的波前，从而实现任务的并行化和流水化执行。利用波前并行结构可以有效地缩小最优化映射问题的求解空间。

在上述条件C1—C6的约束下，将SMT问题输入到求解器中，SMCA可以自动生成适应存算一体集成芯片的最优DNN资源调度方案。此外，SMCA可以结合贪心策略，依次对一个或多个子任务进行部署，从而降低复杂网络在大规模集成芯片上的调度映射时间。

4.   实验评估

4.1   实验设置

表2显示了本文模拟的基于ReRAM的多芯粒集成的加速器配置。芯粒以2D Mesh结构连接。芯粒间的通信遵循X-Y路由算法。通过将文献[4]中的存算一体阵列从32 nm缩放到16 nm，模拟了存算一体阵列的能耗与延迟。通信开销由Booksim 2.0模拟器模拟。测试的深度学习应用负载包括7个代表性的神经网络： NIN, VGG11, VGG16, ResNet18, ResNet34, ResNet50以及ResNet152。网络的全部卷积层映射在Chiplet上的ReRAM阵列中。数据集是ImageNet。

表 2  系统配置

架构层次	属性	参数
封装	频率	1.8 GHz
	芯粒间互联网络带宽	100 Gb/s
	芯粒间通信能耗	1.75 p/bit
芯粒	工艺制程	16 nm
	单个芯粒包含的计算核个数	16
	单个计算核包含的ReRAM交叉 阵列个数	16
计算核	ReRAM交叉阵列大小	128$\times$128
	ADC	1 bit
	DAC	8 bit
	一个ReRAM单元存储的位数	2
	权重精度	8 bit
	数据流	权重固定型

下载: 导出CSV 

| 显示表格

4.2   实验结果与分析

为了验证SMCA对优化深度学习任务在集成芯片上通信开销的有效性，本文将以下调度方式作为基准并进行了比较：(1) SM(Sequent Mapping, SM)，与SIAM^[12]相同，SM首先将大规模网络层均匀地分割成多个子任务。划分完成后，SM将子任务依次映射到芯粒上。(2) 均匀映射(Uniform Mapping, UM)，网络层在Chiplets上均匀地划分，并采用本文提出的基于SMT的网络映射方式来优化应用负载在芯粒上的映射。(3) 通信感知的网络映射方式(Communication-aware Network Mapping, CAM)，使用3.2节提出的CAP策略划分网络层，并采用基于SMT的网络映射。

图6和图7显示了不同调度策略在部署不同深度学习应用的集成芯片上的NoP能耗与时延比较。其中，S表示5×5的芯粒集成芯片；M表示6×6的芯粒集成芯片；L表示10×10的芯粒集成芯片；V表示VGG网络；R表示ResNet网络；AVG表示平均值。显然，SMCA在性能上显著优于其他3个基准，平均在所有应用负载上降低了35%的NoP能耗，节省了18%的芯粒间数据通信时间。这主要是因为SM对芯粒间通信距离对通信开销的影响考虑不足，无法避免远距离芯粒之间的数据通信，从而导致NoP成为系统的主要性能瓶颈。此外，正如在3.2节中讨论的那样，计算感知的映射方法并不总是最优的，因为存在数据依赖关系的两个网络层被映射到同一芯粒的可能性不高，这种划分方式反而会导致任务的碎片化划分，增加了芯粒间数据传输的复杂度。SMCA充分考虑了网络层间的数据依赖关系和芯粒间距离对传输开销的影响。即使UM, CAM和SMCA都使用了本文提出的基于SMT的网络映射策略，SMCA由于其自适应的层间划分方法，在性能上仍然显著优于其他策略。此外，SMCA在ResNet18, VGG16, ResNet34以及ResNet50上测试的集成芯片架构相同，分别实现了25%, 26%, 39%, 41%的NoP能耗提升。而在ResNet152网络中，SMCA实现了53%的能耗降低。这一结果表明，随着模型规模的增大，SMCA在能效提升方面的表现越来越显著，进一步证明了SMCA应用在处理大型深度学习模型的存算一体集成芯片的潜力和可扩展性。

图 6  归一化的 NoP 能耗

下载: 全尺寸图片 幻灯片

图 7  归一化的 NoP 时延

下载: 全尺寸图片 幻灯片

为了探究SMCA框架的可扩展性，本文考虑了不同规模的集成芯片，在包含36, 49, 64, 81, 100, 121, 144个Chiplet的集成芯片上模拟部署了ResNet50网络，并测试了SMCA框架的性能。实验结果如图8所示。与SM相比，SMCA框架平均降低了37%的芯粒间数据传输能耗。通过计算任务的适应性划分与负载优化映射，随着集成芯片中Chiplet数量的增加，SMCA框架的性能提升逐渐明显。在由144个Chiplet的集成芯片上，SMCA实现了42%的NoP能耗节省。其次，通过模拟集成不同规模芯粒的集成芯片，进一步考虑了不同规模的芯粒对SMCA框架可扩展性的影响。如图8所示， SMCA框架能够灵活地适应不同规模的芯粒，并在不同配置下保持高效的性能，这进一步验证了SMCA的可扩展性和适应性。

图 8  不同大小芯粒、不同规模系统的集成芯片上的 NoP 能耗对比

下载: 全尺寸图片 幻灯片

SMCA框架的核心设计思想是通过优化任务划分、数据布局，提升集成芯片的能效。这种设计思想并不依赖于特定的硬件平台或技术。虽然SMCA框架在基于ReRAM的存算一体集成芯片上进行了实验验证，但其设计原理和实现方式并不局限于特定硬件类型，具有广泛的通用性，可以支持其他类型的存算一体硬件平台。

5.   结论

芯粒集成技术与存算一体技术突破了传统超大规模集成电路与高性能处理器面临的面积墙与存储器瓶颈，具有显著的能效、成本与扩展性优势。然而，高开销的芯粒间通信已经成为制约集成芯片性能的瓶颈。本文提出了一种面向存算一体集成芯片的深度神经网络自动化调度框架SMCA。SMCA首先利用自适应网络划分方法，将神经网络计算任务划分成规模小、通信友好的子任务。然后，通过基于SMT的计算任务自动化映射机制，优化计算任务在集成芯片上的部署。实验结果证明， SMCA能够在基于ReRAM的多芯粒集成的芯片上生成最佳的深度学习计算任务调度方案，与现有的调度策略相比减少了约35%的NoP能耗。