历史上的今天
今天是：2024年11月02日（星期六）
2021年11月02日 | 提高AI模型数据吞吐量 芯动力发明神经网络权值存储的方案
2021-11-02 来源：爱集微
随着AI芯片的计算能力越来越强，以及神经网络模型越来越深，AI处理器在进行训练或推理时，需要读取大量的权值数据用于计算，而大量的数据吞吐，无疑会降低AI芯片的运算能力。
为了降低芯片的功耗和成本，相关人员在神经网络权值存储方面做了深度研究，目前主流的存储方案有高速DDR(双倍速率同步动态随机存储器)结合Cache缓存或者采用超大容量的SRAM(静态随机存取存储器)，进一步还有采用乒乓缓存的方案。
然而，上述方案仍然存在种种弊端，比如传输带宽大、存储占用空间大或者难以使芯片的吞吐量达到较优状态，导致芯片的功耗和成本居高不下。
为此，芯动力在2021年5月7日申请了一项名为“神经网络权值存储方法、读取方法及相关设备”的发明专利（申请号：202110498031.4），申请人为珠海市芯动力科技有限公司。
根据该专利目前公开的相关资料，让我们一起来看看这项技术方案吧。
首先，让我们来看看目前现有技术中的神经网络权值存储和读取方案是怎么样的，如上图所示，在神经网络权值存储方面，现有技术提出了高速DDR存储结合L2Cache(二级缓存)的方案。神经网络各层的权值存储在DDR中，处理器在计算时，通过高速DDR接口把待处理的权值加载到Cache中，但是，在处理器计算能力越强的情况下，该方案所需的DDR传输带宽也就越大，不利于降低芯片的功耗和成本。
为此，上图为该专利中发明的神经网络权值存储和读取架构的示意图，该架构包括：处理器、小容量的SRAM、DDR和DMA控制器。其中，SRAM被划分静态内存和循环缓存两块存储区，静态内存用于固化神经网络中的出现下溢的层，循环缓存用于预取和存储神经网络中未出现下溢的层。
DMA控制器用于从DDR中读取神经网络权值并向循环缓存中写入读取的权值，处理器用于从静态内存或循环缓存中读取权值以进行计算，比如GEMM(通用矩阵乘)运算等。
在该结构中，会把出现缓存下溢的神经网络层的取值固化到静态内存中，有利于解决循环缓存下溢的问题，当神经网络各层中不存在出现下溢的层时，将获取到的对应权值累积长度的最大值设定为循环缓存的最大存储空间，从而有利于解决循环缓存上溢的问题。并能够以较小的SRAM空间和较低的DDR传输带宽达到芯片较优的吞吐量，以降低芯片的功耗和成本。
最后，上图为这种神经网络权值存储方法的流程示意图，DMA控制器在系统初始化时将神经网络首层的权值固化在静态随机存取存储器的静态内存中，并获取静态随机存取存储器的循环缓存中神经网络各层的权值累积长度，将根据权值累计长度将各层中的目标层的权值固化在静态内存中。
DMA控制器执行下一次获取权值累积长度的操作，重复执行多次获取权值累积长度的操作，直至各层中不存在目标层。此时，DMA控制器会根据各层中不存在目标层时对应的权值累积长度设定循环缓存的大小。
以上就是芯动力发明的神经网络权值存储及读取方法，该方案在系统初始化时就将神经网络首层的权值固化在静态随机存取存储器的静态内存中，有利于解决循环缓存上溢和下溢的问题，从而使芯片达到较优的吞吐量，也可以降低芯片的功耗和成本。
史海拾趣
|
RF工程师的音：urgent:某著名半导体外企新出来的职位1_RF（内部推荐） 某著名外企新出来的RF 职位, 不过指明了公司名， 注意不符合请勿浪费资源,同时请注意工作地点有：上海，深圳，北京，成都，请在简历中注明申请去的地方。紧急招募，越开越好。请发中英文简历到 herofighter88@gmail.com 除Technical Hub Manager, ...… 查看全部问答＞ |
|
摘 要: 介绍一种运用 PIC16F84单片机实现与PC机串行通信的方法，并给出其硬件接口电路及通信源程序。 1 前言 美国 Microchip 公司的 PIC16 系列单片机是一种新型的 CMOS 工艺的 8 位单片机。其中， PIC16FXX 单片机的程序存储器为电可擦除闪速存 ...… 查看全部问答＞ |
|
【求助】请教一个最最简单的关于PIC12C508单片机如何使用的问题…… 由于最近要试着用PIC12C508单片机做点东西，就在mplab上先仿真玩玩。这才发现自己居然连最最基本的“点灯一个led灯”都完成不了…… 还请坛子里的老鸟们指教一下，这对于你们来说可能就是几秒钟的事情，而我却卡在这里大半天了…… &nbs ...… 查看全部问答＞ |
|
我安装完Quartus 8.0后（已成功破解），利用其自带的IP生成工具生成了一个三速度以太网的IP核，同时生成了仿真文件，当我打开仿真工具Questasim运行生成的仿真脚本文件时，开始正常，当执行到do mac_wave.do时 生成波形文件变得非常慢，而且信号是 ...… 查看全部问答＞ |
|
本人从事PCB设计三年，现在转做业务，希望能在这里面认识 一些朋友 ,QQ520122524 SKYPE ：xcq185388740 MSN:xcq185388740 @live.cn 提供点资料给你们 [ 本帖最后由 xcq185388740 于 2011-7-14 11:17 ...… 查看全部问答＞ |
|
本人在做关于DSP28035的芯片，在实验配置时钟的时候波形不对。所以下面我想用DSP控制TOPWAY的液晶屏无法成功！ DSP+12M的晶振，晶振旁边的电容15pf. 出来波心是这样： ...… 查看全部问答＞ |
|
我在做booloader加入sb.xcl文件之后出现了Fatal Error[e72]: Segment IEEE_ADDRESS_SPACE must be defined in a segment definition option (-Z, -b or -P) 错误请问这个是什么原因呢？ [ 本帖最后由 wateras1 于 2013-2-25 15:10 编辑 ]… 查看全部问答＞ |
|
本帖最后由 paulhyde 于 2014-9-15 04:04 编辑 南华大学黄智伟 好的系统设计方案是取得好的竞赛成绩的保证 … 查看全部问答＞ |