提高AI模型数据吞吐量芯动力发明神经网络权值存储的方案

分享到: 微博; QQ; 微信; LinkedIn

随着AI芯片的计算能力越来越强，以及神经网络模型越来越深，AI处理器在进行训练或推理时，需要读取大量的权值数据用于计算，而大量的数据吞吐，无疑会降低AI芯片的运算能力。

为了降低芯片的功耗和成本，相关人员在神经网络权值存储方面做了深度研究，目前主流的存储方案有高速DDR(双倍速率同步动态随机存储器)结合Cache缓存或者采用超大容量的SRAM(静态随机存取存储器)，进一步还有采用乒乓缓存的方案。

然而，上述方案仍然存在种种弊端，比如传输带宽大、存储占用空间大或者难以使芯片的吞吐量达到较优状态，导致芯片的功耗和成本居高不下。

为此，芯动力在2021年5月7日申请了一项名为“神经网络权值存储方法、读取方法及相关设备”的发明专利（申请号：202110498031.4），申请人为珠海市芯动力科技有限公司。

根据该专利目前公开的相关资料，让我们一起来看看这项技术方案吧。

首先，让我们来看看目前现有技术中的神经网络权值存储和读取方案是怎么样的，如上图所示，在神经网络权值存储方面，现有技术提出了高速DDR存储结合L2Cache(二级缓存)的方案。神经网络各层的权值存储在DDR中，处理器在计算时，通过高速DDR接口把待处理的权值加载到Cache中，但是，在处理器计算能力越强的情况下，该方案所需的DDR传输带宽也就越大，不利于降低芯片的功耗和成本。

为此，上图为该专利中发明的神经网络权值存储和读取架构的示意图，该架构包括：处理器、小容量的SRAM、DDR和DMA控制器。其中，SRAM被划分静态内存和循环缓存两块存储区，静态内存用于固化神经网络中的出现下溢的层，循环缓存用于预取和存储神经网络中未出现下溢的层。

DMA控制器用于从DDR中读取神经网络权值并向循环缓存中写入读取的权值，处理器用于从静态内存或循环缓存中读取权值以进行计算，比如GEMM(通用矩阵乘)运算等。

在该结构中，会把出现缓存下溢的神经网络层的取值固化到静态内存中，有利于解决循环缓存下溢的问题，当神经网络各层中不存在出现下溢的层时，将获取到的对应权值累积长度的最大值设定为循环缓存的最大存储空间，从而有利于解决循环缓存上溢的问题。并能够以较小的SRAM空间和较低的DDR传输带宽达到芯片较优的吞吐量，以降低芯片的功耗和成本。

最后，上图为这种神经网络权值存储方法的流程示意图，DMA控制器在系统初始化时将神经网络首层的权值固化在静态随机存取存储器的静态内存中，并获取静态随机存取存储器的循环缓存中神经网络各层的权值累积长度，将根据权值累计长度将各层中的目标层的权值固化在静态内存中。

DMA控制器执行下一次获取权值累积长度的操作，重复执行多次获取权值累积长度的操作，直至各层中不存在目标层。此时，DMA控制器会根据各层中不存在目标层时对应的权值累积长度设定循环缓存的大小。

以上就是芯动力发明的神经网络权值存储及读取方法，该方案在系统初始化时就将神经网络首层的权值固化在静态随机存取存储器的静态内存中，有利于解决循环缓存上溢和下溢的问题，从而使芯片达到较优的吞吐量，也可以降低芯片的功耗和成本。

关键字：AI 引用地址：提高AI模型数据吞吐量芯动力发明神经网络权值存储的方案

上一篇：HomePod mini新颜色或在11月第一周开售
下一篇：WiFi芯片涨20%？联发科：不评论价格

推荐阅读

2018年11月02日 | 遭起诉窃取商业机密，联电声明反击：严正以对

芯科技消息（文／雷明正），中国大陆福建晋华集成电路公司和台湾联华电子公司2日遭美方起诉共谋窃取美国半导体厂美光的商业机密。联电一早公告声明，表示美国政府起诉内容实际上与先前美光对公司提起民事诉讼所主张的内容相同。对于美国检察官办公室未事先通知联电，并未给予讨论事件始末机会表示遗憾。联电特别强调，针对此类指控，都将严正以对。晋华和...

2019年11月02日 | 电改四周年专访：中国需要什么样的电力市场？

一场如何看待当前我国电力市场的讨论，正在吸引着行业内外的目光。有支持者，亦有批评者。支持者认为，我国电力市场实现完美破局。批评者认为，我国的电力市场即不像美国、也不像英国、更不像澳大利亚，是“四不像”。我们应该如何评价今天的电力市场？如何看待当前的电力市场面临的机遇与挑战？行业莫衷一是。随着开水缓缓倒入杯子，...

2020年11月02日 | 金相分析仪的工作原理_金相分析仪的功能特点

金相分析仪的工作原理简单来说就是光学显微技术，它将图像进行显微放大之后，用于观察、分析和记录金属材料表面及心部的结构属性。就拿铁碳合金的碳结构来说吧，就像钢铁一样，根据含碳量的不同，可以分为不同种的钢铁，共析钢、亚共析钢还有白口铸铁等等，含碳成分不同，用金相分析仪来观察得出的金相组织也各不相同。也许有的材料碳成分的多少是一样的...

2021年11月02日 | 汽车OS研究：汽车操作系统竞争进入战国时代

一直以来，汽车操作系统纷繁复杂，让人眼花缭乱。一年前，佐思汽研将“汽车操作系统”分为四类：1）基础型汽车操作系统：指汽车底层操作系统，如AliOS、QNX、Linux等，包含所有的底层组件，如系统内核、底层驱动等，有的还包含虚拟机。2）定制型汽车操作系统：指在基础型操作系统之上进行深度定制化开发（包括系统内核修改），最终（Tier1和主机厂一起）...

史海拾趣

Cotco公司的发展小趣事

随着产品线的不断丰富和市场需求的持续增长，Cotco公司开始加大市场拓展力度。公司积极参加国内外各类电子行业展览和交流活动，与潜在客户和合作伙伴建立了广泛的联系。同时，Cotco也注重品牌建设，通过赞助行业活动、开展公益事业等方式提升品牌知名度和美誉度。经过几年的努力，Cotco已经成为电子行业内一个响当当的名字。

EBG RESISTORS LLC公司的发展小趣事

EBG RESISTORS LLC公司成立于XXXX年，由几位电子工程师共同创立。初创时期，公司面临着资金短缺、市场竞争激烈等多重挑战。然而，创始人们凭借对电阻器技术的深厚理解和热情，坚持研发高质量、高性能的电阻器产品。他们夜以继日地工作，不断优化产品设计和生产工艺，终于在市场上赢得了客户的认可。

中移物联网(Chinamobile)公司的发展小趣事

2022年12月，中移物联网的OneNET城市物联网平台在2022中国移动全球合作伙伴大会上亮相。该平台以城市为核心，整合了各类物联网资源，为城市管理、公共服务等领域提供了全方位的物联网解决方案。OneNET城市物联网平台的推出，标志着中移物联网在物联网领域的技术实力和市场地位得到了进一步提升。

Caliber公司的发展小趣事

在电子行业中，品质是企业生存和发展的关键。Caliber公司深知这一点，从原材料采购到生产制造的每一个环节，都严格把控品质。公司建立了完善的质量管理体系，通过不断的技术改进和工艺优化，确保每一款产品的品质都达到行业最高标准。正是这种对品质的执着追求，让Caliber的产品在市场上获得了良好的口碑，也为公司的长期发展奠定了坚实的基础。

Cyrix Corp公司的发展小趣事

然而，Cyrix的发展并非一帆风顺。1997年，该公司被美国国民半导体公司收购。这一收购为Cyrix带来了新的机遇和挑战。在新的母公司旗下，Cyrix继续推出了一系列新的CPU产品，但市场竞争的激烈使得其面临巨大的压力。

CHENMKO公司的发展小趣事

在成功推出数学协处理器后，Cyrix于1992年推出了其第一款CPU——486SLC和486DLC。这两款产品旨在与英特尔的486SX和486DX竞争，并因其引脚兼容性和低廉的价格而广受制造商欢迎。尽管其性能略逊于英特尔的同类产品，但Cyrix凭借价格优势在市场上占据了一席之地。

问答坊 | AI 解惑

变频器压频比的正确设定摘要：结合变频调速的基本控制方式，讨论了电机参数及负载的机械特性与变频器的基准电压、基准频率的关系，以及具体应用中的设定方法。关键词：压频比、基准电压、基准频率。一、前言：随着变频调速技术的发展，变频器调速已成为交流调速的 ...… 查看全部问答∨	32位ARM嵌入式处理器的调试技术 32位ARM嵌入式处理器的调试技术… 查看全部问答∨
FLUKE 196 双通道万用数字示波表拆机清晰图本人手中的一款便携式示波表的拆机图。供大家参考。另附上操作手册和本人找到的部分器件的datasheet。有部分关键器件本人无法找到datasheet，有资料的朋友可上传供大家分析用。 DSCN2310.JPG DSCN2311.JPG DSCN2312.JPG DSCN2316.JPG ...… 查看全部问答∨	前年给PDVD做遥控器的编码方式红外文档… 查看全部问答∨
单片机的导线用大的电线有啥影响? 导线越大电流越大吗… 查看全部问答∨	如何编写固件升级程序我做网络的，对编程不了解，但是最近对固件升级程序非常感兴趣。想在这个方向上学习一下。但是现在一点头绪都没有，有没有高手指点下呀，不胜感激，问题如下： 1，一般的固件升级程序都用什么语言编写的啊 2，从开始编写程序，到生成一个升级文 ...… 查看全部问答∨
模拟USB拔插的逻辑过程目标：想要实现USB设备拔插的模拟。也就是说，物理上USB设备并没有拔出再插入的动作，但是在逻辑上，USB设备掉了，然后又重新连接上了。现在这个功能基本能实现，但是不稳定，容易出现USB设备掉。我自己写了一个小的字符驱动(usbPortdisplay.c) ...… 查看全部问答∨	15000转的电机用什么传感器啊？请教15000转的电机用什么传感器啊？… 查看全部问答∨
DM3730 /dm6446哪个更适合做运动检测与跟踪? 我看了DM3730 和dm6446的DATASHEET，感觉前者的频率更高一些，而且开发板的价钱更便宜，我想问问大家，如果是搞运动目标的检测与跟踪的应用的话，哪个芯片更合适呢？谢谢！… 查看全部问答∨	【设计工具】白皮书：通过赛灵思Virtex-7 产品系列以及高级综合实现TeraFLOP 性能 FPGA 通常与大多数可编程逻辑、高 I/O 引脚数以及大型定点 DSP 阵列有关。虽然FPGA并不是以其浮点处理能力而著称，但该项特性却非常出色。浮点运算符是通过可编程逻辑查看表 (LUT) 和 DSP 处理单元 (DS ...… 查看全部问答∨

小广播

变频器压频比的正确设定摘要：结合变频调速的基本控制方式，讨论了电机参数及负载的机械特性与变频器的基准电压、基准频率的关系，以及具体应用中的设定方法。关键词：压频比、基准电压、基准频率。一、前言：随着变频调速技术的发展，变频器调速已成为交流调速的 ...… 查看全部问答∨	32位ARM嵌入式处理器的调试技术 32位ARM嵌入式处理器的调试技术… 查看全部问答∨
FLUKE 196 双通道万用数字示波表拆机清晰图本人手中的一款便携式示波表的拆机图。供大家参考。另附上操作手册和本人找到的部分器件的datasheet。有部分关键器件本人无法找到datasheet，有资料的朋友可上传供大家分析用。 DSCN2310.JPG DSCN2311.JPG DSCN2312.JPG DSCN2316.JPG ...… 查看全部问答∨	前年给PDVD做遥控器的编码方式红外文档… 查看全部问答∨
单片机的导线用大的电线有啥影响? 导线越大电流越大吗… 查看全部问答∨	如何编写固件升级程序我做网络的，对编程不了解，但是最近对固件升级程序非常感兴趣。想在这个方向上学习一下。但是现在一点头绪都没有，有没有高手指点下呀，不胜感激，问题如下： 1，一般的固件升级程序都用什么语言编写的啊 2，从开始编写程序，到生成一个升级文 ...… 查看全部问答∨
模拟USB拔插的逻辑过程目标：想要实现USB设备拔插的模拟。也就是说，物理上USB设备并没有拔出再插入的动作，但是在逻辑上，USB设备掉了，然后又重新连接上了。现在这个功能基本能实现，但是不稳定，容易出现USB设备掉。我自己写了一个小的字符驱动(usbPortdisplay.c) ...… 查看全部问答∨	15000转的电机用什么传感器啊？请教15000转的电机用什么传感器啊？… 查看全部问答∨
DM3730 /dm6446哪个更适合做运动检测与跟踪? 我看了DM3730 和dm6446的DATASHEET，感觉前者的频率更高一些，而且开发板的价钱更便宜，我想问问大家，如果是搞运动目标的检测与跟踪的应用的话，哪个芯片更合适呢？谢谢！… 查看全部问答∨	【设计工具】白皮书：通过赛灵思Virtex-7 产品系列以及高级综合实现TeraFLOP 性能 FPGA 通常与大多数可编程逻辑、高 I/O 引脚数以及大型定点 DSP 阵列有关。虽然FPGA并不是以其浮点处理能力而著称，但该项特性却非常出色。浮点运算符是通过可编程逻辑查看表 (LUT) 和 DSP 处理单元 (DS ...… 查看全部问答∨

我想pcb设计快速入门，应该怎么做呢？快速入门 PCB 设计需要一些基本步骤和指导：选择合适的工具：选择一款适合初学者的 PCB 设计软件，比如 Eagle、KiCad 或 Altium Designer。这些软件都有免费版本或试用版，适合用来学习和入门。学习软件基础知识：在开始设计之前，先学习软件的基 ...… 查看全部问答∨	对于pcb练习入门，请给一个学习大纲以下是一个 PCB 练习入门的学习大纲：第一阶段：基础知识理解 PCB 设计的基本概念：了解 PCB 的定义、作用、种类和应用领域。学习 PCB 设计流程：了解 PCB 设计的基本流程，包括原理图设计、布局、布线、验证和制造等阶段。掌握常见的 PCB 设计软件 ...… 查看全部问答∨
python神经网络如何入门作为电子工程师，想要入门 Python 神经网络，以下是一些步骤和建议：学习 Python 编程语言：如果你还不熟悉 Python，首先需要学习 Python 编程语言。Python 是神经网络领域的主要编程语言之一，具有简洁易读的语法和丰富的库支持。你可以通过在线教 ...… 查看全部问答∨	请问能否详细地讲解fpga中rom原理呢？ FPGA（现场可编程门阵列）是一种可以编程的集成电路，它允许用户根据需要设计和实现数字电路。在FPGA中，ROM（只读存储器）是一种存储设备，用于存储预先定义的数据或程序，这些数据或程序在FPGA的整个生命周期内通常不会改变。以下是FPGA中ROM原理 ...… 查看全部问答∨
我想单片机c语言从入门，应该怎么做呢？单片机C语言编程入门，要从寄存器来着手学习，个人感觉要好一些，主要差别也就在于对硬件地址的访问上。 … 查看全部问答∨	对于fpga实验入门，请给一个学习大纲以下是适用于电子工程师入门 FPGA 实验的学习大纲：第一阶段：基础概念和工具准备了解 FPGA 的基本概念学习 FPGA 的定义、结构和工作原理，了解可编程逻辑单元（PL）和可编程资源（如片上存储器、DSP 等）。熟悉 FPGA 开发工具学习并熟悉常用的 FPG ...… 查看全部问答∨
我想机器学习猫狗大战入门，应该怎么做呢？想要参与猫狗大战这样的机器学习项目，你可以按照以下步骤入门：了解项目背景：首先，了解猫狗大战项目的背景和目标。这是一个经典的图像分类问题，你需要根据提供的猫和狗的图像来训练一个模型，使其能够准确地区分猫和狗。学习图像分类基础知识 ...… 查看全部问答∨	请问能否详细地讲解fpga移相器原理呢？ FPGA移相器是一种利用可编程逻辑器件实现信号相位调整的设备，广泛应用于电力系统、通信系统等领域。其核心原理基于数字信号处理技术，通过数字方式控制信号的相位变化。以下是FPGA移相器的一些关键原理和实现方法：基于DDS技术的频率合成：DDS（ ...… 查看全部问答∨
我想神经网络代码快速入门，应该怎么做呢？神经网络的代码快速入门可以通过以下步骤来实现：选择编程语言和框架：首先选择一门适合您的编程语言和神经网络框架。目前常用的神经网络框架包括TensorFlow、PyTorch、Keras等，而编程语言可以选择Python、C++等。学习基本概念：在选择框架和语言 ...… 查看全部问答∨	avr单片机如何入门入门AVR单片机可以按照以下步骤进行：1. 了解基础知识AVR架构简介：了解AVR单片机的基本特点、指令集和应用领域。单片机概述：了解AVR单片机的种类、功能和应用场景。2. 学习编程语言和开发环境选择编程语言：AVR单片机常用的编程语言包括C语言和汇 ...… 查看全部问答∨

2021年11月02日 | 提高AI模型数据吞吐量 芯动力发明神经网络权值存储的方案

2021年11月02日 | 提高AI模型数据吞吐量芯动力发明神经网络权值存储的方案