历史上的今天
今天是：2025年08月14日（星期四）
2020年08月14日 | 技术文章：详解FPGA如何实现FP16格式点积级联运算
2020-08-14 来源：EEWORLD
摘要：通过使用Achronix Speedster7t FPGA中的机器学习加速器MLP72，开发人员可以轻松选择浮点/定点格式和多种位宽，或快速应用块浮点，并通过内部级联可以达到理想性能。
神经网络架构中的核心之一就是卷积层，卷积的最基本操作就是点积。向量乘法的结果是向量的每个元素的总和相乘在一起，通常称之为点积。此向量乘法如下所示：
图 1 点积操作
该总和S由每个矢量元素的总和相乘而成，因此s=a1b1+a2b2+a3b3+...本文讲述的是使用FP16格式的点积运算实例，展示了MLP72支持的数字类型和乘数的范围。
此设计实现了同时处理8对FP16输入的点积。该设计包含四个MLP72，使用MLP内部的级联路径连接。每个MLP72将两个并行乘法的结果相加（即aibi+ai+1bi+1），每个乘法都是i_a输入乘以i_b输入（均为FP16格式）的结果。来自每个MLP72的总和沿着MLP72的列级联到上面的下一个MLP72块。在最后一个MLP72中，在每个周期上，计算八个并行FP16乘法的总和。
最终结果是多个输入周期内的累加总和，其中累加由i_first和i_last输入控制。 i_first输入信号指示累加和归零的第一组输入。 i_last信号指示要累加和加到累加的最后一组输入。最终的i_last值可在之后的六个周期使用，并使用i_last o_valid进行限定。两次运算之间可以无空拍。
配置说明
表 1 FP16点积配置表
端口说明
表 2 FP16点积端口说明表
时序图
图 2 FP16点积时序图
其中，
那么，以上运算功能如何对应到MLP内部呢？其后的细节已分为MLP72中的多个功能阶段进行说明。
进位链
首先请看下图，MLP之间的进位链结构，这是MLP内部的专用走线，可以保证级联的高效执行。
图 3 MLP进位链
乘法阶段
下图是MLP中浮点乘法功能阶段，其中寄存器代表一级可选延迟。
图 4 MLP乘法功能阶段框图
MLP72浮点乘法级包括两个24位全浮点乘法器和一个24位全浮点加法器。两个乘法器执行A×B和C×D的并行计算。加法器将两个结果相加得到A×B + C×D。
乘法阶段有两个输出。下半部分输出可以在A×B或（A×B + C×D）之间选择。上半部分输出始终为C×D。
乘法器和加法器使用的数字格式由字节选择参数以及和参数设置的格式确定。
浮点输出具有与整数输出级相同的路径和结构。MLP72可以配置为在特定阶段选择整数或等效浮点输入。输出支持两个24位全浮点加法器，可以对其进行加法或累加配置。 进一步可以加载加法器（开始累加），可以将其设置为减法，并支持可选的舍入模式。
最终输出阶段支持将浮点输出格式化为MLP72支持的三种浮点格式中的任何一种。 此功能使MLP72可以外部支持大小一致的浮点输入和输出（例如fp16或bfloat16），而在内部以fp24执行所有计算。
图 5 MLP浮点输出阶段框图
需要强调的是本设计输入和输出都是FP16格式，中间计算过程，即进位链上的fwdo_out和fwdi_dout 都是FP24格式。具体逻辑框图如下所示：
图 6 FP16点积逻辑框图
MLP内部数据流示意图：
图 7 FP16点积在MLP内部数据流图
最终ACE的时序结果如下：
史海拾趣
|
2007年9月1日，在南京召开的“2007中国软件产业发展暨企业创新高峰会”上传出信息，今年上半年全国软件产业实现销售收入2601亿元，增长23%，高于电子信息产业18%的增长水平，而其中嵌入式软件增长24%，高于软件产业的增长水平。同时据赛迪顾问研究 ...… 查看全部问答＞ |
|
请各位大侠们帮助，新装的WIN CE 5.0编译出现Invalid parameters passed to Wince.bat问题，怎么解决呀！急死人了，帮帮 小弟刚接触WIN CE ，刚装的WIN CE5.0安装后，新建工程编译出现Invalid parameters passed to Wince.bat问题，而且左边没有 OSDesign View标签.开始安装时因为有文件有2部分，WIN CE文件没有放在同一目录下，之后我将文件移动到了同一目录下，开始以 ...… 查看全部问答＞ |
|
在C-SPY,中设断点时, 总出现: Error[130]:"some breakpoint could not be set", 不论在那条语句上设都设不了。 ？？？？？？？？？？？？？？？？ 比其它51系列或者96系列的仿真器来说，C-SPY 的调试简直就是地狱！！！… 查看全部问答＞ |
|
本帖最后由 paulhyde 于 2014-9-15 03:48 编辑 ulink2 如何给arm板子供电啊？需要怎么设置啊 请问有人知道吗？求教啊 … 查看全部问答＞ |
|
关于LM3S8962的I2C读取honeywell传感器实验 honeywell新一代的传感器很多是I2C输出。 手头有两个气体流量传感器，于是想在EK-LM3S8962开发板上测试一下。 程序参考周立功的I2C读取LM75A例程，以及本版面的经验贴：https://bbs.eeworld.com.cn/viewthread.php?tid=231364 honeywell ...… 查看全部问答＞ |
|
codewarrior 在编译时提示警告信息如下：Warning : C1420: Result of function-call is ignored 哪位大哥告诉我一下这是什么意思，怎么解决？ 芯片为MC9S08DZ60 [ 本帖最后由 kwq498901 于 2012-3-31 09:29 编辑 ]… 查看全部问答＞ |