美光第二代HBM3内存实现带宽、效率与速度的同时提升
2023-08-03 来源:EEWORLD
美光旨在通过其最新一代高带宽内存 (HBM3) 技术实现高带宽、效率和速度之间的平衡。
美光科技最近宣布“业界首款”HBM3 Gen2内存芯片已进入样品阶段。随着生成式人工智能模型变得越来越普遍,设计人员必须克服人工智能内存在效率、成本和性能瓶颈。与传统内存解决方案相比,第二代 HBM3 具有独特的优势,因此可以解决其中一些痛点。
美光的 HBM3 Gen2 内存芯片可以提高密度和带宽,同时降低功耗并提高计算模块的效率。 图片由美光科技提供
最新的 HBM3 内存基于美光的 1β(1-beta)DRAM 工艺节点构建,最多允许 24 Gb 内存芯片堆叠成 8 或 12层3D 堆栈。 不仅提高了纯存储密度,还提高了带宽和功耗性能。 本文深入探讨了这些优势以及美光科技最新的内存产品,让读者了解 HBM3 标准如何实现新的、强大的内存进步。
HBM3 标准因对快速、高效内存的需求而兴起
自推出以来,冯·诺依曼架构就一直是芯片设计师的掣肘。对于需要大量内存的人工智能模型尤其如此,内存墙一直是整个系统的瓶颈。
为了应对这一限制,HBM 使用 3D 集成来进一步耦合计算和内存芯片,并提供更高的整体带宽和功效。 HBM3 Gen1 是 JEDEC 最新批准的标准,以 HBM2 和 HBM2E 标准为基础,支持未来堆叠内存芯片的更高带宽和能效。
HBM3 内存使用垂直堆叠芯片来提高内存密度和带宽性能。 图片由 Synopsys 提供
尽管内存标准主要关注速度和带宽,但功耗才是大型部署效率低下的主要原因。 因此,HBM3标准不仅将带宽从3.6 Gbps增加到6.4 Gbps,将最大容量从16 GB增加到64 GB,而且大大降低了存储设备的核心电压和功耗。
美光 HBM3 Gen2:提高每瓦性能
尽管 JEDEC 尚未发布 HBM3 Gen2 标准,但美光等公司正在开发下一代 HBM 设备,以满足新兴应用的内存需求。 美光 HBM3 Gen2 芯片以其 HBM2E 产品组合为基础,出色的性能使其成为带宽密集型应用的有吸引力的解决方案。
HBM3 内存允许将内存芯片放置在非常靠近计算模块的位置,从而降低处理器和内存之间的延迟,并提高内存密集型应用程序的性能。 图片由 Synopsys 提供
就纯带宽而言,HBM3 Gen2 芯片支持超过 1.2 TB/s 的内存带宽,可与 AI 计算核心结合使用,并且12层堆叠比8层容量密度增加50%。 HBM3 Gen2 提高了性能并降低了功耗,每瓦性能提高了 2.5 倍,从而降低了系统的总运营成本。
美光将于 2024 年第一季度开始发售其 36 GB 12层堆叠HBM3。这种使用先进封装和集成技术的更高带宽内存的趋势预示着复杂 AI 模型的未来。
更多维度的内存
虽然并非所有设计人员都会直接使用堆叠内存芯片,但所有领域的工程师都会感受到 HPC 和 AI 应用内存带宽改进的效果。通过提高内存速度和能效,AI 模型和 HPC 集群可以以更低的总成本提供更多优势。
随着官方 HBM3 标准的发展,像美光这样的芯片制造商可能会对该标准的局限性做出迅速反应。 例如,堆叠层数上限可能会限制3D 内存芯片的整体容量和带宽。
- 美光LPDDR5内存为汽车高级驾驶辅助系统(ADAS)提供解决方案
- 美光确认启动“生产可用”版 12 层堆叠 HBM3E 36GB 内存交付
- 消息称美光将在西安工厂率先启动 LPCAMM 和 MRDIMM 内存模组量产
- 美光收购友达光电台南、台中厂房,总交易价值 81 亿新台币
- 美光推出业界领先的 PCIe 6.0 数据中心 SSD,赋能生态系统发展
- 美光发力NAND:推出新款数据中心SSD和首款276层TLC NAND SSD
- 美光推出全新数据中心 SSD,性能业界领先
- 美光 MRDIMM创新技术打造最高性能、低延迟主存,为数据中心工作负载加速
- 美光 MRDIMM 创新技术打造最高性能、低延迟主存,为数据中心工作负载加速
- 美光发布 2024 年可持续发展报告,聚焦进展与长期愿景