让生成式AI训练更高效!Rambus推出9.6GBps HBM3内存控制器IP

芯东西(公众号:aichip001)
作者 |  ZeR0
编辑 |  漠影

芯东西12月7日报道,芯片和IP核供应商Rambus今日宣布Rambus HBM3内存控制器IP现可提供业界领先的9.6Gbps性能,支持HBM3标准的持续演进。

HBM采用创新的2.5D/3D架构,为AI加速器提供具有高内存带宽和低功耗的解决方案。凭借极低的延迟和紧凑的封装成为AI训练硬件的首选。Rambus HBM3内存控制器IP便是专为需要高内存吞吐量、低延迟和完全可编程性应用而设计。

相比HBM3 Gen1 6.4Gbps的数据速率,Rambus HBM3内存控制器的数据速率提高了50%,总内存吞吐量超过1.2TB/s,适用于推荐系统的训练、生成式AI以及其他要求苛刻的数据中心工作负载。

让生成式AI训练更高效!Rambus推出9.6GBps HBM3内存控制器IP

▲Rambus HBM3控制器模块图

该控制器是一种高度可配置的模块化解决方案,可根据每个客户对尺寸和性能的独特要求进行定制。对于选择第三方HBM3 PHY的客户,Rambus提供HBM3控制器的集成与验证服务。

在Rambus IP核部门总经理Neeraj Paliwal看来,大语言模型要求高性能内存技术不断进步,使得HBM3成为AI/ML训练的首选内存。

IDC内存半导体副总裁Soo-Kyoum Kim也谈道,HBM是更快速且更高效的处理大型AI训练和推理集的关键内存技术,比如用于生成式AI的训练和推理。

“对于像Rambus这样的HBM IP供应商来说,持续提高性能来支持满足市场苛刻要求的领先AI加速器的意义重大。”Soo-Kyoum Kim说。