HBM 高带宽内存

它是什么？

HBM（High Bandwidth Memory，高带宽内存）是一种 3D 堆叠式 DRAM。传统内存芯片平铺在电路板上，而 HBM 把 4~16 层 DRAM 裸片（Die）像盖楼一样垂直堆叠在一颗逻辑基础芯片上，再和 GPU 一起"贴"在同一块硅中介层（Interposer）上封装。左侧 3D 模型就是一颗典型的 GPU 封装：中间是 GPU 大芯片，四周的小高塔就是 HBM 堆栈。

为什么需要它？—— 内存墙

AI 时代，算力的增长远远跑赢了内存带宽：从 2016 年的 P100 到 2024 年的 B200，NVIDIA GPU 的 FP16 算力涨了约 106 倍，而同期显存带宽只涨了约 11 倍——这还是靠 HBM 硬拉上来的。芯片算得再快，数据喂不上也只能空转，这就是"内存墙"。

提升带宽只有三条路，HBM 把第三条推到了极致：

• 更多通道（如 12 通道 DDR5）：占主板面积，引脚爆炸；
• 更快引脚（如 GDDR7 单引脚 32 Gb/s）：信号完整性和功耗承压；
• 更宽总线 + 更近距离：HBM 把内存搬进封装内部，总线宽度做到 1024 位（HBM4 翻倍到 2048 位）。

一千根短而慢的线，胜过几十根长而快的线——又省电又快。

结构解剖：一座内存"高楼"

点击左上角的 「堆栈拆解」，拖动"爆炸拆解"滑块，可以一层层拆开这座塔：

• DRAM Die（存储层）：真正存数据的地方，每层被磨薄到约 30~50 μm（不到头发丝的一半），8~16 层垂直堆叠；
• 逻辑基础 Die（Base Die）：塔基，负责 I/O 接口、测试和与外界的联络；
• TSV 硅通孔：直接打穿硅片的铜柱，直径仅 5~10 μm，每颗堆栈有数千个。数据、命令、供电全部走这条"垂直电梯"，不再绕道芯片边缘打线；
• 微凸点（Microbump）：层与层之间的焊点，间距约 25 μm；
• 硅中介层（Interposer）：一块带超精细布线的硅片（2.5D 封装），GPU 和 HBM 都坐在它上面，相距仅几毫米——1024 位总线只有在这里才布得开。

宽度换速度：和 GDDR 比比

对比项	GDDR7 单芯片	HBM3E 单堆栈
总线宽度	32 bit	1024 bit
单引脚速率	~32 Gb/s	~9.6 Gb/s
带宽	~128 GB/s	~1.2 TB/s
位置	显卡 PCB 上，离 GPU 几厘米	封装内部，离 GPU 几毫米

一颗堆栈的带宽≈10 颗 GDDR7 芯片，且每 bit 传输能耗更低。B200 上 8 颗 HBM3E 堆栈合计带宽达 8 TB/s。

历代规格

代际	标准发布	单引脚速率	接口宽度	单堆栈带宽	最大容量
HBM	2013	1.0 Gb/s	1024-bit	128 GB/s	4 GB
HBM2	2016	2.0 Gb/s	1024-bit	256 GB/s	8 GB
HBM2E	2019	3.6 Gb/s	1024-bit	461 GB/s	24 GB
HBM3	2022	6.4 Gb/s	1024-bit	819 GB/s	24 GB
HBM3E	2023	9.6 Gb/s	1024-bit	~1.2 TB/s	36 GB
HBM4	2025	8 Gb/s	2048-bit	~2 TB/s	64 GB

2013 年由 AMD 与 SK 海力士联合推动、JEDEC 立项；2015 年 AMD Fiji（R9 Fury X）首次商用。HBM4 把接口翻倍到 2048 位，回归"以宽度换速度"的老打法。

代价：热与钱

• 散热难：8~16 层芯片共享一条向上的散热路径，旁边就是 700W+ 的 GPU；DRAM 温度越高漏电越严重、刷新越频繁，反过来吃掉带宽。堆栈在 ~95°C 左右就会降速，散热而非信号成为堆栈继续长高的首要约束。
• 成本高：数千个 TSV、逐层堆叠键合，任何一层任何一个 TSV 出问题，整座塔报废。HBM3E 每 GB 成本约为 DDR5 的 15~25 倍。只有"带宽本身就是产品"的 AI 训练/推理场景才付得起这张账单。

参考资料

• Wikipedia: High Bandwidth Memory（含 AMD Fiji 封装实拍图，即本页 3D 模型的形态参考）
• abhik.ai: How HBM works — 3D-stacked DRAM, TSVs, and silicon interposers explained
• Rambus: High Bandwidth Memory (HBM) — Everything You Need to Know
• SK hynix Newsroom: Semiconductor Back-end Process — Packages