转自中信智库、中信建投证券研究发展部出品武超则等著《AI产业全景图谱：技术范式、投资机遇与未来生态》，中信出版集团。
《AI产业全景图谱》新书第二章“算力基石：AI时代的底层动力与产业机遇”内容节选——存储革命：HBM与“内存墙”的突围。
在后摩尔时代，存储带宽制约了计算系统的有效带宽，导致芯片算力性能的提升受到限制，HBM应运而生。与传统DRAM不同，HBM采用3D结构，它使用硅通孔技术将数个DRAM裸片进行堆叠，形成立方体结构，即在DRAM芯片上开设数千个细微孔，并通过垂直贯通的电极连接上下芯片；底层则是DRAM逻辑控制单元，负责整体时序与控制。从技术角度看，HBM促使DRAM从传统2D加速走向立体3D，充分利用空间、缩小面积，契合半导体行业小型化、集成化的发展趋势。HBM和硅互连技术突破了内存容量与带宽瓶颈，被视为新一代DRAM解决方案。而相较传统封装方式，硅通孔技术能够缩减30%的体积，并降低50%的能耗。
存储器带宽指单位时间内可以传输的数据量，要想增加带宽，最简单的方法是增加数据传输线路的数量。在典型的DRAM中，每个芯片有8个DQ引脚，也就是数据输入/输出引脚。在组成DIMM（双列直插式内存模块）单元之后，共有64个DQ引脚。然而，随着系统对DRAM和处理速度等方面的要求有所提高，数据传输量也在增加。因此，DQ引脚的数量（D站的出入口数量）已无法保证数据能够顺利通过。HBM由于采用了系统级封装（SIP）和硅通孔技术，拥有高达1024个DQ引脚，但其外形尺寸（指物理面积）却至少比标准DRAM小90%。由于传统DRAM需要大量空间与CPU、GPU等处理器通信，且它们需通过引线键合或PCB迹线进行连接，因此DRAM无法对海量数据进行并行处理。相比之下，HBM产品可以在极短距离内进行通信，增加了DQ路径，显著加快了信号在堆叠DRAM之间的传输速度，实现了低功耗、高速的数据传输。
显存带宽=显存等效频率×显存位宽/8，因此频率和带宽决定显存性能。HBM显存可以提供1024bit（比特）起跳的显存位宽，4颗粒堆叠式的显存可达到128GB/s的带宽。HBM能大幅提高数据处理速度，每瓦带宽比GDDR5高出3倍多，且HBM2比GDDR5节省了94%的表面积，减少了超20%的功耗。2021年，SK海力士和Rambus先后发布最高数据传输速率6.4Gbps和8.4Gbps的HBM3产品，每个堆栈将提供超过819GB/s和1075GB/s的传输速率，支持16层堆栈，堆栈容量达到24GB。HBM3带宽达819GB/s，相对初代增加了7倍，是LPDDR5的近100倍，较DDR5、GDDR6高出10倍以上。与传统内存相比，HBM的存储密度更大、功耗更低、带宽更高，多用于与数据中心GPGPU配合工作，可以取代传统的GDDR，HBM优势在于高位宽，但是频率相对偏低。
AI服务器需要在短时间内处理大量数据，对带宽提出了更高的要求，HBM成为重要的解决方案。AI服务器GPU市场以英伟达H100、A100、A800以及AMDMI250、MI250X系列为主，基本配备了HBM。HBM方案目前已演进为较为主流的高性能计算领域扩展高带宽的方案。以英伟达为例，2022—2023年英伟达GPU搭载的HBM主要是HBM2/2E，2023年逐步开始搭载HBM3，2024年则主要是HBM3和HBM3E。当前，英伟达新一代的GB200，其BlackwellGPU搭载的是8层堆叠、单颗16GB的HBM3E。2025年下半年量产的GB300，其BlackwellGPU搭载的是12层堆叠、单颗24GB的HBM3E，并且Rubin系列将搭载HBM4甚至HBM4E，配置规格不断提升。
SK海力士是HBM开发的先行者，并在技术开发和市场份额上占据领先地位。2014年，SK海力士与AMD联合开发了全球首款HBM产品。SK海力士的HBM3发布7个月后实现了量产，搭载于英伟达H100之上。根据BusinessKorea的报道，2025年SK海力士在HBM市场已占据60%~70%的份额。SK海力士之后，三星、美光相继推出了各自的HBM产品，并迭代至HBM3E-12Hi。包括台积电、格芯等在内的晶圆代工厂商也在积极发展HBM相关的封装技术。
随着HBM的性能提升，其未来市场空间广阔。以位元计算，2025年HBM占整个DRAM市场比重仅约1.5%，渗透率提升空间较大，在将GPU等AI芯片推向高峰的同时，也极大带动了市场对新一代内存芯片HBM的需求。据悉，2023年初以来，三星、SK海力士的HBM订单快速增加，价格也水涨船高。2023年全球HBM市场规模为40亿美元，2025年预计增长至350亿美元（见图2-4）。
HBM快速迭代，HBM4即将进入量产阶段。结构上，根据SK海力士数据，2024年其HBM3E收入将占HBM收入的一半以上，2025年高层HBM3E供给量继续提升，12层HBM4在2026年1月初向英伟达交付最终样品。(1)HBM3E：三大原厂相继推出12层（12Hi）产品，这些12层产品的HBM预计用在英伟达的B300A（B200AUltra）和B300上。(2)HBM4：三星、SK海力士计划2024年第四季度开始HBM4的流片，预计2026年用在英伟达下一代的Rubin芯片上。SK海力士的HBM产品迭代情况如表2-9所示。
3DIC是指使用FAB工艺（即半导体制造工艺）在单个芯片上堆叠多个器件层，包括多逻辑芯片间的堆叠。一方面，与2.5D封装相比，3DIC封装互连方式有所不同。2.5D封装是通过硅通孔转换板连接芯片，而3DIC封装是将多个芯片垂直堆叠在一起，并通过直接键合技术实现芯片间的互连。在2.5D结构中，两个或多个有源半导体芯片并排放置在硅中介层上，以实现极高的芯片到芯片互连密度。在3D结构中，有源芯片通过芯片堆叠集成，以实现最短的互连和最小的封装尺寸。另一方面，2.5D封装和3DIC封装的制造工艺也有所不同。2.5D封装需制造硅基中介层，还涉及微影技术等复杂的工艺步骤；而3DIC封装则需要进行直接键合技术等高难度的制造工艺步骤。当前，3DIC封装的主流产品包括台积电SoIC技术、英特尔Foveros技术和三星X-Cube技术。