AI训练、推理所需计算量呈指数级增长，2012年至今计算量已扩大30万倍。以ChatGPT为代表的AI大模型需要使用海量数据进行训练，对数据和带宽的要求不断提高，大容量服务器DRAM和高带宽内存HBM可有助于解决日益突出的存算失配问题。#人工智能#

处理AI大模型的海量数据需要宽广的传输“高速公路”即带宽来吞吐数据。

HBM（高带宽存储器）带宽相比DRAM大幅提升。同时，得益于TSV技术，HBM的芯片面积较GDDR大幅节省，因而是最适用于AI训练、推理的存储芯片。#芯片#

2023年以来微软、Meta、百度和字节相继推出基于生成式AI衍生的产品服务而积极加单。

TrendForce表示，从高阶GPU搭载的HBM来看，英伟达高阶GPU H100、A100主要采用HBM2e、HBM3。#英伟达#

随着英伟达的A100/H100、AMD的MI200/MI300、谷歌自研的TPU等需求逐步提升，预估2023年HBM需求量将同比增长58％，2024年有望再增长约30％。#hbm#

关注乐晴智库，洞悉产业格局！

HBM行业概览

高带宽存储器（HBM）是传统DRAM的一次技术性升级。

HBM可支持更高速率的带宽，将多个DDR芯片堆叠并和GPU封装在一起，是一种基于3D堆叠工艺的高价值量DRAM存储器，并用多根数据线实现高吞吐高带宽特性，例如HBM/HBM2用1024根数据线传输数据，而GDDR/DDR仅用32/64根。

HBM作为一种带宽远超DDR/GDDR的高速内存，将为大算力芯片提供能力支撑，同时生成类模型也会加速HBM内存进一步增大容量和增大带宽。且HBM比GDDR5节省了94%的表面积，在内存的功耗效率上表现优异。

此外HBM堆栈不以外部互连线的方式与信号处理器芯片连接，而是使用额外的硅联通层和晶片堆叠技术，内部的不同DRAM则采用TSV实现信号纵向连接。

HBM路线图：

资料来源：海力士官网，半导体行业观察，=

从技术角度看，HBM促使DRAM从传统2D加速走向立体3D，充分利用空间、缩小面积，契合半导体行业小型化、集成化的发展趋势。

HBM突破了内存容量与带宽瓶颈，被视为新一代DRAM解决方案，业界认为这是DRAM通过存储器层次结构的多样化开辟一条新的道路，革命性提升DRAM的性能。

各大厂商DRAM技术路线：

资料来源：Yole，半导体行业观察

HBM有两个核心特征：DRAM颗粒以3D封装方式垂直摆放；3D DRAM与GPU/CPU通过interposer合封，实现直接连接。

这两个技术特征，目的是解决传统DRAM与CPU/GPU通过主板（Motherboard）连接的信号延迟与电磁干扰。

采用TSV技术垂直堆栈使得HBM内空间被充分利用，突破单一封装内带宽限制：

HBM市场竞争格局

行行查 | 行业研究数据库 资料显示，HBM格局集中，SK海力士为全球龙头，领跑高端HBM份额。SK海力士依托2013年HBM1以来10余年的生产研发经验，成功卡位全球最大供应商，市占率高达50%。

HBM竞争格局&应用市场：三巨头垄断，受益于AI服务器市场增长

资料来源：IT之家，TrendForce，新思界、方正证券

2014年，SK海力士与AMD联合开发了全球首款硅通孔HBM产品。

自初代HBM1首次问世以来，HBM产品已经历三次迭代，以SK海力士为首的海外头部存储企业是引领HBM产品迭代的主力军。

HBM1不仅带宽显著高于同时期的DDR4和GDDR5产品，还具备外形尺寸小、消耗功率低的多重优势，更能满足图形处理单元GPU等带宽需求较高的处理器。

HBM2的主要增强功能之一是其伪通道模式，该模式将通道分为两个单独的子通道，每个子通道分别具有64位I/O，从而为每个存储器的读写访问提供128位预取。

凭借HBM初代产品，海力士在高带宽存储市场上夺得先机。

SK海力士在2021年10月开发出全球首款HBM3，并于2022年正式向市场发布，HBM3产品最高可堆叠芯片数目增至12枚，HBM3采用16通道架构，运行速度再次翻倍达6.4Gbps，尤其适用于AI、HPC等容量密集型应用。SK海力士是唯一量产新世代HBM3供应商。

目前SK海力士正在开发HBM4，预计新一代产品将在高性能数据中心、超级计算机和人工智能领域得到更广泛的应用。

海力士作为HBM创始者具备先发优势，预计在今年将有更多客户导入HBM3的情况下，海力士整体HBM市占率有望进一步提升至53 %，而三星、美光则预计陆续量产，HBM市占率分别为38%及9%。

目前英伟达、AMD多款产品率先使用HBM显存，NVIDIAH系列作为最早搭配有HBM3的GPU产品能大幅提升AI大模型的训练速度。

值得注意的是，每一代新的DDR在容量、数据速率和功耗方面都有改进。然而，与此同时，模块设计人员面临着新的信号完整性挑战，这使得在更高的速度下实现更高的模块容量变得更加困难。为了解决这些问题，需要特定的内存条芯片。

资料来源：YOLE

内存拓展需求催涨CXL及PCIe芯片需求，国内主要相关厂商为澜起科技。

澜起科技的CXL内存扩展控制器（MXC）芯片是一款Compute Express Link™(CXL™) DRAM内存控制器，属于CXL协议所定义的第三种设备类型。

针对HBM内存相比DDR有局限的情况，澜起科技的CXL芯片可为CPU及基于CXL协议的设备提供高带宽、低延迟的高速互连解决方案，从而实现CPU与各CXL设备之间的内存共享，在大幅提升系统性能的同时，显著降低软件堆栈复杂性和数据中心总体拥有成本（TCO）。#5月财经新势力#

相关布局厂商还包括纳思达、兆易创新（国内Norflash存储龙头）、复旦微电（FPGA芯）、龙芯中科、长电科技，通富微电（封装龙头），深科技（国内最大的独立DRAM内存芯片封测企业，全球第二大硬盘磁头制造商）等。

关注乐晴智库，洞悉产业格局！