2026-08-27 · Hot Chips 2026 系列专项 · 内存墙篇
三个月前 SubQ 对账文的结尾留了一句话：SSA 是内存墙四路进攻里成本最低的一路，另外三路在硅片层、协同设计层、系统层，大多 2027 年落地，那是下一篇的事。这一篇兑现它。
Hot Chips 2026 把这面墙完整地摆上了议程。Tutorial 日上午六场存储连讲：行业分析师 Jim Handy 解析存储市场，美光、三星、SK 海力士三家原厂悉数登场，创业公司 D-Matrix 与 Oxmiq 提供激进样本；RISC-V 的四场教程排在下午。Day 2 上午再补两场存算一体。议程密度本身就是信号：本届会议为四路进攻中最重的两路——硅片层与协同设计层——补上了关键的产业进展。
本篇只深拆这两层。算法层与系统层已有专文，文末统一衔接。所有数字对照官方材料与多源一线报道核实，单源数字一律随文标注。
一、墙有多厚：美光的四张账单
剪刀差，总览篇立过的墙的算术定义：AI 加速器算力每两年约 3 倍，HBM 带宽每两年不到 2 倍。本篇不再重复，直接展开剪刀差背后的全部代价。美光 HBM 设计架构 Fellow Raghu Sreeramaneni 在 Tutorial 日给出的材料，可以整理成四张账单。
账单一，封装。 最新一代封装把两颗 GPU 与八颗 12 层 HBM4 集成在一起，约 90% 的半导体面积用于存储，存储面积是计算部分的八倍以上。用面积换带宽，这是 HBM 路线最直观的代价。
账单二，晶圆。 制造同等容量，HBM 消耗的晶圆数量约是普通 DDR5 的三倍。同一座工厂，产出被大幅压缩，这是内存持续短缺的供给侧根源。Tutorial 开场的行业分析师 Jim Handy 从供给端独立算出同一数字：HBM 每片晶圆产出的容量只有标准 DDR 的三分之一，而行业已经十余年没有大规模新建晶圆厂，新产能即使按最激进规划也需要约两年（转述口径）。且这个差距还在扩大：速度越快、芯片越大、层数越多，需要的晶圆面积就越多。
账单三，可靠性。 美光转引 Meta 公布的 Llama 3 训练数据：约 17% 的非预期训练中断与 HBM 故障相关。多层堆叠的结构里，底层发热最多，热量却要穿透全部堆叠层才能到达顶部的散热装置。美光的判断是，行业已经进入先测算散热、再搭建芯片架构的阶段。
账单四，前路。 HBM4 单栈带宽已超 3TB/s，HBM4e 推进到约 4TB/s 区间，HBM5 相对 HBM4 再翻倍、容量突破 60GB。但带宽继续上行的瓶颈很明确：硅通孔的数量与节距，以及 base die 里 PHY 接口的 I/O 数量与速率。堆叠层数本身不是自由变量。
四张账单指向同一个结论，也是美光的原话：打破运算单元与存储之间的边界，全新架构设计，将会是翻越内存墙的一条路径。本届会议的存储议程，全部是在兑现这句话。
二、路线一：三星向上堆叠，把 HBM 变成 SoC
三星的进攻从最基础的环节开始：base die。
传统 HBM 里，底部基片只做数据转发与测试，集成 PHY 接口与 XPU 对接。三星指出两个正在恶化的问题：带宽每代翻倍，基片里 TSV 密度与 PHY 的功耗、面积成了短板；基片工艺与 XPU 主芯片的工艺代差持续扩大，集成效率随之下降。
三星的解法分四步走。第一步，基片转先进逻辑工艺：HBM4 的 base die 已采用 4nm，与计算芯片的工艺代差实质收窄。第二步，定制 HBM（cHBM）：把传统 PHY 换成芯粒间接口，信道更短、占用更小，空出的硅面积让渡给加速器；按三星口径，存储控制器下沉可为 XPU 释放 5% 到 10% 的面积，对应一到两成性能提升（转述口径，性能项单源）。第三步，先进 HBM（aHBM）：在基片闲置面积中加入内存扩展控制器与算力，存储控制器开始从 XPU 迁入 HBM。第四步，也是终点，zHBM：抛弃 2.5D 中介层，把 DRAM 垂直直叠在 XPU 之上，用超高密度铜混合键合实现每平方毫米数千个连接。
散热是定制阶段无法回避的配套：cHBM4 引入 Heat Path Block，在 PHY 热区约一半面积布置专用导热路径，将峰值温度降低逾 35%（转述口径）。
兑现指标以标准 HBM4e 为基线：DRAM 功耗降低 70%，带宽提升 2.3 倍；每个 DRAM 模组降低约 100W 功耗，为 GPU 释放 8.3% 的功率空间。
这条路线的意图不在内存参数，而在角色定位：HBM 从内存封装向存储侧 SoC 演进。今天的基片是被动转发层，三星要让它承担调度与预处理的职能。背景是市场份额的追赶：2026 年一季度 SK 海力士占据 HBM 市场 58%，三星与美光各 21%（卖方转述，单源标注）。与美光并列第二梯队的三星，需要一条能重定义规则的路线，而不只是在同一条路上追赶。
三、路线二：SK 海力士向内挖潜，混合键合再等一代
SK 海力士在同一 Tutorial 环节给出了方向相反的答案：不做架构跃迁，将 2.5D 方案的潜力挖掘到极限。
主力工艺 MR-MUF 的租约续到了 16 层 HBM4。16 层的工艺难度可观：die 要薄到 50μm 以下，翘曲控制是制造难关，层间缝隙减半对填胶工艺提出成倍要求。Advanced MR-MUF 把热阻较上代再降 17%。支撑这项选择的是市场地位：一半以上的 HBM 份额押在现有产线的良率上，渐进改良的风险收益比最优。
真正的转折在混合键合的时间表。铜-铜混合键合被普遍视为 20 层以上的必经之路，但 SK 海力士副总裁 Jaesik Lee 现场原话：它不满足 HBM4e 要求，最早 HBM5。JEDEC 把封装 Z-height 放宽到 775μm，讨论区间 825-900μm，进一步推后了切换点。行业叙事里的「混合键合呼之欲出」，在 SK 海力士这里是一句冷静的「再等一代」。
真正兑现时的参数值得完整记录：20 层堆叠，core die 可以加厚 24%，热阻比 MR-MUF 低约 35%，凸点间距从今天约 30μm 压到 18μm 以内。另有一项布局：2.5D 方案里明确引入 Intel EMIB 硅桥互连，堆叠之外的互连层也在换材料。
这段材料里还有一句更根本的判断，值得单独引述：HBM 从系统里最后装配的部件，变成先进封装一开始必须围绕它设计的核心。CoWoS、EMIB、堆叠高度、热机械应力、供电、混合键合、良率，整条先进封装产线围绕 HBM 重排。向内挖潜并非保守，而是把主动权从封装厂收回存储厂。
两条路线就此分叉。三星押注 3D 直叠先落地，以架构跃迁跨越工艺代差；SK 海力士押注 MR-MUF 延展至 20 层，以良率与产能守住基本盘。裁决时点在 HBM5 节点，大约 2027 年；JEDEC 的 Z-height 定案决定切换点。同一面墙，两条梯子，这是本届存储议程最值得跟踪的产业对赌。
四、创业公司的证明：d-Matrix Raptor
巨头画路线图，创业公司交证据。d-Matrix 在 Tutorial 日展示的 Raptor，是与 Meta 共同呈现的 3D DRAM 加速器，也是四路进攻里最激进的一个样本。
架构逻辑可以一句话概括：把 TSMC N4 工艺的计算裸片，以 36μm 间距面对面直接键合在定制 DRAM 芯片之上。方向与直觉相反，逻辑芯片在上、DRAM 在下，冷板直接接触计算硅片，DRAM 芯片兼任中介层，硅通孔承载 PCIe 与裸片间信号。
关键在能耗数字。CTO Sudeep Bhoja 现场给出：垂直接口约 0.37 pJ/bit，将数据移入 HBM4 base die 约 2.4 pJ/bit，两者相差六倍以上；他强调这是来自工作硅片的实测数据，而非纸面推演。能耗差异的来源在物理路径：垂直接口是裸片间的直接键合，数据走的距离以微米计；进入 HBM4 则要经过 base die PHY 的长路径与中介层绕行——CTO 现场强调的正是这条物理路径的差异。会议口径的区间版本（2.5D 路径 2.5-5 pJ/bit 对垂直 3D I/O 0.3-0.4）与此一致。单卡 32GB 容量提供 100TB/s 带宽。与英属哥伦比亚大学合作的 ISCA 2026 论文预测，Raptor 每卡吞吐量比基于 HBM 的设计高约 4.7 倍。
Raptor 最关键的部分是负载分类，它把内存墙议题接回了推理经济学：prefill 往往受限于算力，decode 受限于存储和带宽，MoE 在较低的批次下即可能受限于存储。真正需要极端内存带宽的是 decode。这与总览篇的五路线图景互为印证，只是 Raptor 把答案压进了封装层。
商业信息全部属于预测口径：DRAM 制造商未披露，现场没有日期、产量与定价，CEO 六月对外称计划 2027 年推出；2.8 万亿参数 Kimi K3、100 万 token 上下文、每用户每秒 988 token 的成绩，均为基于早期硅片的预测值。
它的价值不在产品时间表，在方向证明：AI 推理创新正在从增加乘法器转向缩短数据移动。这句会上的判断，可作为硅片侧的总纲。
五、协同设计层：算力进内存，从研究走向产品
如果说硅片层改的是搬运距离，协同设计层改的是搬运对象：让计算发生在数据近端。本届会议交出了三条已落地的路径。
存内计算，三星 LPDDR5X-PIM。 三星把 16 个 PIM 块直接放进 DRAM 存储体，每个集成乘加树与 ALU，数据在内存内部完成部分计算，无需先经总线传输至处理器——把数据搬运到处理器再搬运回来所消耗的能量，远高于在数据旁边直接完成计算——这正是 PIM 研究的物理动机。这是首个产品化的 LPDDR 基 PIM：16GB 容量，4 裸片一个内存秩，保持 JEDEC 标准 561 焊球封装。规格数字：PIM 内部带宽 614GB/s，是传统 LPDDR5X x64 侧 76.8GB/s 的八倍；SINT4 权重下约 2.4 TOPS。
PIM 并非新概念。三星 2021 年就在 HBM2 上试验过 Aquabolt-XL，五年后才走到 LPDDR 产品化，这个时间差本身就是注脚：从研究到产品，跨越的不只是芯片工程。
两个设计细节比带宽更重要。其一，Address Align Mode 让客户继续使用传统 DRAM 控制器，不必重做存储子系统，兼容性是 PIM 十年研究史第一次走到产品的关键。其二，三星的下一步是把 LPDDR6-PIM 推进 JEDEC 标准化：从厂商特性变成行业标准，路线才算真正成立。自测成绩需要按口径解读：Llama 3.1 8B 输出从 27 token/s 提高到 81.3，3.01 倍是三星特定测试，不应推广为普适提升。
近存计算，XCENA MX1。 这家韩国创业公司与三星联合展示的 MX1 是 CXL Type 3 计算内存设备，芯片流片在三星代工 4nm 上，联合展示因此不只是背书关系。它的做法是把 3,072 颗定制 RISC-V 核集成在内存控制器近旁：24 个子系统、每个四簇共 128 个处理单元，每个子系统共享 128MB 三级缓存。这些核有意选择简单的顺序执行设计，因为目标负载（内存分析、RAG 检索、内存压缩）受限于带宽与功耗，不受限于单核性能；向量引擎再叠加一条数据并行通路，每颗 SoC 峰值约 3 TFLOPS 点积吞吐。
CXL 侧扩展四通道 DDR5-8400 至最高 2TB；同时经 PCIe 6.0 接入 SSD，以 64KB 页组织成字节寻址的分层大容量空间，架构名为 InfiniteMemory，DRAM 为 SSD 做缓存。软件侧提供了一套 MapReduce 风格的运行时 PXL，内核用 C/C++ 或 Rust 编写，主机与设备共享同一虚拟地址空间，现有 malloc 代码几乎可以原样迁移到 CXL 内存。
两组自测数据按原始口径呈现。分析内核基准（Xeon 6767P 对照、不计空载功耗）：吞吐最高为主机走 CXL 的 4.7 倍、本地 DRAM 的 2 倍，功耗约为主机的四分之一。KV cache 实验（Llama 3.1 8B 配 vLLM 与 LMCache）：常驻前缀下首 token 延迟为 DRAM 驻留的 1.13 倍，解除钉住后升至 1.57 倍，裸 SSD 基线 1.86 倍，预取能将差距收敛至接近 DRAM 驻留。三星的配套动作是把近存计算库 NDC API 通过 OCP 开源，PyTorch 经 OpenXLA 接入，框架侧无需改代码。
会场上另一个生态信号值得记录：三星说，CXL 正被所有主要云厂商用于数据库与 AI KV cache。这句话说的是 CXL 生态，不是这台设备；但生态先于设备成熟，是这条路线得以成立的前提。
直叠的第三种用法。 把第四节的 Raptor 放回这里看，三条路径其实是同一个逻辑的三种落法：逻辑向 HBM 走（base die SoC 化），MAC 与 ALU 向 LPDDR 走（PIM），计算裸片直接叠于 DRAM 之上（Raptor）。存储正在从被动存储器变成主动计算组件，这句会议侧的观察，是三条路径的公分母。
六、算法层与系统层：定位与衔接
四路进攻的另外两路，此前已有专文，这里只做定位。
算法层是成本最低的一路。Subquadratic 以 2900 万美元的成本，用开源底座加注意力替换加 1T 续训获得 12M 长上下文，证明算法层路线是平民化的，不需要前沿实验室预算。三个月对账的结论依然有效：技术是真的，话术是超前的，年底 GA 与无偿第三方复现是下一个验证点。
系统层已经成熟商用。KV cache 分层把冷数据下沉到 SSD，是量产路线；本届 Tutorial 上的 HBF 高带宽闪存（Oxmiq）是这一层的远期储备，无产品、纯前瞻，依托的是 flash 每 GB 比 DRAM 便宜一个量级的成本结构。系统层不动芯片就能缓解压力，代价是层级复杂度与延迟管理。
四路汇成一张全景图：算法层平民化，硅片层分叉，协同设计层产品化，系统层成熟。墙没有变矮，但进攻面宽了。
七、判断与跟踪点
判断一：量纲正在从 GB 转向 pJ/bit，一次自下而上的标准更迭。 总览篇立过判断三：容量竞赛结束，搬运竞赛开始。我们的判断是，本篇把它推到了可以测量的位置。容量竞赛阶段，衡量内存看带宽与容量；搬运竞赛阶段，衡量标准是每比特搬运能耗。但新标尺的定位需要说清：它目前由创业公司与论文自下而上推动，三巨头的数据表仍只标 TB/s 与 GB。Raptor 的 0.37 对 2.4 pJ/bit 是第一个来自工作硅片的实测锚点，zHBM 的功耗降 70%、MR-MUF 的热阻降 35%，本质都是同一个量纲的变体。新标尺正在到达，还没有改写。HBM5 时代厂商数据表开始标注 pJ/bit，就是换标加速兑现的信号；两代之后三巨头仍无动作，它退回学术口径。读存储路线图时，首先看其 pJ/bit 的位置。
判断二：封装分叉是未来两年最大的变数，2027 年三件事汇合见分晓。 三星 3D 直叠与 SK 海力士深挖 2.5D，两条路线在 HBM5 节点正面相遇。「见分晓」的对象需要明确：三件事在同一时间窗口汇合——HBM5 节点逼出混合键合的最终决策；JEDEC 的 Z-height 定案决定切换点；zHBM 能否交出硅片与落地负载。市场份额的反转预测（卖方单源转述）仅作背景，不作为判断依据。我们认为这不仅是技术对赌：追赶者需要换道超车，领跑者需要现有产线的复利。验证窗口就在 2027 本身：zHBM 届时仍停在路线图，分叉降级为姿态；混合键合被拉回 HBM4e 节点，分叉前提反转。
判断三：近存计算过了产品化临界点，但离规模商用还差成本与生态两关。 证据线按原始口径呈现：PIM 有了 JEDEC 标准化路线和第一颗 LPDDR 产品；MX1 有已公开展示的实卡与一套可复算的厂商基准；三星现场补了一句生态先行信号，CXL 正被主要云厂商用于数据库与 AI KV cache。但均仍处于利基区间：PIM 的收益在特定负载（三星自测口径必须标注），软件栈要为存内计算重写；MX1 的 CXL 生态仍在爬坡。通过这两关，HBM 之外才会出现第二推理内存市场。生态关的先行指标：PIM 是否出现第二家 DRAM 厂——LPDDR6-PIM 若始终进不了 JEDEC、也等不来第二家厂商，临界点判断需要重新评估。
跟踪点六项：JEDEC Z-height 定案；LPDDR6-PIM 标准化进度；PIM 是否出现第二家 DRAM 厂（生态关先行指标）；d-Matrix 2027 交付成色；zHBM 首个落地负载；美光 HBM5 路线图（它在本届只画出了墙、没有亮出梯子，下一届需要交出答卷）。JEDEC 定案与三厂 2027 路线图更新落地的时刻，本系列会回来对账。
延伸阅读：SubQ 三个月对账（算法层与四路框架出处） · Hot Chips 2026 总览（方向盘点与判断三） · 当 SSD 变成内存（系统层 KV 分层） · 显存的暴政（KV Cache 全栈视角）