本文是 locsic.com AI 网络系列的延续。前序文章:「从 CLOS 到 ZCube:智算集群网络拓扑演进」、「10 万卡集群:路由与拥塞控制的核心挑战及业界应对」、「Scale-Across:AI 集群正在跨城生长」。
算力需求的三重指数
AI 算力的增长是一条三重指数曲线:模型参数每年增长约 10 倍(Qwen3-Max 超过 1T 参数、文心 5.0 达到 2.4T),集群规模从万卡跳到十万卡(xAI Colossus 23 万 GPU,Colossus 2 首期 55 万 GB200/GB300;OpenAI 规划 10GW 数据中心等效 400-500 万芯片),单卡算力每代翻倍(NVIDIA Rubin GPU 50 PFLOPS FP4)。
三条曲线叠加的结果是:单张 GPU 放不下模型,必须并行;并行就需要通信;通信正在成为瓶颈。
这篇文章拆解一个核心问题:当 GPU 数量从 8 卡跳到 72、1024、8192 卡,用什么网络把它们连起来?为什么 NVIDIA 的 NVLink 一家独大,而其他所有厂商却在另起炉灶?答案不在带宽数字里,在于一个更底层的选择:通信语义。
第一章:GPU 为什么要互联
模型放不下的问题
一张 H100 GPU 有 80GB HBM3 显存。一个 1 万亿参数的模型(bf16 精度)需要约 2TB 显存存放权重,加上梯度、优化器状态和激活值,实际需求还要翻几倍。25 张 H100 才放得下一个模型的权重。这还没算 KV Cache、上下文窗口和 batch size。
解决方案是并行,把模型切成多块,分给多张 GPU 同时计算。四种主要策略各有不同的通信需求:
四种并行策略的通信模式

数据并行(DP):每张 GPU 拿到完整模型,处理不同数据。每步训练结束需要 AllReduce 同步梯度。所有 GPU 把各自的梯度聚合成全局梯度再分发。通信量大但对延迟不敏感(梯度是批量聚合),适合跨节点走以太网或 InfiniBand。
张量并行(TP):把每层权重矩阵切片分给多张 GPU。前向传播每层需要两次 AllReduce(attention 输出投影后一次、MLP 下投影后一次),反向传播再两次。一个 100 层的模型,前向加反向一步就是 400 次 AllReduce。
关键在于单次通信的数据量极小:batch size = 1、hidden size = 8192 的 bf16 模型,一次 AllReduce 传输量只有 16KB。但每步调用几百次,总时间由每次调用的固定开销决定。瓶颈在延迟,不在带宽。这正是张量并行对网络延迟极度敏感的原因。
流水线并行(PP):把模型按层切分,GPU 串行处理。通信量小(只传激活值),但引入气泡(bubble)开销。PP 通信走的是点对点,对带宽有要求但对延迟容忍度高。
专家并行(EP/MoE):混合专家模型把不同的专家分布在不同 GPU 上。token 需要被路由到正确的专家、处理完再汇聚。这是 all-to-all 通信。每张 GPU 都要向其他所有 GPU 发送和接收数据,通信模式像矩阵转置。
MoE 是通信需求增长最快的策略。华为在准万亿参数 MoE 训练系统中披露了三大挑战:all-to-all 通信瓶颈(大规模 token 路由交换占用大量带宽、计算资源长时间空闲等待)、负载分布不均(专家激活频率不均衡)、算子调度开销过大(动态路由引入大量小规模算子操作)。这三个挑战全部指向同一个方向:互联带宽和延迟。
通信墙
计算能力和通信能力的差距一直在拉大。H100 GPU(SXM 版)的 FP16 算力约 989 TFLOPS,显存带宽 3.35 TB/s。PCIe 5.0 x16 的双向带宽只有 128 GB/s,GPU 算力和通信能力差 26 倍,而且这个差距每年都在扩大。
更严重的是 PCIe 的拓扑限制:树形结构,GPU 间通信必须经过 CPU 和系统内存中转。一个 8 GPU 的 AllReduce,数据要经历 GPU → Host Memory → PCIe Switch → Host Memory → GPU 的冗长路径,延迟增加 3-5 倍。
8 卡服务器的时代,这个问题还能靠 NVLink 把 8 张卡全互联来解决。但当模型规模需要 72、144 甚至 8192 张卡协同工作时,PCIe 和单机 8 卡的架构彻底不够用了。
需要一种新的互联方式:延迟要降 1-2 个数量级(从微秒到百纳秒),带宽要升 10 倍以上,还要支持上百张卡像一张卡一样协同计算。
这就是 Scale-Up 网络要解决的问题。
第二章:Scale-Up 平面面对什么问题
Scale-Up 的目标看似简单:把几十到上千张 GPU 连成一个逻辑单元,让它们像一张巨大的 GPU 一样工作。但一旦真正去连,就会撞上七堵墙。
第一堵墙:N² 连接爆炸
N 个 GPU 全互联需要 N×(N-1)/2 对连接。72 张 GPU = 2556 对;1024 张 = 523,776 对。GPU 不可能直连这么多线。每张 GPU 的物理引脚和 SerDes 通道数是有限的(当前 18-36 条 NVLink 链路)。
解法的方向是引入交换机:GPU 只连到交换机(O(N) 端口),交换机内部用交叉开关(XBAR)实现任意对任意。但这意味着交换机要消化 N² 的复杂度,对芯片设计、功耗和成本都是巨大压力。
第二堵墙:带宽墙
GPU 计算能力增长远快于互联带宽。PCIe 5.0 x16 = 128 GB/s vs H100 显存带宽 3.35 TB/s,差 26 倍。即使 NVLink 5 的 1.8 TB/s 也只有显存带宽的一半。当 TP 需要 GPU 间通信量接近显存读取量时,互联带宽不够就直接变成计算空转。
第三堵墙:同步延迟
AllReduce 的完成时间由最慢一跳决定。72 张卡同步等待一个 token 的往返,通信延迟直接变成计算空转。TP 一步几百次 AllReduce,每次 16KB 小消息,瓶颈完全在延迟。如果每次调用有微秒级开销,几百次叠加就是毫秒级,对推理延迟是毁灭性的。
第四堵墙:小消息效率
内存访问的粒度是 cache line(64B),但以太网帧的头部就有 46 字节。一个 64B 的有效载荷配上 46B 的头,59% 是开销。TP 的 16KB AllReduce 拆成更小的 cache line 访问,每个都在背沉重的包头。
第五堵墙:一致性
如果多张 GPU 共享一个地址空间,它们需要知道"读到的是不是最新值"。这在 CPU 多核世界由 MESI 协议解决,在跨芯片的 GPU 世界里则是一个全新的问题,硬件做缓存一致性极复杂,软件做同步延迟高。
第六堵墙:故障域
把 72 到 8192 张卡变成一个逻辑单机,故障域从单卡扩大到整域。单点故障影响半径急剧扩大。Meta 在 16000 GPU 的 Llama 3 训练中经历了 466 次中断,在超节点架构下,一次 NVSwitch 故障可能影响 72 张 GPU。
第七堵墙:供电散热
NVL72 单机架功耗 120-140kW,液冷是硬需求。SerDes 的每 bit 功耗直接决定 TCO。在 224G PAM4 的速率下,铜缆传输距离被压缩到不到 1 米,光互连(CPO/NPO)成为必须。
这七堵墙不是独立的问题,它们互相耦合:带宽墙逼迫你用更多链路(第二堵),更多链路让 N² 更严重(第一堵),交换机引入更多跳数让延迟更难控制(第三堵)。Scale-Up 的设计就是在这些约束之间找平衡。
第三章:方案空间,内存语义


为什么不能继续用消息传递
前一章的七堵墙里,第三堵(延迟)和第四堵(小消息效率)指向同一个根因:传统网络的 IO 语义(消息传递)在小粒度高频场景下开销太大。
IO 语义的世界里,数据以消息为单位搬运。GPU 要读远端内存,需要:构造 DMA 描述符 → 交给驱动 → 经过协议栈 → 网卡发送 → 接收端 CPU 处理 → 写入内存。延迟微秒级,而且 CPU 要介入。
在 TP 的场景下,一步 400 次 AllReduce,每次 16KB,如果每次都走 IO 语义,开销会叠加到毫秒级。推理的 TPOT(每 token 延迟)直接翻几十倍。
内存语义是另一条路:GPU 直接用 Load/Store 指令访问远端内存,像访问本地 DRAM 一样。不需要 DMA、不需要驱动、不需要 CPU 介入。延迟降到纳秒级。
这是 Scale-Up 和 Scale-Out 的根本分界线。 Scale-Out(以太网/InfiniBand)解决"如何把数据搬到需要它的地方",消息传递,微秒级。Scale-Up(NVLink/UALink)解决"如何让所有芯片像访问本地内存一样访问所有内存",内存语义,百纳秒级。
五根柱子
内存语义不是单一技术,是五根柱子的组合。
柱子一:统一地址空间。 所有加速器共享一个物理地址空间,任意芯片可直接寻址其他芯片的 HBM。NVLink 用物理地址直通,不走虚拟地址,绕开地址转换开销。华为灵衢 UB 提供 256TB 全局统一内存编址空间。没有统一编址,就没有 Load/Store 直通。
柱子二:缓存一致性。 统一编址解决了"能不能找到远端内存",一致性解决"读到的是不是最新的"。这是五根柱子里分歧最大的一根。
硬件缓存一致性(类似 CPU 的 MESI 协议扩展到跨芯片)保证软件无需手动同步,NVLink-C2C 的 SCF 架构和 AMD Infinity Fabric 实现了这个。软件一致性靠显式同步(fence、atomic),延迟增加但实现简单,UALink 选择这个。
关键判断:各家把硬件一致性留在自家生态(NVIDIA C2C / AMD Infinity Fabric),把软件一致性推向开放标准(UALink)。一致性协议是微架构的核心机密,开放它等于开放芯片设计。这不是技术妥协,是商业逻辑。
柱子三:原子操作。 远端内存支持原子指令(fetch-add、CAS)。分布式优化器的梯度聚合可以直接在远端内存上原子累加,不需要先搬数据再算。NVSHMEM 提供浮点原子 add/fetch_add API。
柱子四:小粒度低延迟访问。 Flit 级传输:NVLink 用 128-bit Flit(25b CRC + 83b 事务层 + 20b 链路层),1 header + 16 payload = 256B,峰值效率 94.12%。UALink 用 64B TL FLIT 打包成 640B DL FLIT。SUE 把以太网报头从 46B 精简到 10B。小粒度访问的工程代价(头压缩、小包效率)是第五章挑战的主题。
柱子五:在网归约。 交换机内做 reduce,AllReduce 的通信复杂度从 O(N) 降到 O(1)。72 张 GPU 的 AllReduce 如果不用在网归约,需要 72 份数据全互联。用在网归约,每端口只传归约后的 1 份。NVIDIA SHARP 在 NVSwitch 内做归约,UALink 2.0 的 In-Network Compute 提供 ReadReduce/WriteMulticast/Broadcast/Reduce/AllReduce 原语。
两档延迟落差

内存语义的代价是把互联拉到一个新的延迟门槛:
| 层级 | 延迟 | 语义 |
|---|---|---|
| Scale-Up 域内 | 100-200ns | 内存语义(Load/Store 直通) |
| Scale-Out 域间 | 1-5µs | RDMA(消息传递) |
| 同城 | 1ms | 网络 |
| 跨城 | 10-50ms | 网络 |
域内百纳秒和跨域微秒之间是一个 5-50 倍的陡峭台阶。如果 TP/EP 通信被迫跨域,它就掉进微秒级,回到上一篇文章讨论的拥塞和路由问题。Scale-Up 的全部意义,就是把尽可能多的通信留在百纳秒级。
方案空间定义完毕。接下来的问题是:谁怎么做,为什么这么选。
第四章:NVIDIA 的决策,NVLink 如何回答每个问题
NVIDIA 用十年时间回答了第二章的七堵墙。每一堵墙都对应一个技术决策,每个决策都有明确的理由和代价。
带宽:多链路聚合 + 每代翻倍

NVLink 从 2016 年的 160 GB/s(4 链路)一路走到 2026 年的 3.6 TB/s(36 链路),十年翻了 22 倍。每条链路从 20G NRZ 演进到 224G PAM4,每代速率翻倍。
| 代际 | 单链路双向 | 每 GPU 总带宽 | 域规模 | 代表 |
|---|---|---|---|---|
| NVLink 1 | 40 GB/s | 160 GB/s(4 链路) | 8 GPU | P100 |
| NVLink 2 | 50 GB/s | 300 GB/s(6 链路) | 16 GPU(NVSwitch) | V100 |
| NVLink 3 | 100 GB/s | 600 GB/s(12 链路) | 256 GPU | A100 |
| NVLink 4 | 100 GB/s | 900 GB/s(18 链路) | 72 GPU(NVL72) | H100 |
| NVLink 5 | 200 GB/s | 1.8 TB/s(18 链路) | 72-144 GPU | B200 |
| NVLink 6 | 200 GB/s | 3.6 TB/s(36 链路) | 72 GPU | Rubin |
注:NVLink 1-3 代带宽为双向口径(NVIDIA 早期宣传),NVLink 4 起统一为单向口径。
N² 连接:NVSwitch 交叉开关
72 GPU 全互联需要 2556 对连接。NVIDIA 的答案是 NVSwitch:GPU 不直连,通过交换机做全互联。每 GPU 18 条 NVLink 链路连到交换机,交换机内部 XBAR(交叉开关)实现任意对任意。
NVL72 的数学:72 GPU × 18 链路 = 1296 端口 = 18 颗 NVSwitch(单芯片 72 端口)× 72 端口。无冗余、无瓶颈,72 个端口正好匹配 72 张 GPU。物理实现:18 个计算托架 + 9 个交换托架 + 5000 根同轴铜缆,装进一个机架。
这个数学的每一步约束都来自物理现实:单颗 NVSwitch 只有 72 端口,每 GPU 只有 18 条链路。72 不是性能最优解,是"单柜可交付"的工程最优解。
尾延迟:移除一切不确定性
NVLink 做了一个激进选择:移除端到端重试和自适应路由。这两个功能在以太网/InfiniBand 中是标配,但在 NVLink 中被视为敌人,它们引入不可预测的延迟。
内存语义的前提是"Load 指令必须在可预期的时间内返回"。如果重传导致某个 Flit 延迟翻倍,整条流水线就会停顿。移除不确定性,换来 100-200ns 的可预期延迟。
物理地址直通是同一哲学的延伸:不走虚拟地址,不做地址转换,GPU 的 LSU 直接用物理地址访问远端 HBM。每一个环节都把不可预测性拿掉。
小消息:Flit + SHARP 在网归约
128-bit Flit 格式把头开销压到最低(94.12% 有效载荷)。更关键的是 SHARP:每个 NVLink 交换机内置 SHARP 引擎,AllReduce 在交换机内完成归约,不需要 GPU 算力参与通信归约。
在 TP 场景下,这意味着一步 400 次 AllReduce 的通信全部由交换机硬件消化,GPU 算力 100% 用于计算。NCCL 自动检测并启用 SHARP,十年的软件栈积累在这里发挥作用:拓扑感知、PXN 路由优化、SHARP 利用、生产环境验证。
一致性:场景区分
NVIDIA 的选择是:GPU-GPU 域用弱一致(软件 fence/atomic 同步),CPU-GPU 用硬件一致(NVLink-C2C 的 SCF 架构)。
为什么 GPU 域不做硬件一致性?因为 AI 工作负载的访问模式是批量、规则、可预测的,AllReduce、MoE 路由、权重广播,NCCL 的流式传输 + fence 就够了。CPU-GPU 协同则是不可预测的指针追逐、稀疏访问,需要硬件一致性保证"读到的一定是最新的"。
NVLink-C2C 是另一套设计:单端并行信号(9 数据 + 1 时钟,像 DDR 而非高速串行),从 die-to-die 互联拉出封装。功耗 1.3 pJ/bit,是 PCIe 的 1/5。Grace Hopper 超级芯片用 C2C 连接 CPU 和 GPU,共享一致内存,软件无需手动同步。
故障域:热插拔与部分降级
NVLink 6 交换机引入了三项可用性设计:控制平面高可靠性(控制平面故障不中断数据平面)、使用部分机架资源持续运行(部分 GPU 故障时降级而非停机)、交换托盘热插拔(>500 次插拔寿命)。72 颗 NVSwitch 中 1 颗故障,受影响的 GPU 只是部分链路断开,训练降速不中断。
功耗:C2C 的每 bit 能效
NVLink-C2C 的 1.3 pJ/bit 是所有方案中最低的(单端并行信号设计带来的先天优势)。但 NVL72 整机架 120-140kW 的功耗仍然需要液冷。下一代 Feynman 平台计划在交换托盘直接搭载 CPO(共封装光学)芯片,把铜缆在 224G+ 速率下的距离限制用光互连解决。
代价:封闭
NVIDIA 方案的代价是封闭。NVLink 是专有协议,NVSwitch 是专有芯片,NVSHMEM 和 NCCL 深度绑定 NVIDIA 硬件。性能最优,但厂商锁定最深。
NVLink Fusion 试图缓解这个问题,授权第三方芯片集成 NVLink IP。但"半开放"的实质是:硬件协议层开放了(PHY、链路、传输、一致性、原子),软件层仍然受控(链路启动、NVSwitch 许可、平台必须包含至少一个 NVIDIA 产品)。客户使用第三方 NVLink 设计需要 NVIDIA 批准。
第五章:开放路线的出发点

共同前提:NVIDIA 税
所有开放路线的出发点都是同一个:不想被 NVIDIA 锁定。
NVIDIA 在 AI 加速器市场占据约 80-95% 份额。客户面对的是:高昂的溢价(GPU + NVSwitch + InfiniBand + 软件许可全栈收费)、交付周期排到半年以外、功能升级被单一供应商的节奏绑架。
但打破垄断需要的不是意愿,是技术替代方案。Scale-Up 互联就是那个技术替代方案的核心组件,如果你能定义一种开放的高速互联协议,让任何厂商的 GPU/加速器都能插上去用,就动摇了 NVIDIA 的基础设施锁定。
AMD:从替补到挑战者
AMD 长期居于 AI 加速器的替补角色。英伟达交付排不上时客户才考虑 AMD 的报价。2026 年 7 月,AMD 与 Anthropic 签署了一项总额数百亿美元的合作协议:Anthropic 采购最多 2GW 的 AMD Instinct MI450 芯片,2027 上半年开始交付,AMD 向 Anthropic 投资最多 50 亿美元。这是 AMD 首次直接投资一家 AI 公司。
这笔交易的意义不止采购:Anthropic 开始系统性地构建一条独立于 NVIDIA 的算力供应链。AMD 必须向 Anthropic 证明 MI450 可以承担训练任务,而不只是推理。这是 AI 芯片市场最难逾越的壁垒。
AMD 的 Scale-Up 武器是 Infinity Fabric。五迭代演进,从 CPU 核心间连接发展到跨节点、跨机架统一调度 CPU/GPU/加速器。MI455X 内部,两个 FCD(缓存与互连 die)通过中央 Infinity Fabric 连接,协调缓存一致性,提供系统级原子操作。
但 AMD 没有把 Infinity Fabric 变成另一个封闭标准。相反,它推动了 UALink 联盟。
UALink:开放统一战线
UALink 联盟由 9 家创始董事会成员发起:AMD、Astera Labs、AWS、Cisco、Google、HPE、Intel、Meta、Microsoft。后来阿里云、苹果、新思科技入选董事会,成员超过 100 家,字节跳动、腾讯、中兴、华三、ARM 也相继加盟。
UALink 1.0 定义了完整的四层协议栈:UPLI(协议层接口,提供内存语义总线接口)、TL(事务层,64B TL FLIT + 信用流控)、DL(数据层,640B DL FLIT + LLR 链路层重传)、PL(物理层,基于以太网 802.3dj)。每通道 200 Gbps,单端口最高 800G,支持 1024 个加速器。UALinkSec 硬件加密 + TEE(SEV/TDX)。
UALink 2.0(2026-04 发布)新增四项规范:Common 2.0 加入 In-Network Compute(ReadReduce/WriteMulticast/Broadcast/Reduce/AllReduce),DL/PL 2.0 独立拆分并新增链路弹性与链路折叠,Manageability 1.0 引入集中管理(gNMI/YANG/SAI/Redfish),Chiplet 1.0 兼容 UCIe 3.0。
UALink 官方路线图明确把内存一致性列为未来版本的功能,这意味着 1.0/2.0 是软件一致性。
AMD 的双轨策略由此清晰:自家 Infinity Fabric 提供硬件缓存一致性(卖 MI 系列芯片的竞争力),UALink 规范提供软件一致性(跨厂商开放的妥协)。跟 NVIDIA 的镜像关系:都把硬件一致性留在自家生态(C2C / Infinity Fabric),把软件一致性推向开放标准(NVSwitch 域弱一致 / UALink)。
Broadcom:卖交换芯片的逻辑
Broadcom 不做 GPU,做交换芯片。它的 Scale-Up 方案叫 SUE(Scale-Up Ethernet),已被 OCP 的 ESUN 工作组确立为推荐传输协议。
SUE 的策略跟 UALink 不同:它只用以太网物理层,上层完全不同于传统以太网,两层半协议栈,不含 TCP/IP/UDP。点对点连接,借鉴 NVLink 传输逻辑。名字叫 Ethernet,但更像一个跑在以太网 PHY 上的专有总线协议。
硬件基础是 Tomahawk Ultra:51.2Tbps 总带宽,在 64B 小包场景下仍然全速吞吐,延迟 <250ns。报头从 46B 精简到 10B(78% 削减)。LLR + FEC 链路层重传、CBFC 信用流控、INC 在网集合计算。
Broadcom 做交换芯片的逻辑是:最大化以太网生态的复用面。SUE 复用标准以太网的 SerDes、MAC、交换芯片和运维工具链,但把协议栈削到最薄,让客户不需要学一套全新的协议就能用上 Scale-Up 能力。做 UALink 交换机的公司多有 PCIe Switch 技术背景,这不是巧合。
字节跳动:自用优化的双语义
字节跳动 2026 年的资本支出原定 1600 亿元人民币(后上调至约 2000 亿),其中约 850 亿直接投向 AI 芯片采购。训练和推理的芯片供应链已经完全拆分:大规模训练用华为昇腾和寒武纪,线上推理引入天数智芯等专用推理 GPU。
字节的 Scale-Up 方案叫 EthLink,与北京大学联合设计,基于以太网。它的独特之处是双语义:同时支持 Load/Store 和 RDMA。
上层应用根据场景灵活选择:延迟敏感的 TP 同步用 Load/Store(GPU 的 LSU 直接发起 Memory Read/Write),带宽敏感的大块数据搬运用 RDMA(SM 发起、RDMA Engine 执行)。协议栈分两层:Scale-Up 语义层(GPU 操作 + 事务层,定义 Memory Read/Write/Atomic/Message)和 Scale-Up 网络层(LLR + CBFC + 精简报头)。
字节的洞察是:不是所有流量都需要内存语义。把两种语义并存,让编程模型按负载特征选择,这是 EthLink 对 UALink 和 SUE 的差异化贡献。字节后来加入了 UALink 联盟,EthLink 的部分思想被吸收。
华为:全栈自研的自主可控
华为的处境与其他厂商不同:它同时面对技术封锁和供应链限制,自主可控不是策略选择而是生存需要。
华为的 Scale-Up 方案叫灵衢(UnifiedBus / UB),全栈自研。物理层支持两种模式:Mode-1 自定义速率(可直接跑满 160G 而不受标准 112G/224G 限制),Mode-2 兼容标准以太电气规范。协议栈从物理层到功能层全部自研,组合了以太网、链路聚合、IPv4/IPv6、MCTP、SPDM、SM4 加密等既有技术。
昇腾 950 超节点(Atlas 950 SuperPoD)在 WAIC 2026 首次真机展示:1024 卡(满配扩展至 8192 卡的 Atlas SuperPoD)、256TB 全局统一内存编址、3µs RTT、2TB/s 互联带宽。Atlas 950 SuperCluster 可扩展至 50 万卡。
华为已商用昇腾 384 超节点超过 750 套,覆盖互联网、运营商、金融、教育等行业。CANN 异构计算架构已全面开源,超过 1244 万行代码,月活开发者突破 3500 人(华为官方数据)。梁文锋(DeepSeek 创始人)公开评价:华为 950 超节点在任务层面可以平替 GB200 NVL72,时延表现一致,代价是 4 张华为卡的算力约相当于 1 张英伟达卡,芯片迭代节奏落后约两年。
第六章:为什么形成了多种方案
前一章展示了五家厂商的不同选择。但真正的问题是:为什么没有统一标准?
分歧一:物理层
NVIDIA 选择专有 PAM4 SerDes(从 20G 到 224G+),所有其他厂商选择以太网 PHY。这不是技术偏好,是生态位的差异。NVIDIA 需要极致性能来支撑封闭生态的溢价;其他厂商需要复用以太网供应链来降低成本和进入门槛。
以太网的摩尔定律(18 个月单芯片带宽翻倍)、成熟的 SerDes/光模块/连接器产业链、全球部署的运维工具链,这些是专有方案无法抗拒的引力。UALink 最新版物理层已从 PCIe 切换到以太网,SUE/EthLink/ETH-X/ETH+ 全部基于以太网。
分歧二:一致性
硬件一致性提供零成本同步保证,但只存在于 NVIDIA C2C 和 AMD Infinity Fabric。UALink 1.0/2.0 选择软件一致性,路线图规划在未来版本加入。
为什么 UALink 不做硬件一致性?因为跨厂商硬件一致性需要统一的 coherence 协议,而 AMD/Broadcom/Intel/Google 的芯片 cache 模型各异。一致性协议是微架构的核心机密,开放它等于开放芯片设计细节。把硬件一致性留给自家、把软件一致性推向开放标准,是 NVIDIA 和 AMD 共同的商业逻辑。
分歧三:协议栈厚度
UALink 四层最完整(UPLI/TL/DL/PL),因为跨厂商兼容需要把每层接口都标准化,让不同芯片的 cache 模型和事务语义能在统一框架下互操作。SUE 两层半最薄,因为它只面向 Tomahawk Ultra 一种交换芯片,不需要跨厂商,所以能把协议栈砍到最精简。EthLink 双语义最灵活,按需选择 Load/Store 或 RDMA。华为 UB 全栈自研,因为不依赖任何外部标准。
厚度决定兼容性和性能的平衡:协议栈越厚,跨厂商兼容性越好,但延迟开销越大;越薄,性能越极致,但越接近专有方案。UALink 选了兼容性,SUE 选了性能,EthLink 选了灵活性。
分歧四:无损机制
NVLink 移除了端到端重试(追求确定性延迟)。UALink/SUE/EthLink 保留 LLR 链路层重传,因为它们复用以太网 PHY,物理层可靠性不如专有设计,必须靠链路层重传兜底。这是"以太网物理层"路线的必要代价:你享受了供应链成熟的好处,就要接受链路层多一层重传的开销。
本质:商业逻辑驱动技术分歧
四种分歧的背后是一条规律:芯片厂商的商业位置决定技术选择。NVIDIA 靠垂直整合卖溢价,选封闭专有。AMD 靠标准联盟打破垄断,选开放 + 自家双轨。Broadcom 靠卖交换芯片赚钱,选最薄栈最大化客户面。字节靠自用优化降低成本,选双语义。华为靠全栈自主应对封锁,选全栈自研。
技术分歧不是"谁的技术更好",是"谁的商业模型需要什么技术"。
第七章:进展与架构师决策
各家走到哪了
NVIDIA:NVLink 6 随 Rubin 平台量产,Vera Rubin NVL72 进入大规模制造。NVLink Fusion 的合作伙伴(MediaTek、Marvell、Alchip、Astera Labs、Synopsys、Cadence)已有授权,Intel 和三星加入。但 Fusion 的"半开放"实质没有变:平台必须包含至少一个 NVIDIA 产品,第三方设计需要 NVIDIA 批准。这意味着 NVLink 的封闭生态在 2026-2027 年仍不可替代,Fusion 的半开放是防守姿态而非主动选择。
UALink:1.0 规范的交换机和加速器预期 2026 底至 2027 初上市。Marvell 展示了 576 Lane UALink Switch(<800W)。AMD MI450 GPU 将采用 UALink 互连,每 GPU 72 Lane @200G。2.0 规范对应产品预计 2027 底至 2028 早。3.0 规范预期 2027 公布。这意味着 2027 年将出现第一批非 NVIDIA 的 Scale-Up 互联集群,开放生态从规范走向产品。
华为:昇腾 384 超节点已商用 750+ 套。Atlas 950 SuperPoD(1024 卡)计划 2026 Q4 上市。中科曙光 10 万卡超集群已在郑州投用。这是目前全球范围内规模最大的非 NVIDIA AI 算力部署之一,证明国产 Scale-Up 路线已经走过验证阶段,进入大规模商用
字节:EthLink 已加入 UALink 联盟,技术贡献被吸收。字节同时在推进训推双供应链(训练用昇腾/寒武纪,推理用天数智芯等)。这意味着中国最大的 AI 算力买家正在系统性地降低对单一供应商的依赖。
域大小怎么定

架构师面对的第一个决策是域规模。这不是越大越好,域太小,TP/EP 被迫跨域,通信回到微秒级;域太大,交换层数增加、成本爆炸(NVL72 的交换配比是 1:2,每 2 卡配 1 颗交换芯片),故障域过大。
MoE 是域大小的第一驱动:专家并行要求 token 路由的 all-to-all 在域内完成(百纳秒级),专家数决定域的最小规模。
业界三层分级:
| 层级 | 代表 | 规模 | 定位 |
|---|---|---|---|
| 中型 | NVL72/144、AMD Helios 72/144、超聚变(64)、新华三(64) | 64-144 卡 | 单柜交付,性能密度最优 |
| 大规模 | 阿里磐久、中科曙光 ScaleX640、字节大禹 | 数百-千卡 | 集成与扩展平衡 |
| 超大规模 | 华为 Atlas 950 SuperPoD(8192)、谷歌 TPU v7 Pod(9216) | 数千-近万卡 | 万亿参数训练 |
NVL72 在业界被归为"中型",NVIDIA 的选择不是规模最大,而是单柜可交付、性能密度最优。
TCO 的现实
梁文锋的平替评价给出了一个黄金参考点:华为 950 超节点可以平替 GB200 NVL72,任务层面和时延一致,但需要用 4 倍的卡数换 1 倍的算力,芯片迭代落后两年。
架构师的解读:系统级能力(超节点互联 + 软件栈)追上来了,但单芯片代差仍在。算力密度敏感场景选 NVIDIA,供应链安全或成本敏感选华为,但要用 4 倍卡数和更多功耗去换。
Scale-Up 的成本大头正在从"光模块"(Scale-Out 时代)转移到"交换芯片 + 铜缆/连接器 + 液冷"。戴尔预测 2028 年 Scale-up 端口需求将是 Scale-out 的 2 倍以上。LightCounting 测算 2027 年 Scale-up 交换市场达到 $140 亿。
判断
以太网物理层 + 内存语义 = 最大公约数。 NVLink 之外所有流派都建立在以太网 PHY 上。这不是巧合,是以太网供应链成熟度和摩尔定律的引力。
软件一致性够用到什么时候。 AI 工作负载"写一次读多次"的访问模式让软件一致性暂时够用。但两个趋势可能在 2-3 年内改变判断:agentic 工作负载的细粒度协作、MoE 规模化后专家间的频繁读写。届时硬件一致性的价值会从加分项变成必需项。
NVIDIA 的护城河不是 NVLink,是完整栈。 SHARP 在网计算 + NVSHMEM 编程模型 + NCCL 十年优化。协议层已有多家追赶,但十年通信库积累(拓扑感知、PXN 路由优化、SHARP 利用、生产环境验证)无法在短期内复制。
中国路线的双轨已经清晰:华为全栈自研(对齐 NVIDIA 的垂直整合),以太网开放路线加入 UALink 联盟(对齐 AMD 的开放标准)。UALink 1.0 产品 2026 底上市、3.0 硬件 2028+ 追平,开放生态每代落后 NVIDIA 一代以上,但追赶是持续的。
结语
内存语义是门票,五家流派都有了。完整栈是胜负手,只有 NVIDIA 有。
但门票会越来越便宜:以太网物理层的摩尔定律、UALink 的开放生态、中国厂商的追赶,都在降低进入门槛。当内存语义变成公共底座,竞争会从协议层转移到应用层。训练框架、编程模型、工具链。
**谁能把数据中心变成一台计算机,谁就拥有 AI 时代的地基。**这句话现在还属于 NVIDIA。但地基正在松动。
声明:本文基于 NVIDIA/AMD/Broadcom/华为/字节跳动公开资料、UALink 联盟规范、Marvell/中兴/新华三技术分析、SGLang 技术文档、行业研究报告,以及已发布的 locsic.com AI 网络系列文章交叉验证后撰写。不构成投资建议。文中数据截至 2026 年 7 月 31 日。
