GPU 集群的规模已经超过了单 site 的供电极限。下一步--不是建得更大,而是连得更远。
AI 集群正在长出第三种尺度
要理解 Scale-Across,先看一眼完整的坐标系:
| 尺度 | 物理范围 | 端到端延迟 | 带宽 | 传输介质 | 承载的并行策略 |
|---|---|---|---|---|---|
| Scale-Up | 机柜内(<2 米) | <1μs | TB/s | NVLink / UALink | 张量并行(TP) |
| Scale-Out | 单数据中心(<1km) | 10-100μs | 400-800GbE | IB / RoCE | 流水线并行(PP)、数据并行(DP) |
| Scale-Across | 跨数据中心(50-2000km) | 0.5-20ms | 100+ Tbps | 长距 DWDM / 空芯光纤 | 异步数据并行、RL 训练 |
关于 AI 训练网络,过去两年大家的注意力基本都在前两个尺度上。Scale-Up 的 NVLink 超节点方案(NVL72、昇腾 384),Scale-Out 的拓扑演进(ZCube、RailFly、3D Torus)。但 2026 年 7 月,全球同步出现了至少四个信号,指向第三个维度正在从实验室走向工程部署。这篇文章就讲这个:为什么 Scale-Across 从一个"也许可以"的备选变成了"不得不做"的基础设施架构,谁在做,以及还有哪些技术缺口。
§1 什么是 Scale-Across
先想一个画面:83 公里外还有 512 张 GPU,你想让它们跟主集群的 512 张 GPU 一起训练一个模型。一次 AllReduce 操作需要这 1024 张卡同时发梯度、等聚合结果。光在光纤里走 83 公里往返一次要 0.81ms(真空的 2/3,空芯光纤会更快一些)。加上转发设备处理,端到端约 0.9ms。
0.9ms 意味着什么?如果这里在等 AllReduce,这 1024 张 GPU 在接下来 ~1ms 内什么都不干,纯粹空转。按照一张 H100 每秒 2 PFLOPS 算,1ms 空转意味着约 2 TFLOPS 的计算能力在这 1ms 里完全浪费。对于 3000 步/秒的训练频率,每步多等 1ms 就是每秒 3 秒的 GPU 时间被吃掉。这还没算丢包重传带来的级联损失——1‰ 的丢包就能让训练效率砍半。
这个场景就是 Scale-Across 要解决的核心问题:在 AI 训练参数面(backend network)中,将地理上分散的多个数据中心连接成一个逻辑 GPU 集群的技术体系。
它和传统"数据中心互联"(DCI)有本质区别。DCI 跑的是前端流量(存储备份、数据同步、云资源调度、推理请求分发),对延迟有毫秒级容忍度,流量接近传统云网络。Scale-Across 跑的是后端流量,即训练中的梯度同步(AllReduce、All-to-All),是 GPU 协同计算的一部分,对延迟极度敏感,丢包容忍度为零。
这个区别重要是因为 AI 训练流量有一种独特的模式:同步突发。AllReduce 操作会把所有 GPU 的梯度在几毫秒内同时发送到网络里,形成数十万个并发流涌入交换机的瞬间尖峰。传统 DCI 浅缓冲区(几百 KB 到几 MB)在这种模式下一触即溃,丢包率骤升,直接触发 GPU 空转。所以 Scale-Across 不是"拉根光纤连两栋楼"这么简单,它需要在物理层、链路层、传输层和训练框架层同时做适配,才能让远在 83 公里外的 GPU 感觉"好像和邻居在一个机柜里"。
§2 为什么 Scale-Across 突然变得紧迫
先看一组 2026 年中期的数据点:
- Gartner 发布的数据中心基础设施预测(2026.7.9):全球数据中心总功耗 132GW,同比 +27%。AI 优化服务器的功耗增速 84.2%,预计 2027 年超过传统服务器
- 美国高压发电机变压器交货期正在逼近 160 周(Wood Mackenzie 2026 年 5 月报告)。2020 年是约 52 周,2023 年是 77 周,2026 年翻到了 3 年以上。高压断路器交货期也同期从 77 周(2023)延长到 125 周
- Meta 内部备忘录泄露(Reuters 报道,2026.7.9):2026 年部署 7GW 算力基础设施,2027 年翻倍。因无法在单 campus 获得足够电力,Prometheus 集群被迫拆成 27 个数据中心、6 个 campus
- 数据中心对电力设备市场的无形挤占:2020 年份额小于 2%,到 2026 年预计接近 40%(SemiAnalysis 估算)
把它们放在一起,结论很清晰:AI 训练集群的总规模已经超过了单 site 物理供电能力的上限。这不是技术问题,是电力基础设施的物理瓶颈。
做一个粗略的功耗账:单张 H100 SXM 满载约 700W,一台 8 卡服务器约 6kW(含 CPU/内存/网络)。一个 NVIDIA NVL72 机柜满载约 120kW。要凑出 1GW 的训练集群--这已经是 Meta Prometheus 最初规划的规模--需要大约 8,300 个 NVL72 机柜,不算冷却、存储、网络设备的开销。如果用液冷,每机柜还需要约 5-10 吨/小时的冷却水(取决于供回水温差)。一个 1GW campus 的冷却水需求量级相当于一个小型城镇的自来水供应。这不是"找个大场地摆机柜"的问题,而是需要同时解决电力接入、变电站升级、冷却水源、排污许可的系统性工程。
2.1 电力天花板
超大规模数据中心从约 60MW 向 500MW 甚至 1GW 升级的速度,远超区域电网的扩容能力。美国 PJM 电网(覆盖北弗吉尼亚,全球最大数据中心枢纽)2026 年夏季峰值负荷预测达 165GW,较 2025 年增长约 7GW,被 PJM 称为有史以来最快的峰值增长(PJM 2026 Summer Assessment)。在大多数美国枢纽市场,新的 500MW+ 负载接电申请的处理周期已经从 12 个月拉长到 36-48 个月。
Meta 的 Prometheus 是一个典型例子。最初规划是 1GW 左右在一个 campus,最终方案拆成 27 个 DC 分布在 6 个 campus 里。前 5 个在半径 6km 以内(<0.1ms RTT),可以做近乎同步的训练。第 6 个在 75-80km 外(~0.75ms RTT),必须切换到异步补偿。总规模从约 1GW 提升到了 3GW+,但代价是训练策略必须为地理距离重新设计。
2.2 设备供应链瓶颈
数据中心在电气设备市场的急速增长,挤占了传统用户(电网运营商、制造业、商业建筑)的产能,而主要变压器制造商的投资周期是 3-5 年。FERC 2026 年 6 月下令区域电网运营商解释数据中心接电规则。此举实际上承认了"监管跟不上建设速度"的事实。
2.3 成本讨论:Scale-Across 的 TCO 权衡
Scale-Across 在单位比特传输成本上不是最优选择,但它的价值不在这里。
一条典型的成本决策路径:
- 同一 campus 扩建:单 GB 传输成本最低,但关键路径是电力接入审批(36-48 个月)。变压器交货 160+ 周可与审批并行但最终还是需要等排产,总周期约 4 年。
- 新建 campus + 光纤互联:土地 + 基建 + 光纤总成本比扩建高 30-50%(估算),但光纤 + 互连设备 12-18 个月即可交付
- 纯租用光纤做互联(不新建 campus):仅光纤成本,带宽容量可弹性扩展,6-12 个月可达
从单位算力成本看,Scale-Across 不是最便宜的。但变压器交货周期把"能几周内开工"和"要等四年"的时间差拉到了无法忽视的程度。在时间窗口压倒成本计量的前提下,Scale-Across 的 TCO 讨论不在于贵不贵,而在于它是唯一能在可接受时间窗口内交付的方案。
(注:上述时间估算基于 ACG Research 2025 年 DCI TCO 分析报告中的北美数据。该报告显示,400G 暗光纤比租用电路在城域范围可节省约 55% 的成本、区域范围约 61%。中国市场因运营商结构和东数西算政策补贴与北美不同,目前缺少公开的可比分析。)
§3 Scale-Across 的核心技术难题
3.1 光速是天花板
光纤中有效光速约 204,000 km/s(玻璃折射率 n≈1.47,c_eff = 299,792 / 1.47 ≈ 204,000 km/s)。这意味着物理往返延迟是硬约束:
| 距离 | 物理往返延迟(理论最小) | 典型端到端 |
|---|---|---|
| 数据中心内(<500m) | ~5μs | 1-10μs |
| 同城 campus(~50km) | ~0.5ms | 0.5-0.9ms |
| 同城跨 DC(~100km) | ~1ms | 1-2ms |
| 东数西算(~1000km) | ~10ms | 12-20ms |
DriveNets × WhiteFiber 的 83km 部署实测端到端 0.9ms,而 83km × 2 ÷ 204,000 km/s ≈ 0.81ms 是光纤物理往返的理论下限,实测额外约 90μs 来自转发设备与 FEC 处理延迟。
- 这个延迟对训练效率意味着什么?训练并行策略的延迟敏感度完全不同:
| 并行策略 | 通信模式 | 延迟容忍度 | 能否跨 83km |
|---|---|---|---|
| 张量并行(TP) | AllReduce,每层一次,<10μs | <10μs | ❌ 不能 |
| 流水线并行(PP) | P2P,阶段边界,50-200μs | 50-200μs | ⚠️ 临界 |
| 数据并行(DP,同步) | AllReduce 梯度,<1ms | <1ms | ⚠️ 视规模 |
| 数据并行(DP,异步) | 间隔 AllReduce,不限 | 不限 | ✅ 可以 |
| MoE All-to-All | 高度突发,<100μs | <100μs | ❌ 不能(通信计算重叠可部分缓解) |
| RL(PPO 类) | 非实时梯度,分钟级 | 秒级 | ✅ 可以 |
核心洞察:TP 不能跨,PP 勉强跨,DP 有可能跨但必须是异步的,MoE 跨不了,RL 随便跨。Scale-Across 和并行策略之间是硬绑定:你能"跨"到什么程度,取决于你愿意放弃哪种并行策略。
3.2 AI 流量的"同步突发"模式
传统数据中心网络为"多流不相关"的流量模型设计。AI 训练网络完全相反:低熵(流数量少、模式重复可预测)、大流量(每条流强度可达 NIC 线速率)。问题在同步突发:AllReduce 瞬间,所有 GPU 在同一时间发起通信。
传统 DCI 交换机的浅缓冲区在这种模式下无力应对。以一个 1024 GPU 的 AllReduce 为例:每个 GPU 发送单层梯度数据(十亿参数模型的一个典型层约 400MB),1024 个 GPU 同时涌入目标交换机的单端口,瞬态入向流量可达数百 GB。传统 DCI 交换机的端口缓冲区通常只有 12-50MB(Broadcom TH4/Tomahawk 4),这个数字面对前端流量绑绑有余,面对同步 AllReduce 却只有覆盖约 50μs 的余地(在共享缓冲架构下,单端口可用缓冲通常被限制在 2-3MB 以避免饿死其他端口)。一旦入向流量瞬时溢出缓冲区,PFC 反压被触发,但 0.9ms 的 RTT 导致反压信号到达源端时,暴发已经持续了数百微秒,丢包已经发生。这就是为什么 AI 训练交换机需要 deep buffer(DriveNets 的 FSE 设备提供约 16GB 系统级缓冲)--不是因为 "越大越好",而是因为需要覆盖整个 RTT 期间的最大同步入向流量。
3.3 训练策略和网络拓扑在跨域场景下是联合设计的
Scale-Across 最难的地方不在网络本身,而在于训练策略必须为网络重新设计。
Meta 对 Prometheus 的处理是一个具体例子。5 个 campus 在 6km 半径内(<0.1ms RTT)做同步 AllReduce 基本可行。第 6 个 campus 在 75-80km(约 0.75ms)需要异步补偿。未来的 Titans 项目(SemiAnalysis 分析推测)在 2000km 级别只做 RL,不做 pretraining。
这不是先训练再优化网络的工作流,而是先量好光缆有多长,再决定训练能用什么并行策略。网络拓扑直接决定了模型训练的可选方案,这一点在过去的 AI 基础设施设计里几乎不存在。
顺着这个逻辑再走一步:如果 Scale-Across 约束了你只能用异步 DP 和 RL(不能跨 TP、不能跨 MoE),那模型架构本身也会随之改变。如 §3.1 所述,MoE 的 All-to-All 在长距下效率极低,这意味着大规模跨域训练可能被迫回到 dense 架构。张量并行不能跨 DC,则每个 DC 独立做 TP,跨 DC 只走 DP,这直接影响模型切分方案。如果 pretraining 必须走 campus 内同步而 RL 可以全局异步,那么训练流程就在物理上拆成两个阶段。
异步 DP 的代价不是零。DiLoCo 原始论文中,每 500 步才做一次全局同步,意味着各计算岛的模型参数在这 500 步内最多偏离了 500 × lr × ‖∇‖ 的量级。对于学习率 1e-4、梯度范数约 1.0 的典型配置,单岛参数偏移量级约 0.05--这足以影响 loss landscape 中的尖锐最小值(sharp minima)收敛,但不足以影响平坦最小值(flat minima)。这也是 HALoS 引入 momentum correction 的动机:不带 momentum 的异步 SGD 收敛到尖锐最小值附近会震荡,加了 momentum 后能稳定收敛到平坦区域。HALoS 的收敛证明是第一个把这些直觉形式化的工作,但实际大规模训练中(100B+ 参数),异步训练与同步训练的 final loss 差异仍是一个开放问题。
光缆路线不仅决定并行策略,还会倒过来影响模型架构的选择。
这里还有一层 tension。如果 Scale-Across 受限,替代方案是 Scale-Up 做得更大——更大的超节点(NVL576 甚至 NVL1000+)、更强的机柜内互联(更宽的 NVLink 域)。但 Scale-Up 也有天花板:机柜功率密度已经逼近 120-200kW,这个数字再翻三倍,液冷基础设施(CDU + 管道 + 泵站)的复杂度和成本非线性增长。单机柜重量从 ~500kg(NVL72)向 1.5 吨以上冲击,楼板承重就需要专门加固。PCB 面积和 retimer 预算有物理上限,NVLink 域每扩大一倍,拓扑开销和信号完整性挑战都超线性增长。做到 NVL72 是合理的,做到 NVL1000 以上就逼近了机柜级物理学极限。
所以 Scale-Across 和 Scale-Up 不是二选一,而是一个耦合的优化问题:up 做到多大、across 铺到多广,取决于模型多大和电力在哪。这就是三个尺度的联合优化。
这个反哺链条是 Scale-Across 对 AI 基础设施最深层的影响。
§4 Scale-Across 的技术优化方向与研究前沿
如果说 §2 回答"为什么不得不做",§3 回答"有什么技术难点",§4 回答"这些难点正在被什么技术方案攻克"。以下从物理层、拥塞控制层、通信算法层、算网协同层四个层次展开。
4.1 物理层:光纤技术正在突破极限
空芯光纤:延迟降 30%,损耗降 90%
石英光纤有物理极限:光速只能到真空的 2/3,信号衰减约 0.2dB/km。空芯光纤以空气为传导介质,同时解决两个问题:光速接近真空(延迟降 30%),损耗降至 0.05-0.1dB/km(传统光纤的 1/10)。
中国移动走在了最前沿。2024 年 6 月完成首条 800G 空芯光纤传输试验网(深圳-东莞间),2025 年首条商用线路落地,长飞光纤为唯一中标人,中标价约 3.6 万元/芯公里(长飞 2025 年半年报 / CFCF 2025 峰会披露)。中国电信紧随其后,2025 年两次空芯光纤招标,限价 3.7-5 万元/芯公里。
空芯光纤对 Scale-Across 的价值不在于省多少钱,而在于它在长距离下的延迟优势随距离放大。83km 比固态光纤省约 0.26ms(往返,n=1.47 vs n=1.0),300km 省约 0.94ms。在 1ms 级别的预算里,这是从"不能同步"到"可以试试同步"的跨越。
但空芯光纤目前仍处于商用早期阶段。三个工程挑战限制了其推广速度:
- 模式耦合损耗:空芯光纤中光在空气与包层界面传播,对弯曲半径极度敏感。传统石英光纤的弯曲半径可小至 10mm,空芯光纤需要保持在 10-30cm 以上,否则模式耦合导致信号衰减骤增。这对现有管道布设提出了苛刻要求
- 接头与熔接工艺:空芯光纤与传统石英光纤的熔接会产生 0.3-0.5dB 的接头损耗(传统光纤熔接约 0.05dB),在长距链路中接头数量累积后不可忽视
- 量产良率:单根空芯光纤的内部微结构(反射环结构)需要纳米级精度控制,目前只有少数厂家掌握了长度超过 10km 的连续生产工艺
长飞光纤是全球范围内少数已知的量产供应商(CFCF 2025 光连接大会披露)。这些工程挑战意味着空芯光纤的推广将先从短距高价值场景(如同城 Scale-Across 互联)开始,再逐步扩展到长距干线。
多芯光纤:在单根光纤里并行
不是提速,而是扩容。单根光纤里集成 4-12 根纤芯,等效带宽翻数倍。中国电信 2026 年 3 月与华为合作,在广州-深圳完成全球首个基于多芯光纤的多智算中心分布式训练现网验证,互连距离 409.61km,等效算力达集中训练的 97% 以上。ITU-T SG15 正在推进 MCF 标准化,G.65x 系列兼容的多芯光纤标准预计 2028 年完成。
4.2 拥塞控制层:最核心的技术壁垒
AI 训练网络的主流拥塞控制方案是 ECN(显式拥塞通知)+ PFC(优先级流量控制),但它们在跨数据中心场景下有根本性缺陷。ECN 是事后干预:拥塞发生后打标记、通知降速,0.9ms RTT 下响应严重滞后。PFC 是逐跳反压,在长距链路上易形成多米诺骨牌,一个端口的拥塞可能反压到整个网络。
Meta 在 400G RoCE 部署中降低了对 DCQCN 的依赖(基于 ECN 的拥塞控制协议),改用 PFC 深度缓冲 + 集合通信库层面的拥塞管理(Meta Engineering Blog, "RoCE networks for distributed AI training at scale", 2024.8.5)。这是一个业界转折信号:ECN 在长距大规模场景下失效时,整个拥塞控制范式需要重做。
| 方案 | 核心思路 | 与 ECN/PFC 的核心差异 | 来源 |
|---|---|---|---|
| GSE-DGSQ | 从"推"流改"拉"流,源端先申请授权再发送 | 从源头避免拥塞而非拥塞后降速 | 中国移动 GSE(2023-2026) |
| INT 辅助拥塞控制 | 数据包嵌入遥测元数据,精确感知每跳队列 | 主动了解全局网络状态 | HPCC(阿里云 / SIGCOMM 2019)、ICC(清华 / 2025) |
| SGLB | SyncMesh 协议让所有交换机互通拥塞信息 | 分布式全局感知,不止 ECMP 哈希 | SIGCOMM 2025 |
| PCN | 接收端驱动的拥塞通知,一个 RTT 完成降速 | 发端不等拥塞标记,比 ECN 快 | 清华 / NSDI 2020 |
GSE-DGSQ "拉"模式
中国移动在 2023 年联合产业界发布了全调度以太网(GSE)技术架构。其核心机制是 DGSQ(动态全局调度队列)。传统以太网是"推"的模式:源端起流就发,下游交换机被动承接。GSE 改为"拉"的模式:源端先向目标出口申请 DGSQ 授权,获得批准后才发送报文容器(PKTC)。Incast 拥塞从根本上被避免,因为目标端口在授权时就已知总发送量不会超过自己的收容能力。PFC 反压也不再必要,跨距离场景尤其实用(长距 RTT 不再需要回环拥塞控制,授权在发送前已完成)。
GSE 形成了开放标准组织,2024 年完成多厂商设备互联互通测试。2026 年 3 月 MWC 上,中国移动发布 GSE-DCI(跨数据中心扩展),同时发布全球首台超百 T 智算互联路由器原型机(115.2 Tbps)。设备生态包括华为、中兴、锐捷等。
GSE-DGSQ 在跨域场景下的关键优势在于授权制可以吸收 RTT 不对称。传统"推"模式中,如果目标端口拥塞,源端只能通过 PFC 间接感知(一个 RTT 后)。在 0.9ms RTT 的 83km 链路上,这意味着每轮 AllReduce 都可能有数百微秒的拥塞盲区。GSE 的"拉"模式将这个盲区消除:授权在数据发送前完成,源端在获得授权时就知道目标端口的接收能力。代价是授权本身需要一个控制平面 RTT,但这个 RTT 可以与上一次数据传输重叠,不增加关键路径延迟。
4.3 通信算法层:减少跨站点同步量
核心思路不是让网络更快,而是让训练在网络"快不起来"时也能继续。
层级化 AllReduce(NVIDIA NeMo Framework, 2025.5)
NVIDIA NeMo Framework 25.02 引入了 Hierarchical AllReduce(HAR):先在一个数据中心内完成梯度聚合,再把聚合结果跨 DC 同步,跨 DC 通信量从 O(N) 降到 O(1)。同批发布的分布式优化器架构(Megatron-Core 0.11)把跨 DC 同步频率从每步减少到每 N 步,同时保持收敛质量。
OPTIREDUCE(NVIDIA + VMware, arXiv 2025)
一项被低估的工作。OPTIREDUCE 发现,分布式深度学习对梯度丢失具有天然容错性:在常见损失函数和优化器配置下,丢失部分梯度对收敛质量的影响在可接受范围内,这为 WAN 链路抖动场景打开了一个关键空间:可选择"跳过这次同步"而非等待重传。
异步训练的收敛保证
| 方案 | 核心创新 | 收敛保证 | 通信量缩减 | 来源 |
|---|---|---|---|---|
| DiLoCo | 500 步(原文默认超参)局部 SGDP 后全局同步 | 经验验证 | ~500x | DeepMind 2023 |
| Decoupled DiLoCo | 解耦"计算岛",异步数据流 | 经验验证 | 极低 | DeepMind 2026.4 |
| HALoS | 层级异步本地 SGD + momentum | 收敛证明 | 极低 | arXiv 2025 |
| Streaming DiLoCo | 梯度从 16bit 压缩到 4bit | 经验验证 | 4x 带宽节省 | DeepMind 2026 |
(注:经验验证表示实验上观察到收敛,暂无形式化证明。)
4 月 23 日发布的 Decoupled DiLoCo 是异步训练领域最具突破性的进展。它不是让跨 DC 同步更快,而是从根本上解耦了计算。训练在独立"计算岛"上异步进行,岛之间通过非实时数据流传递信息。一个岛的硬件故障不影响其他岛继续训练;Gemma 4 验证显示收敛质量与同步训练相当。HALoS(arXiv 2025)进一步提供了首个层级异步分布式优化(含 momentum)的收敛证明,在跨区域环境中比 DiLoCo 的训练收敛速度快 7.5 倍。
学界和业界之间仍有一个 gap。学术界已经在验证大规模异步训练的可行性,业界商用产品(DriveNets 的 deep buffer 方案、Meta Prometheus)当前只做同步。原因是训练框架层(Megatron / DeepSpeed / JAX)对 WAN 场景的异步支持还不够成熟,尤其是 moe_loss 和 z-loss 等需要全局同步的损失项在异步模式下的处理方式还在研究中。
把异步训练的 tradeoff 量化一下会更清楚。同步 DP 每步通信开销约为 2 × model_size × bytes_per_param / bandwidth（RingAllReduce 的两阶段）。对于 70B 参数模型（fp16，2 bytes/param）、400Gbps 网络带宽，单步通信开销约 2 × 70 × 10⁹ × 2 × 8 / 400 × 10⁹ ≈ 5.6s。如果跨 DC 带宽降至 100Gbps（典型长距 DWDM 单波），同步 DP 的单步通信升至约 22.4s——如果训练步计算时间本身只有 2-3s，通信占比就从约 65% 恶化到 88%+，实际上已经不可行。DiLoCo 每 500 步同步一次，等效通信占比降到约 0.45%，但代价是 500 步的参数 staleness。Decoupled DiLoCo 进一步消除了同步等待时间，但要求每个计算岛独立维护完整的优化器状态（Adam momentum + variance，约 2× 模型大小），内存开销接近翻倍。
这就是 Scale-Across 技术栈各层之间的核心 tradeoff:物理层提速(空芯光纤)和拥塞控制优化(GSE)在压缩延迟,通信算法层(异步训练)在降低同步频率,两者必须叠加使用才能在跨域场景下达到可接受的训练效率。
4.4 算网协同层:中国厂商重点推进方向
中国方案的一个显著特点是网络设备厂商不仅做连接,还尝试在路由器层面做算力调度。
新华三 CR19000-X 确定性算力核心路由器引入了"算力路由"的概念:网络层不仅转发数据包,还能感知各站点算力负载,把训练任务路由到最优计算节点。这突破了"网络只是传输管道"的传统角色。紫金山实验室(2025 年 8 月发布的《AI 大模型跨域训练池化调度技术体系白皮书》)提出了更系统的架构:RDMA 网关部署在广域网入口,把跨域训练包装成本地 RDMA 调用,端侧无需感知跨 DC 的存在。上层结合算力调度平台、存储调度、网络管控三层协同。中国移动的 NICC 新型智算中心技术体系(2024-2026)提出了"存算网管效"五大核心技术方向。
4.5 云厂商路线
北美云服务商在跨域训练方面的投入以内部基础设施为主,公开技术细节少于中国运营商。AWS EFA(Elastic Fabric Adapter)支持跨可用区的 RDMA 通信,但可用区间距通常不超过 100km,设计目标以故障隔离而非规模扩展为主。Azure 的 NCC(NVIDIA Collective Communications Library)集成在 ND 系列 VM 中,跨区域训练仍处于实验阶段。GCP 的 GDCN(Google Distributed Cloud Networking)与 Multislice Training 是三者中最成熟的。
SemiAnalysis 2025 年底指出 OpenAI 也在推动跨域训练,但策略不同:OpenAI 更偏向于把 GPU 集中在尽量少的 campus 内(模块化数据中心 + 快建),而非分散连接。这形成了两个技术路线:"集中派"(OpenAI、部分超大规模)和"分散派"(Google、中国运营商、逐步跟上来的 Meta)。
§5 全球 Scale-Across 部署路线图
在展开表格之前,先解释一下"等效算力 97%"这个数字实际意味着什么。如果一个集中式集群训练一个模型需要 30 天,97% 等效算力意味着跨域训练需要 30 / 0.97 ≈ 30.9 天,多出约 22 小时。对于万亿参数模型的标准训练周期(3-6 个月),这个开销几乎可以忽略。但"97%"是吞吐效率,不是收敛效率--如果异步训练导致最终模型质量下降(loss 多降了 0.02),这个损失不能用时间弥补。因此中国运营商的验证中均报告收敛质量与集中式训练"一致"(末差 <0.5%),这才是让这些数字有意义的完整图景。
"效率"列说明:各来源计算口径不同。联通/移动用的是"等效算力"(训练吞吐对比),电信用的是"训练效能比"。DriveNets 验证未公布具体训练效率。Meta Prometheus 的数据来自 SemiAnalysis 分析估算。在统一口径下,运营商的验证结果报告范围为 95-98% 等效单集群效率,说明跨域训练的算力损耗在 200km 级别并没有预想中那么高。
| 时间 | 玩家 | 距离 | 效率 | 带宽 | 技术路径 | 备注 |
|---|---|---|---|---|---|---|
| 2023 | Google Multislice Training | 跨 island(~15km) | 97.2% 吞吐 | - | Pathways 异步数据流 | 50,944 TPU v5e 训练 32B 参数 |
| 2024 | 中国联通 | 3000km | 试验带宽利用率 20%→90% | - | 长距 RDMA + 无损流控 | 上海→宁夏 testbed,光纤含中继 |
| 2024 | NVIDIA NeMo | - | HAR 通信节省 ~50% | - | 层级化 AllReduce | 软件框架层 |
| 2025 | 中国联通 | 300km | 95%+ 等效算力 | 16:1 收敛比 | OTN + 精准流控 | 上海临港 |
| 2025 | 中国电信 | 500km | 97%+ | - | 光电协同 | 武清千亿参数 |
| 2026.3 | 中国移动 | 100km+ | 98%+ | 115.2T 路由器 | GSE-DCI 自研协议 | MWC 发布 |
| 2026.3 | 中国电信×华为 | 409.61km | 97%+ | MCF | 多芯光纤现网 | 广州→深圳 |
| 2026.5 | 新华三 H3C | 100km DCI / 千公里跨域 | 96% 带宽利用率 | 800G × 64 端口 | S12500R-64EP + CR19000-X | 商用产品 |
| 2026.7 | DriveNets×WhiteFiber | 83km | 接近单节点 | 111.2 Tbps | Deep buffer + FSE + TH6 | 首次商用 |
| 2026 | Meta Prometheus | 75-80km campus | - | 22 Pbps(campus 总聚合) | AIBB L3/L4 Superspine | SemiAnalysis 估算 |
| 2026.7 | DriveNets × Jio | 同城 | - | 64×800G | Cisco NCS 1020J | 印度 800G DCI |
| ~2027 | Meta Titans | 2000km | - | - | 异步 RL 训练 | SemiAnalysis 推测,未官方确认 |
补充:Google 的跨域训练路线
Google 是业内最早系统性探索跨数据中心训练的公司。2022 年 Pathways 论文(arxiv 2203.12533)首次提出异步分布式数据流架构,允许把训练任务切分到不同 island 的 TPU 上,在 512 芯片的 P2P DCN 环境下实现了 97.2% 的同步训练等效吞吐。2023 年 Multislice Training 正式上线,展示了 50,944 个 TPU v5e 芯片连接成单一虚拟集群训练 32B 参数模型的全球最大已公开分布式训练运行(Google Cloud Blog)。
更重要的是 Google 的物理布局。在奥马哈-康瑟尔布拉夫-帕皮利恩(艾奥瓦州)三个 campus 间距约 10-15 英里,加上林肯校区(内布拉斯加州)约 50 英里,四个 campus 在 2026 年形成了一个 GW 级训练集群。哥伦布(俄亥俄州)另外三个 campus 也在 2025 年底达到 1GW 规模。Google 的 MegaScaler 是目前已知最早在实际生产中跨 campus 做同步训练(基于 Pathways)的 sharder。
把这张表格和全球玩家放在一起看,可以读出三个清晰趋势:
趋势一:200km 以内的跨域训练已经接近工程成熟。 从 2024 年联通的 300km 95%+ 到 2026 年 DriveNets 的 83km 接近单节点,200km 以内不再有根本性技术障碍。需要攻克的是工程部署问题(光纤资源、设备集成、与现有训练框架的适配)而非网络原理。
趋势二:技术路线从"纯网络优化"转向"网络+算法联合优化"。 2024 年的尝试以长距 RDMA 和无损流控为主(纯网络层),2025-2026 年开始向上层延伸:NVIDIA NeMo 做层级化 AllReduce(通信算法层),GSE-DCI 做授权制调度(增加新协议层),Decoupled DiLoCo 做计算岛解耦(算网协同)。从物理层到训练策略的多层协同是必然方向。
趋势三:中国运营商的密集验证正在形成一个事实上的标准集。 联通、电信、移动三家在 2024-2026 年合计完成了至少 6 次不同距离、不同技术路线的现网验证,从 100km 到 3000km,从 OTN 到空芯光纤到多芯光纤。这种密度在全球没有第二家。虽然各家的技术参数耦合、测试方法还难以直接横向对比,但这种工程经验积累本身构成了一个网络效应。
§6 判断
6.1 Scale-Across 正在成为 AI 网络的第三个正式维度
这不是一个"特殊场景"的处理方式。电力瓶颈、设备供应链、训练规模的三重压力,正在把 Scale-Across 从一个可选方案变成 AI 基础设施的标准组成部分。650 Group 分析师在分析报告中指出(2026 年 7 月 Ethernet AI Networking 市场更新),这是一个两年前还不存在的新市场,现在已形成超过 1000 亿美元的总体市场空间。(注:该数字为 Scale-Across 整体关联市场 TAM,含光纤、光模块、安装及运维,不限于交换机硬件。)
6.2 运营商阵营中中国在验证部署上领先
不是技术更强,是结构性条件不同。中国三大运营商在商用级跨域训练验证部署上(2024-2026)比北美云运营商 DriveNets(2026.7)和 Meta(2026)早了 1-2 年。(注:Google 是例外--2022 年 Pathways 论文即展示了跨 island 训练,2023 年 Multislice 已进入生产。)在距离(409km vs 83km)和效率(95-98% vs "接近")上也更成熟。原因包括东数西算创造天然需求、运营商持有光纤网络、政策明确推动等结构性因素。
如果看技术路线的原创性和生态成熟度,美国有 NVIDIA Spectrum-XGS 的成熟商业生态,中国有 GSE 的开放标准组织。双方的技术差距不在 100km 级部署能力上,而在标准化、生态化、产品化的成熟度上。
6.3 最有价值的优化方向不在流量工程,在训练框架层的异步化
从 §4 的分析可以看到,Scale-Across 的瓶颈正在从"网络不够快"转向"训练框架不支持跨 WAN 的异步模式"。DriveNets 的 0.9ms 已经很接近 0.81ms 的物理极限。Meta Prometheus 在 campus 内的同步训练也接近拉满。更重要的一步是用更好的异步训练算法来降低对延迟的敏感度。Decoupled DiLoCo(2026.4)和 HALoS 的收敛证明表明了方向,下一个里程碑应该是这些方法进入主流训练框架(Megatron / DeepSpeed / JAX)的产品化。
6.4 前瞻
三年后回头看,现在对 AI 训练集群的"地理约束"(电力在哪里、光缆怎么走、变压器什么时候到)可能就像今天对 GPU 存储层级(HBM2 → HBM3E → HBM4)的理解一样,成为 AI 基础设施工程师的基础认知。
--这种约束不仅决定训练在哪进行,还会反过来影响模型选什么架构。当 Scale-Across 成为必修课,AI 基础设施的设计就不再是"先定模型再搭网络"的单向流程,而是三个尺度的联合优化。
6.5 竞争格局含义
Scale-Across 正在重写 AI 基础设施市场的竞争规则。交换机的竞争维度从端口密度和背板带宽转向了缓冲深度、跨域调度能力和光纤资源。DriveNets 用 deep buffer 开路,中国厂商以算力路由和 GSE 架构建立差异。传统数据中心交换机巨头(Cisco/Arista/Juniper)在端口密度上积累的优势不会自动延伸到 Scale-Across 领域。
更深层的含义是:对 GPU 采购者来说,GPU 在哪里比 GPU 有多少更重要。两个 50MW 集群在 80km 外用 100Tbps 连接,训练效率与一个 100MW 单点集群的差距只有 3-5%,但获取电力的时间差是数年。这意味着未来 AI 基础设施的规划起点不是"买多少卡",而是"电在哪里、光纤能不能连"。
回到开头的三种尺度:Scale-Up 解决"芯片能算多快",Scale-Out 解决"集群能扩多大",Scale-Across 解决的是"训练能在哪做"。前两个是技术问题,第三个是地理问题。当 GPU 集群规模超过单 site 供电极限的那一刻,AI 基础设施就从工程问题变成了地理经济问题。
数据来源
- Gartner 2026 数据中心基础设施预测(2026.7.9 发布)
- Wood Mackenzie, "US Power Transformer Lead Times, 2026 Update"(非公开报告,变压器 160 周数据引用于 SemiAnalysis 和 Gartner 分析)
- SemiAnalysis, "The Future of Meta Superintelligence"(2026.7.9)
- DriveNets Blog, "Inside WhiteFlyer's Long-Distance Scale-Across Deployment"(2026.7.9)
- Meta Engineering Blog, "RoCE networks for distributed AI training at scale"(2024.8.5)
- NVIDIA Developer Blog, "Turbocharge LLM Training Across Long-Haul Data Center Networks with NeMo Framework"(2025.5.8)
- NVIDIA NIDA-006-2025 标准文档(AI 训练网络丢包率对训练效率的影响数据)
- Google DeepMind, "Decoupled DiLoCo: A new frontier for resilient, distributed AI training"(2026.4.23)
- arXiv 2506.04531, "HALoS: Hierarchical Asynchronous Local SGD over Slow Networks for Geo-Distributed LLM Training"(2025)
- arXiv 2604.21428, "Decoupled DiLoCo for Resilient Distributed Pre-training"(2026.4)
- arxiv 2203.12533, "Pathways: Asynchronous Distributed Dataflow for ML"(2022)
- arXiv 2310.06993, "OPTIREDUCE: Resilient and Tail-Optimal AllReduce for Distributed Deep Learning in the Cloud"(2025 更新)
- OPTICA / Acta Optica Sinica, "智算光互联的架构、关键技术及应用"(2025.7)
- ACG Research, "TCO Comparison: Dark Fiber vs Leased Circuits at 100G and Beyond"(2025)
- 长飞光纤 2025 年半年报 / CFCF 2025 光连接大会(中国电信研究院披露)
- China Mobile GSE-DCI MWC 2026 Release(IT之家/新浪科技,2026.3.3)
- ZTE Technologies, "Scale-Up/Out/Across 三域协同,突破算力上限"(2026.4)
- H3C NAVIGATE 2026 Press Release / 智算网络新品发布(2026.5.13)
- 紫金山实验室, "AI 大模型跨域训练池化调度技术体系白皮书"(2025.8)
- Cisco Blogs, "The Tipping Point: Managing the Cost of DCI in the AI Era"(2026.1)
- 650 Group, "Ethernet AI Networking Market Update, Q2 2026"(2026.7 发布,引用于 DriveNets 新闻稿和 Light Reading 报道)
本报告不构成投资建议。数据截至 2026 年 7 月 16 日。