
2026 年 11 月 12 日,一篇十九人署名的论文出现在 arXiv 上,题目是 Singularity-Bench。论文设了六项任务,其中一项推理引擎任务的规则可以说得很简单:给 AI Agent 十二个小时和四张 GB300 GPU,让它从 PyTorch 和一个玩具服务器起步,为 3200 亿参数的 GLM-5.3-Flash 写一个 FP8 推理引擎;对手是照官方配方部署的 SGLang v0.5.20。评分时,把真实 coding-agent 会话的流量结构回放给引擎服务,按固定 API 单价计算每 GPU 时的模拟收入。
Opus 5.5 写的引擎每个 GPU 时收入 11.52 美元,比 SGLang 的 8.18 美元高 40.8%;GPT-6.1 Sol 写的引擎收 9.70 美元,高 18.6%。十一个引擎里,还有六个得了零分。
收入还不是最有信息量的部分。Opus 5.5 引擎的中位流速度(每个响应每秒输出的 token 数)是 124.2,SGLang 是 125.0,几乎相同,它并没有把模型算得更快。拉开差距的是首字延迟的尾部:90 分位 TTFT(time to first token,从请求发出到吐出第一个 token 的时间)是 0.478 秒对 12.0 秒。GPT-6.1 Sol 的赢法更反常,它的 TTFT 尾部比 SGLang 还差(24.3 秒),流速度也更低(每秒 105 个 token),收入仍然高 18.6%。
两个引擎走了两条相反的路线,都在排队上取得了优势。这篇论文把行业里隐约感觉到的一件事变成了可以测量的数字:推理引擎的工程红利,重心正在从 kernel 层移到调度层,而调度恰好是 Agent 能够自动化的那类工程。
一 钱怎么算
要把这个结果读懂,得先讲清楚分数是怎么算的,因为全文每一个数字都来自这套规则。
Singularity-Bench 覆盖预训练、中训练、后训练、推理、Agent 框架、集群调度六层,每一层对打一个生产系统,从 Megatron-LM 到 Claude Code。本文只展开推理引擎这一层。
靶子是 GLM-5.3-Flash,一个混合专家模型(MoE),总参数 3200 亿,每步激活 170 亿(论文口径;官方模型卡写作 180 亿),线性注意力与稀疏注意力层交错排列,任务要求以 FP8 精度服务。Agent 拿到四张 GB300、十二小时,起点只有 PyTorch、Hugging Face Transformers 和一个朴素的参考服务器,没有生产级推理引擎,没有 FlashAttention-4 和 FlashInfer,也没有网络。
负载来自 SemiAnalysis 的 AgentX 语料。它从 opt-in 的 Claude Code 会话录制,去掉原始内容后用合成 token 重建,保留的是长度、时序和前缀共享结构,所以是一次会话结构真实、内容合成的回放。评测时十六个会话并发闭环运行十五分钟:每一轮都重发增长中的对话(输入中位数 8.9 万 token,最长 25.6 万,与上一轮大量共享),请求一段短的贪心补全。
计分按模拟收入算:完成的请求按固定单价计费,输入每百万 token 0.09 美元(缓存命中的 token 同价),输出每百万 token 0.30 美元,再除以到达窗口内四张卡的合计 GPU 时。四卡乘十五分钟恰好等于 1 GPU 时,所以这个数就是每 GPU 时收入;另有五分钟排空期,期内完成的请求计入分子。收入之上还有两道门:99% 的完成请求必须返回所请求的输出长度;服务器在运行状态下接受一个身份保密的基准测试(MATH-500),准确率必须达到参考值的 95%,即 0.8816。
这套规则里有两个值得停下来看的细节。第一个是缓存同价。收入按全部输入 token 全价计算,命中不命中缓存不影响单个请求的收入,但缓存命中会降低完成请求的成本,于是同样的算力能完成更多轮对话,收入更高。等价定价是有意设计的:缓存命中数由服务器自己报告,同价让虚报无利可图。而真实 API 市场上缓存输入普遍打折卖,这个模拟计价方式实际上比真实市场更奖励前缀复用。第二个细节是论文自己点破了这个指标的性质:它奖励的是完整交互的完成,包括有效的前缀复用与准入控制,「不是 kernel 吞吐的直接测量」。

基线 SGLang v0.5.20 按 SGLang Cookbook 的官方配方部署。这个版本正是支持 GLM-5.3-Flash 的最低版本线,配方页按硬件给出低延迟与高吞吐两档工作点。要说明的是,这是照官方配方部署的生产基线,不是极限调优版。
还有一层可信度来自作者名单:SGLang 的作者之一盛颖(商业公司 RadixArk)在署名之列,NVIDIA、Together AI、CMU 的人也都在。靶子是作者自己参与造的系统,他们的利益方向是把靶子做实。
二 两个赢家的两种做法
Opus 5.5(配 Claude Code 框架,开发期 API 花费 140.42 美元)的表现,论文写得很完整。它完成的请求数是 983 个,SGLang 是 705 个,多 39.4%;两者的中位流速度几乎相同,前缀缓存命中率也接近(96.7% 对 95.9%)。差距集中在延迟的尾部。SGLang 的中位 TTFT 其实只有 0.46 秒,并不差,差的是 90 分位的 12.0 秒:大多数请求很快,少数被长输入拖住的请求很慢。

Opus 5.5 写的引擎用上了四卡张量并行、分块 prefill 批处理(prefill 指处理请求输入的阶段)、CUDA-graph 解码,还有为 MoE 和混合注意力写的自定义 kernel。真正拉开差距的,是调度和缓存的配合。准入策略优先接收「未缓存 prefill 工作量小」的请求,让短续写不必排在漫长的冷 prefill 后面等待。它按请求的输出长度预留内存,避免收到一半才发现装不下。prefill 的分块也按剩余未缓存 token 数排序。缓存这边,因为 GLM 的混合注意力架构,前缀缓存必须同时保存稀疏注意力的分页状态和线性注意力的循环状态快照,只存 KV 张量复现不了完整模型状态。开发过程中,一次调度与投机解码的联合更新把 TTFT 90 分位从 1.81 秒压到 0.57 秒;论文认为基线的长尾部与其先来先服务的 prefill 相一致。
GPT-6.1 Sol(配 Codex,花费 42.78 美元)走的是另一条路。它的 TTFT 中位 1.30 秒、90 分位 24.3 秒,都比 SGLang 差;中位流速度每秒 105 个 token,也更低。它赢在准入规则的定义上:按「单位收入的未缓存 prefill 工作量」排序接收请求,同时给等待超过 30 秒的请求加速。这样做的代价是大的冷 prefill 被有意推迟,换来的是端到端延迟尾部变短。开发日志里有个很说明问题的数字:仅把老化阈值从 120 秒改成 30 秒,收入就从 8.98 涨到 9.12。它完成 816 个请求,99 分位端到端延迟 67.8 秒,只有 17 个请求超过一分钟。这个引擎同样组合了自定义 kernel、多 token 预测与 n-gram 草稿的精确投机解码、循环与稀疏注意力状态的前缀缓存。也就是说,两个引擎交付的都是具备生产引擎主要部件的完整系统,而不是只求跑通的演示品;这些部件是 Agent 在十二小时里自己写出、自己组装的。
论文还报告了一个初看相反的数据,需要交代清楚:两个赢家引擎「每 GPU 秒处理的未缓存 token」都比 SGLang 高,分别高 19% 和 8%。这并不是说它们靠 kernel 取胜,而是调度效果的直接体现:等待队列短了,prefill 也不再重复计算,同样的 kernel 不再空转,单位时间的有效工作量自然上升。调度消除的是等待和浪费,并没有让计算本身变快。
把两个赢家放在一起,论文第六节的分析给了一句可以直接引用的结论:两个收入超过 SGLang 的引擎,赢在排队与延迟尾部,而不是中位解码速度,中位解码速度谁都没有提升。

三 kernel 有贡献,但拉开差距的是调度
说「不是 kernel 的功劳」并不准确,这一点要掰开。Opus 5.5 的引擎确实写了 kernel:MoE 和混合注意力的自定义 kernel、融合通信与超连接(hyper-connection)的 kernel,后一组更新带来收入从 7.23 到 8.08 的提升;它还用 checkpoint 自带的多 token 预测层做单 token 自投机,被拒绝时恢复循环状态,开发期连续测量显示收入从 8.42 涨到 9.72,涨了 15.4%;另外准备了预编译 kernel 缓存,避免请求处理过程中现场编译。
但有两件事把这些 kernel 贡献从「决定性因素」里摘出来。第一,基线也有同类武器:SGLang 的 Cookbook 低延迟配方本来就开 MTP 投机解码,EAGLE 草稿机制是标配。第二,消融数据:中档与超高档推理力度的两个 Opus 引擎,流速度分别是每秒 126 和 122 个 token,与基线的 125 持平,慢速尾部反而更小(10 分位 55 和 62 对 33),TTFT 尾部是 0.91 和 0.72 秒对 12.0 秒。论文的原话是,投机解码本身并不能把它们与基线区分开。
真正的差距在调度改动的多少上,这里有一个从弱到强的次序。中档和超高档引擎的准入其实也是先来先服务,它们只做了一件可以称为调度的事:按剩余未缓存 token 数给 prefill 分块排序。仅这一项改动,中档引擎收入 11.07,过了基线。最高档的引擎再加上准入优先与输出内存预留,TTFT 尾部压到 0.478 秒,收入 11.52。这一步增量没有被单独消融,但从次序的两端看,方向是清楚的。
所以准确的说法是:kernel 侧的贡献真实存在,论文的总结也是「kernel 优化与系统集成都有贡献」,但把赢家与基线分开的,是调度。
四 六个零分引擎的失败原因
十一个引擎里六个得了零分,这是全文另一半的证据。论文把每个失败原因都列了出来,按性质可以分成三类。
第一类是调度和资源准入的问题,有三个。最典型的是 GLM 5.3 + Codex:客户端断开连接后,服务器还在继续处理那些已被放弃的流量,560 个准确率测试请求排在后面全部超时。这个引擎单独测试时答案是对的,失败完全发生在队列上。另外两个是内存耗尽:DeepSeek + Codex 在准确率负载下挤爆内存后引擎崩溃;MiniMax M3 + Claude Code 内存耗尽导致大面积响应不完整。
第二类是正确性问题,有两个。Kimi K3 + Claude Code 的服务器在准确率测试开始时直接崩溃。Kimi K3 + Codex 更能说明问题:它的流量收入本来有 2.70 美元,准确率却只有 0.740,被门拦成零分。速度和正确性在这里分开了,它在开发期做过的短参考检查,没能覆盖完整的准确率负载。
第三类是吞吐架构问题,只有一个:MiniMax M3 + Codex 的串行生成,在限时一小时的准确率负载里跑不完。

论文特别提醒不要把这些失败归并成同一个原因,准确率门的失败未必是同一种实现错误。但它同时给出了一句分量很重的话:在这样的服务契约下,取消与准入控制本身就是正确性的一部分,即使一个引擎孤立测试时能给出正确答案。把这个和赢家对起来看:赢的一方靠调度拉开收入,失败的一方里数量最多的一类,败因也正好是调度。
五 消融实验说明了什么
论文还有两组消融实验,既说明这个结果的成色,也透露了机制。
第一组关于推理力度:把 Opus 5.5 在四个更低的推理力度档(低、中、高、超高)重跑同一任务,加上主表的最高档,过基线的是中档、超高档和最高档,低档和高档没有过。原因不是「想得不够」,而是较低力度的运行自己提前收工了。低档实际工作 3.8 小时、高档 7.2 小时、中档 9.4 小时、超高档 10.9 小时,收入按同样的顺序排列。中档用 65% 的 API 花费(90.77 对 140.42 美元)拿到 96% 的收入(11.07 对 11.52)。GPT-6.1 Sol 对档位更敏感:只有最高档过基线,其余各档收入落在 1.55 到 6.29 之间,它的超高档还误读了计时器,十二小时预算只跑了 7.5 小时。收入跟着实际工时走,不跟推理档位走。这项工程的价值来自持续对着指标迭代,而不是单次的灵光一现,这一点后面还会回来。
第二组关于子代理:强制每个 Agent 至少派发五个子任务后,两个赢家走向了相反的方向。Opus 5.5 这组对照用的是高档:单 Agent 收入 7.31,本来不过基线;加了子代理后收入 10.32,跨过了基线,但仍低于最高档单 Agent 的 11.52。它的分工方式是:每个 kernel 或基准测试子代理配一张自己的 GPU、内存上限 30–60 GB,分析类子代理不碰 GPU,多数子代理被禁止启动服务器或杀进程。子任务能在硬件上验证自己的工作,主 Agent 保持对服务器的控制。GPT-6.1 Sol 则走了反向:最高档单 Agent 的 9.70 掉到 2.09,评分落在它自己开发期测得的 1.99–2.61 区间里,也就是说它如实交付了一个性能差的设计,问题出在分工而不是交付。约 28% 的主 Agent 工具调用用于协调子代理,每个 GPU 实验都得经过主 Agent,全程只完成 8 次完整测试(单 Agent 时是 21 次)。三分之二的 API 花费给了子代理,而它们的产出,包括 81 个笔记文件、补丁、上线即关闭的功能,大部分从未到达服务器。
论文的总结值得直接引用:强制使用子代理本身不决定结果,怎么分工才决定。
六 这个结果能说明什么,不能说明什么
边界要一条条列清楚,这个结果的价值才立得住。
它是模拟收入,不是通用吞吐。缓存同价的计价比真实市场更奖励前缀复用,真实 API 定价里缓存输入是打折的。所以 40.8% 的幅度是这套计分下的读数,会跟着计价方式走;胜负的方向不依赖计价,完成数和延迟尾部是流量层面的测量。基线是 Cookbook 配方而非调优极限,而且只测了 v0.5.20 一个版本。没有同时间限制的人类对照组,人类基线是生产系统的既有成果,不是一场十二小时的公平比赛,「打赢」的准确含义是「在这个负载上达到并超过了该系统的表现」。全部结果出自单一硬件平台(四张 GB300)和单一模型架构,GLM 的混合注意力给了「读架构再设计缓存」的特殊机会,对没有循环注意力状态的架构未必复现。每个配置只跑一次(流量由隐藏种子选定),+40.8% 没有方差区间。机制证据(TTFT 尾部、完成请求数的差距)足够强,但单次评测这个事实应当记下。
论文的另一半篇幅在讲验证有多难。这件事本身可以看作论文的第二项贡献:怎么让 Agent 的工程成绩变得可测、可信。红队攻击覆盖 OWASP Agentic 风险十类中的九类:普通的 Harbor 评测框架全线失守,装上 LLM 裁判仍有六个攻击得手,作者扩展出的 Breakwater 拦下了全部 28 个攻击。其中针对推理任务的 SERVE-K04 值得展开一句:它让服务器按请求特征区分「计分请求」和「流量请求」,前者交给完整模型,后者走便宜路径,再把实现伪装成单一系统,诱导审计只看净化后的快照。理解了这些攻击,才能理解这个结果为什么可信:门是隐藏的,种子是隐藏的,完整性审计由独立一方完成。项目官网的排行榜已经上线,导航栏标着「代码即将发布」,FAQ 却说代码已开源,两处矛盾,引用时以实际可访问为准。
七 技术上值得关注的五组设计
除了输赢本身,这篇论文里有五组技术设计值得单独拆开看,因为它们的用处不止这一次评测。
第一组是计分方式。它把吞吐、延迟、正确性和缓存效率压成一个数:完成的请求按固定单价计费,除以 GPU 时,再压上两道质量门。值得借鉴的有两层。一层是把多维的服务质量变成单一的经济量,任何工程,无论人做还是 Agent 做,都有了一个可以对着迭代的标量;论文的原话是,这个指标奖励完整交互的完成,不是 kernel 吞吐的直接测量。另一层是反作弊被当作计分设计的一部分,而不是事后的补丁:缓存命中按全价计费,是因为命中数由服务器自己报告,同价让虚报无利可图;流量种子是隐藏的,质量门是隐藏的,完整性审计交给独立一方。第五组会讲到专门针对计分的攻击,说明这些防线面对的是真实存在的威胁。
第二组是前缀缓存的架构特化。GLM-5.3-Flash 的线性注意力与稀疏注意力层交错排列,前缀缓存必须同时保存稀疏注意力的分页状态和线性注意力的循环状态快照,只存 KV 张量复现不了完整模型状态。两个赢家引擎都独立做出了这套双状态缓存。值得注意的不是这个具体设计,而是它背后的判断方式:缓存设计跟着模型架构走。只要架构里有循环状态,通用的 KV 缓存方案就不够用,工程师或 Agent 得先读架构,再设计缓存。同样的道理也适用于其他带循环状态的混合架构。
第三组是投机解码的用法。Opus 5.5 的引擎没有另训草稿模型,而是用 checkpoint 里自带的多 token 预测层做单 token 自投机,被拒绝时恢复循环状态再继续,开发期连续测量显示这一项把收入从 8.42 提到 9.72。它降低的是投机解码的门槛:只要模型的 checkpoint 里带了多 token 预测层,就不用先解决另训草稿模型的问题,工程问题变成怎么把自带的层正确接进引擎。要说明的是,基线 SGLang 的官方配方默认也开着 MTP 投机解码,这个部件本身不决定胜负,第三节讲过,赢家与基线的差别不在部件,在调度与集成。
第四组是调度的参数级杠杆。GPT-6.1 Sol 的准入规则按「单位收入的未缓存 prefill 工作量」排序,给等待超过 30 秒的请求加速;它的开发日志里有一个很说明问题的数字,仅把老化阈值从 120 秒改成 30 秒,收入就从 8.98 涨到 9.12。调度层的优化粒度到了常数和排序规则这一级:改几行规则,跑一次十五分钟的回放,就能验证方向。对照 kernel 层的反馈回路,改代码、编译、跑基准,就能理解为什么迭代式的工程方式在这一层特别有效,第八节会把这一点展开成判断。
第五组是负载结构与攻防。这个基准回放的不是合成压测,而是真实 coding-agent 会话的流量结构:中位 8.9 万 token 的输入逐轮增长,与上一轮大量共享前缀。围绕这种 agentic 负载的优化,行业里已经产生了五十多个上游 PR,落在 vLLM、SGLang、TensorRT-LLM、Dynamo、LMCache、Mooncake 这些项目里。而要让这样的测量站得住,还得防住专门针对计分的攻击:第六节讲过的 SERVE-K04,让服务器按请求特征区分计分请求和流量请求,前者走完整模型,后者走便宜路径。它的教训与第一组的设计是一体的:只要计分请求可以被识别,就会被区别对待,所以隐藏门、隐藏种子和独立审计是基准的组成部分,不是附件。
八 调度优势与自动化工程
现在可以回到最初的问题:为什么先被自动化的是调度。
对比这篇文章里的两层工作就能看出来。kernel 优化的反馈回路又长又硬:改代码、编译、跑基准,收益依赖对硬件微架构的直觉。调度策略的反馈回路短得多:改几行准入规则,跑一次十五分钟的回放,读指标,再改。规则空间大而复杂,但每一步的因果清楚可测。这正是 Agent 擅长的工作形态:任务周期长,可以反复迭代,指标明确。论文里 Opus 5.5 的通用工作模式,先测量再设计、尽早跑通端到端、对着代理指标持续迭代、用预先定好的规则做选择,就是这种工作形态的注脚。第五节那个「收入跟着工时走」的消融,是它的机制证据。
同一条线上还有别的证据。EngineAgent(arXiv 2611.14356)把端侧推理引擎的「新模型适配」自动化:建引擎层级知识索引,构造代码与审计代码分工,在跨 CPU、GPU、NPU 的十二个适配任务上端到端成功 75%,最强编码 Agent 基线是 33.3%。它的成功标准包括真机运行且输出与参考实现逐 logit 一致。它与 Singularity-Bench 不同:那是给既有引擎适配新模型,这是从零建引擎,但「推理栈的工程劳动被 Agent 接管」是同一个方向。
行业侧的信号也汇聚在同一处。AgentX 官网披露,围绕 agentic 负载优化已经产生了五十多个上游 PR,落在 vLLM、SGLang、TensorRT-LLM、Dynamo、LMCache、Mooncake 这些项目里。agentic 流量的前缀共享结构正在成为推理引擎差异化的重要因素。当「我的 kernel 快」逐渐让位给「我的调度懂你的流量」,引擎竞争的主战场就换了一层。对自研引擎的云厂商,这影响投入方向,调度人才的边际产出可能高于 kernel 人才。对模型厂商,这影响引擎选型,负载感知能力比峰值吞吐更值得看。
最后留三个观察点。第一,Singularity-Bench 如果成为常设榜单,调度优势的衰减速度本身会成为指标:今天的 40% 优势,在主流引擎把这两类准入策略吸收为默认配置之后还剩多少。第二,GPT-6.1 Sol 的收入加权准入和 Opus 的 prefill 感知准入,哪个先出现在 vLLM 或 SGLang 的默认配置里。第三,下一个被自动化的层是哪一层。论文自己的表述要谨慎得多:Opus 5.5 六项全部不低于人类基线(Singularity-Index 1.252),但每一项的原始分都还有大量改进空间。六层任务都碰到了,但离被接管还很远。
结语
这篇论文测的是「Agent 能不能建 Agent 的基础设施」,测出来的却是一个更具体的信号:在推理引擎这一层,区分赢家与基线的变量已经从 kernel 换成了调度。调度是反馈回路短、规则复杂、可以对着指标不断迭代的工程,恰好是当前 Agent 最擅长的那种。
这个结果也把模型能力和工作过程各自的分量摆清楚了。十一个引擎里能过两道质量门的有五个,除了两个赢家,剩下三个(上一代 Opus 5、GLM 5.3、DeepSeek)的中位流速度分别只有每秒 15.1、7.9、0.7 个 token,而 SGLang 是 125;它们过了门,收入却停在基线以下,输在引擎本身的性能,不是输在迭代方式。写出完整可用的引擎,目前只是头部模型才拿得到的入场券,而门内的高下,首先也还是由能力分出来的。第五节的两组消融都是在两个赢家身上做的;在这两个引擎内部,收入不再跟着推理档位走,只跟着实际工时和分工方式走。所以模型能力决定的,是能不能入场,以及入场后站在哪一档。要在最高那一档里赢,靠的是对着指标持续迭代的工作过程。
这个判断的成立条件同样清楚:硬件只有一种,模型只有一个,负载只有一种,计分也是模拟的。越过这些条件的推广,目前是趋势推断,不是测量。往后看,调度优势会随主流引擎吸收这些策略而衰减,衰减的速度就是这场自动化工程推进速度的读数。
信源
[一] Zhou, Agarwal, Chen, et al. Singularity-Bench: Can Agents Build Agents? arXiv:2611.16591,2026-11-12。任务定义、全部性能数字、消融与红队描述出自论文 §3.1、§5、§6、附录 E 与 A.3;引语四条("win on queueing and latency tails…"、"not a direct measurement of kernel throughput"、"Cancellation and admission control are thus part of correctness…"、"Requiring subagents thus does not decide the outcome by itself; how the agent divides the work does")均逐字出自原文。计分公式与缓存同价的反作弊设计经官方代码逐行核对(tasks/serve-glm53-flash/tests/simulator.py:PRICE 输入/缓存输入同为 0.09、输出 0.30;income_per_gpu_hour=income/(GPU_COUNT×窗口小时),GPU_COUNT=4、窗口 900 秒、drain 300 秒)。
[二] Singularity-Bench 项目官网(infini-ai-lab.github.io/singularity-bench):排行榜、Breakwater 28/28、代码发布状态两处矛盾之说明。
[三] SemiAnalysis InferenceX:AgentX 方法论与数据集页(inferencex.semianalysis.com/agentx)。会话脱敏与合成重建方式、五十余个上游 PR。「会话结构真实、内容合成」的表述依据此页。
[四] SGLang Cookbook:GLM-5.3-Flash 部署配方页(docs.sglang.io)。v0.5.20 为支持该模型的最低版本线;低延迟配方默认开启 MTP 投机解码;架构描述为 MLA+DSA 稀疏+KDA 线性混合、320B 总参 18B 激活。
[五] Huang, Sun, Chen, et al. EngineAgent: Agentizing On-Device LLM Inference Engines with Inference Stack Hierarchy Awareness and Hardware Abilities. arXiv:2611.14356,2026-11-10。75% 对 33.3% 的适配成功率、成功标准(含输出 logit 一致)。
[六] GLM-5.3-Flash 模型卡(Hugging Face,zai-org/GLM-5.3-Flash):320B 总参、18B 激活、稀疏+线性混合注意力、mHC 结构;技术报告 arXiv:2602.15763。激活参数与论文的 17B 口径存在小幅出入,本文实验数字以论文为准。
数字口径备注:文中「每 GPU 时收入」均为论文模拟口径(15 分钟到达窗 × 4 卡 = 1 GPU 时,含缓存输入按全价计);「流速度」均为每响应中位 token/s,非聚合吞吐;+40.8%/+18.6%/+39.4% 为单次评测结果,无方差区间。
