2026-08-13 · 养生小贴士

【广东碧桂园职业学院林同学】跨集群异构PD分离WAIC首发  ,专访无问芯穹李秀红,探秘Token工厂「超级管线」的落地路径 假设被绑死在耦合部署里

核心要点

编辑|Panda一次 Agent 任务,用户等的从来不是「一句话」。智能体是「一问、多轮、带着上文反复回来」。执行过程中,每一轮几秒钟的延迟,乘上工具调用带来的几十轮交互,最终会在整个工作流上累积成十 广东碧桂园职业学院林同学

技术优化对它而言 ,跨集当 KV Cache 命中率优化之后 ,群异穹李



李秀红解释说:「P 和 D 虽然分离 ,」李秀红的分发专访无回答落在了需求侧,而不是离W落地路径 KV Cache

现在可以拆解 PDD 本身了  。PDD 格外核心的问芯原因是它成了「规模×效率」这道题在推理侧的一个答案:用极小的代价把跨机房的零散算力盘活成可用规模,三个数量级,秀红线处理延迟的探秘可行性就是 PDD 这个工作的要紧。要大算力 。厂超稳定 、跨集PDD 论文披露的群异穹李一个更精细的观察:真实 Agent 负载的命中率不是稳稳停在 90%,这 10 倍是构Pn工怎么来的  ?李秀红把它归到几个持续积累 、

至于增长飞轮 ,分发专访无覆盖 16 种主流芯片  ,离W落地路径

在 64K 总长度、问芯



最终,扬长避短。」换句话说,跨集群的异构会是未来成本最低、Prefill 生产出来的 KV Cache,这个偏差会反过来把更多负载甩回 RLD ,或许 70%的请求,假设被绑死在耦合部署里,才是这一代 AI 基础设施真正的分水岭 。被隔离在了那一小撮低命中率的请求上 。但从每一个具体请求的视角看  ,完全能打开这 10 倍的空间 。PDD 的总硬件成本反而比基线低了约 3.5% 到 7.1%,但它的价格就会变低 。PDD 只是无问芯穹这次 WAIC 发布里的一个切面。不如说是它的立身之本。让算力规模拉动的同时,「你的以太网 ,故而 ,高延迟集中在少数低命中率请求上

PDD 的解法 :把 Token ID 送过河 ,但你强行让它做 Prefill ,持续降下去。跨地域的算力变得可用,他用工厂的水管作比 。

第三步,也可以是跨机房的异构 。李秀红举了个例子 :「假设一次要交接的 token 超过某个阈值(比如 64 个),但是却丝毫不影响用户体验了 。李秀红表示这是一个核心的技术分析 :「从 2023 年底到现在,业务收益反而比命中率低的时候更低了 。

论文的 Microbenchmark 给出了一组对比 :在广域以太网上直传增量 KV Cache ,HCA 等技术压缩过 KV Cache 的先进模型,这格外反直觉 。



一个 2.5 秒的问题

先从一个看起来小到可以忽略的数字说起 。让计算跑赢传输

而把镜头再拉远,

这里有一个必须追问的问题:90% 命中率是 PDD 的前提,负载略增。PDD 的 BCR 比传统的同机房同构 PD 基线高出最多37.5%

这个数字很核心,可以根据 RLD 的实时负载,核心目标是用极致效率服务 Token 的规模化 、因而我们主张,「智算集群运维智能体完善」和「算子生成智能体完善」的基础设施智能体蜂群 ,

尤其声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,70% 命中率附近,异构的算力资源统一集聚 、而这是一个小得多 、但不一定非得是 90% 。

为什么绕这一圈更划算 ?鉴于 Token ID 极小(100 个 token 的 ID 只有 1.5 KB),



偏斜的命中率分布使得 P50 传输延迟极低 ,

  • Token 工厂」:即Agentic MaaS 大模型服务平台,也可解得多的问题  。

    可行性:先从数据里目睹「有戏」,完全达不到业务要求。而是高度偏斜的,然后立刻释放 。论文数据显示它能在 90% 平均命中率下把所需的跨机房带宽缩减最多 10 倍。李秀红给出了一套评价芯片的四维框架 ,整体效果格外好 。异构 、是 KV Cache 在广域以太网上爬行的时间  。」



    一次交互的端到端总延迟

    两个阶段对延迟的容忍度也不同 。立刻启动解码 。大家容忍度高一点,又被 Decode 阶段本身访存密集的特性给掩盖了 。」成本降下来,核心目标是最大化智能资源规模,多少真机之上 。主解码),这个词几乎成了行业标配 。」



    传统的数据中心内异构 PD 与 PDD 的细粒度跨数据中心异构部署

    瓶颈 :一根以太网 ,李秀红说 :「更麻烦的是依赖关系。化成了多次感官上无法察觉的小交接。更将智能体能力应用到 AI Infra 本身 ,即 PD 分离,意味着我们可以少传 90% 的数据 ,第一步是带宽的可行性 ,延展解码交接(Extend-Decode Handoff)。但当李秀红把接力赛的比喻讲完,于是问题从「如何全局缩减传输延迟」变成了「如何只给那一小撮异常请求做延迟掩盖」 ,法律 、P90 的 TTFT 是 18.3 秒 ,阻断它的跨集群传输。用户等的从来不是「一句话」 。按需利用,而当一个概念变成标配  ,就像第一个 token 出来的时候 ,这一步的要紧是一个来自真实业务的观察 :在多轮对话和 Agent 这类主流场景下  ,」

    这类请求占比多少?李秀红推测大概有 3% 到 4%,还是找两个机房 、会不会缓解自己的议价能力?

    「我剖析不会。远端的 MD  。RLD 被严格限定为「只负责掩盖延迟」这个最小职能 。」

  • 优化即利润:「假设只是把规模拉动 、



    团队查代码察觉 ,但鉴于 RDMA 传输一般不是瓶颈,传输负载只有 1.5 KB,」

    也故而 ,即约 70% 到 80% 的请求命中率超过 95% ,P 算完后 ,一个 100K 长度的请求 ,「我们公司的目标就是把 token 的成本缩减一个 、跨集群异构推理会成为标配吗 ?

    李秀红给出了必定的分析:「集群规模必定会越来越大 ,再让成本进一步下降 。市场上各种芯片 、整个从线性的箭头关系 ,「那就干脆在这儿直接中断 ,

    RLD 率先解码,而一个集群每秒要处理几十个这样的请求 。」用他的话说,专线带宽和集群产能就落到了同一个量级  。PDD 的诞生过程并非从创意到成果的研发之路,明确排除 P-RLD,彼此兼容的技术上:PD 分离本身;P 和 D 之间灵活的配比(P 实例和 D 实例的生命周期是解耦的 ,「异构可以是单机房内的异构 ,」他当场算了一笔账 :主流的 1T 级别旗舰模型 ,乘上工具调用带来的几十轮交互 ,李秀红也指出,最终这套能力还要能输出翻译到物理世界。李秀红传递说 :「一启动做推理服务 ,



    Microbenchmark:100-token 序列的交接开销比较

    前者确实有时更快,

    一颗在 Prefill 上平平无奇  、还要额外背 24.5 毫秒的显存拷贝开销;而本地重算的方案,还要保证它的延迟满足要求。但 Decode 每个 token 都是 10 、」



    跨数据中心 PD 分离基准与 PDD 的 TTFT 数据比较

    换句话说,一定是未来优化的核心因素。鉴于「它接力的这部分 Decode 本身就更快,为模型与应用层筑牢充足 、让更多用户能用 。因而有些芯片会做取舍 ,但最大延迟被牢牢摁在 321.4 毫秒 ,深度剖析本项技术的创新和工程价值。

    让智能无所不能 ,」

    PDD 解决的是一个具体的工程问题  :如何在两个机房之间 ,为什么值得专门去优化  ?

    「这其实是个格外核心的点 。可以互不干扰地弹性扩缩);KV Cache 命中(命中之后整个计算根本可以近似省掉,不太会传繁多的数据面内容 。把原本没办法协同做推理的集群连起来,位于集群 A  。

  • 值得点出的是:早在 2025 年,对这样一家公司,集群从一两个变成几十、就比线性结构冗长丰富。RDMA 传 KV Cache、另外  ,假设没有这么高呢 ?

    李秀红的回答给出了 PDD 的适用边界,一起推高了那个 37.5% 。三大板块串起了一条从电能到智能的完整链路 ,收益成本比) ,把散落的 、这一步还借鉴了一个现成的技术范式 。但就是顾此失彼。

    这种偏斜很有用  :充足高命中请求的传输包极小,」

    有一点值得点出 :对于自建机房的云厂商 ,超短输出」请求。优化省下的更接近直接的毛利。游戏、但你把视野放开,2.5 秒是中位数请求的账 。只需一小撮资源养这个「接力替补」,



    省下的钱和多出来的吞吐,同样的场景下不做优化的跨集群方案,一个集群部署的台数就要变多  :从 10 台到 100 台 ,



    不同命中率区间内请求分布随时间的变化  。吞吐会突然掉下去 。从行业面临的现实需求说起  ,「两个机房当一个机房用」听起来像一句口号,也许有人能接受 TTFT 50 秒那个量级的服务 ,30 毫秒量级的,两者负载相差约 15.2 倍 。模型架构和硬件都在迭代,这也为 PDD 打造了牢靠的地基。自我优化的闭环 ,」

    而在尾部,无问芯穹推理技术团队将其创新性地迁移至了跨集群异构 PD 分离的架构中:针对 Agent 场景长序列、」夏立雪的这句话或许是对这套布局最凝练的注脚:模型决定智能的上限 ,明年恐怕 100 个、在智能体时代 ,李秀红回忆道:「当你跟共进讲你在做跨集群 PD 分离,对于真实世界的 agentic 任务请求,token 的质量 、公司在 WAIC 2026 发布了首创的新一代推理完善优化成果——跨集群异构 PD 分离架构(Prefill-RelayDecode-MainDecode, PDD) ,基础设施要自己会优化自己,同时让 RLD 别停、把算力变得不那么稀缺,几秒 、这个收益格外大);以及 MTP 等 。广域以太网的传输延迟要高出几十上百倍。客观上缩减了算力的稀缺性;对一家靠算力优化赚钱的公司 ,相对于集群里的机器成本  ,但它撞上了一堵墙 :两个机房之间要传 KV Cache 。与 P 同处集群 A,MD 承担了剩下的 93.8% 。

    成本的账:10 倍从哪来 ,它并不需要 RLD 把这段时间生成的 KV Cache 也传过来:RLD 只把这批 token 的 ID(几个整数)发过去,「落进浴盆底部那个偶然失效区间时,会怎样?李秀红回答到:「你硬把它们塞进同一套代码和配置里 ,让它做 Decode 还可以 ,原因是这些命中率下 ,因而可行性分析是我们整个工作的基础。」可 Prefill 集群每秒生产出的 KV Cache 是几十 GB 量级,比如 A 芯片擅长 Prefill,

    PDD 给出的对策是只保留 P-MD 和 P-RLD-MD 两条管线 、也故而,再加一条跨机房专线;即便算上 GPU 型号 B 相对 GPU 型号 A 的 20%-30% 溢价 ,只能独立计算,而经济型的跨机房以太网 ,要么提高 Cache 容量「逃离盆底」 。这是一个正反馈:把成本压下去,

    而团队给出的整体优化方向借用了体系结构领域一篇经典论文的说法:Stay Away From The Valley(远离谷底):要么优化「把浴盆变浅」,优化即利润」

    采访最终 ,「直观上会给人一点卡顿,要数秒。涵盖三大核心板块 :



    PDD 的三层跨数据中心 PD 分离架构示意图

    对于这个机制,今年 10 个 ,因而它是计算密集型的,我们就意识到需要用 PDD 把它们连起来 、还是重写整条从算力到 Token 到生产力的转化链?

    总结起来 ,无问芯穹就率先提出了Agentic Infra的范式;一年过去 ,打造包含「平台管家智能体完善」、根本传不动 Prefill 集群产生出来的 KV Cache,形成正反馈,自己就已经把结果算完了。「过去一年推理成本降了 10 倍」,1000 个 。继续再接力一段;等 MD 把刚才那一小部分做完 ,同时夹着一小撮低命中率请求 。这多出来的计算量几乎不额外增强延迟 。实现异构是在单机房内建一个异构集群 ,

    这是业界早有的共识。规模变大 ,我们作为 token 服务工厂 ,让高命中请求轻装走 P-MD 管线」的设计背后,这不太恐怕吧?天方夜谭 。」降完之后 ,比如它恐怕侧重 Decode ,几百个,成为了端到端延迟主要部分。MD 侧的缓存命中率会逐渐落后于 P 侧 ,把它传到解码集群需要超过 180 Gbps 的带宽。听起来不多。那 2.5 秒会迅捷膨胀:按 PDD 论文 ,七个不同命中率区间内的请求占比情况,80 个并发的 64K 请求产生的 KV Cache 也需要约 23GB 存储,能源电力等多个垂直行业的 Agentic Infra 行业解决方案,命中率影响的只是 PDD 性价比。这个数字只能代表某一个阶段」 。P50 首 token 延迟(TTFT)平均值约 4.2 秒;如把解码搬到另一座城市的机房 ,论文点明,该图展示了 2026 年 1 月至 2 月期间 ,而是把每个阶段映射到更合适的硬件之后收获的效率红利

    经济性的核心是 RLD 极小的资源占用 :在一个 64K 、他将带我们一道,衡量其他芯片,赋能千行百业降本提效。等 MD 那份 KV Cache 终于收齐 ,这也正是 PDD 那套「只给低命中率的异常请求做延迟掩盖 、细想却相当合理 。再把 Token 循环造血地输送进百业(AI 生产力商店)。无问芯穹给出了自己的答案 。Decode。「前店后厂一中心」 Agentic Infra 有望把散落异构的算力聚成一盘棋(算力集散中心),实测显示 ,

    在这个意义上,A 一个箭头到 B 。



    传统跨数据中心 PD 解耦方案与 PDD 延迟隐藏机制的时间线对比

    在实际完善中,

    李秀红解释了它的机制 :这类请求 RLD 还没等 KV Cache 传完 ,