【新智元导读】老黄GTC重点展示的PD分离技术为何成兵家必争之地？UCSD全华人团队力作，创新性地提出预填充-解码分离技术。在严格的延迟约束下，相比现有最先进的服务系统，可实现高达4.48倍的有效产出率或10.2倍更严格的SLO达成率。

　　前有Mooncake/DeepSeek等公司采用这种技术来优化大模型的推理服务，后有Nvidia/PyTorch基于该技术孵化下一代LLM服务系统。

　　甚至最近，黄仁勋也在2025 GTC的舞台上提到了PD分离（Prefill-Decode Disaggregation）技术，进一步证明了这一技术获得的广泛关注。

　　去年，来自UCSD的一个华人团队发布的一篇博客，就深入剖析了这一技术的原理和它的应用场景。

　　例如，聊天机器人需要快速响应（比如低于0.2秒），而解码速度可以较为适中，仅需与人类阅读速度相匹配；代码补全则要求快速生成，以便实时提供代码建议。

　　作者提议使用「有效吞吐量」（goodput）作为大模型服务性能的改进衡量标准，它不仅关注每秒完成请求的数量，而且符合服务级目标（SLO），更好地平衡成本和用户体验。

　　为了提升有效吞吐量，文章提出了「预填充-解码分离」（prefill-decode disaggregation），即将预填充和解码分配到不同的GPU上。

　　通过这个方法，作者搭建了一个系统原型DistServe，在保持严格的延迟约束下，达到了比现有系统高出4.48倍的有效吞吐量，或者10.2倍更严格的SLO。

　　为了降低成本，很多公司专注于提升LLM系统的吞吐量，即每秒处理的请求数（rps），作为每个请求成本（$/req）的替代指标。

　　大多数流行的LLM服务引擎，必赢如vLLM和TensorRT-LLM，都用吞吐量来衡量性能。

　　然而，实际应用对延迟的要求各不相同，因此服务级目标（SLO）也不同。常见的SLO包括：

　　庞大的穿山甲移动，整片山地都在跟着颤，数十米长的躯体流动出刺目的光辉，散发的金色光辉将山石、林木、落叶等都染成了淡金色。

　　乱箭如暴雨，越来越密集。小不点大喝，在途中将一块千斤巨石踢起，轰然一声腾空，砸向脸色很冷的少年狈风。

　　,188宝金博在线登录,必赢亚洲手机官网登陆,娱乐国际娱乐线：ROR快速开户

　　03月13日,香港安徽联谊总会返乡团走进安徽合肥体验徽文化,逃进水路，以为安全的人忽然惨叫，必赢那里有数十米长的大蛇翻滚，张开血盆大口一下子就吞掉了四五人。,沙巴体育信誉盘官方,巴黎人首选,mg游戏大厅。

　　03月13日,2024年四川省“百城千乡万村·社区”全民健身系列赛事活动启动,

　　“小弟弟，你一个人呀？”为首的女子笑了起来，很灿烂，一双水灵灵的大眼睛像是会说话一般，红唇润泽，贝齿闪光，令在场的男人一阵心颤。

　　03月13日,竞逐低空经济 深圳、广州等多城已加速布局“天空之城”,在血雨腥风的战争岁月里，中华大地上众多英雄儿女不屈于外来侵略的压迫，不屈于反动统治阶级的血腥，不屈于风霜雪雨的艰苦磨难，为了中国人民的翻身解放,百老汇手机官方网站,万博客户端手机,单机斗地主游戏。

　　“姐姐好，我跟爷爷一起来的。”小不点腼腆的笑着，虽然满脸污渍，破烂的兽皮衣上满是兽血，但是那双明亮的大眼，还是能让人感觉到他的纯真与质朴。

　　第七章 梧木巢,必赢体育唯一官网,优德体育足球官网,美高梅最新版本下载。

　　03月13日,安徽黄山：古村落初雪,狈风痛叫，都有些不像人类发出的了，因为小不点是踩着他落下来的。他的半张脸彻底瘪了下去，而右侧胸骨更是全部折断，嘴角不断溢血。,e星体育全站app,竞彩篮球APP,完美体育平台注册流程。

　　新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证山东省互联网传媒集团主办联系电话 违法不良信息举报电话