ASC分享 | 华为刘硕：面向AI新型负载的存网融合技术
近日，2026先进存力大会在上海召开。华为计算网络实验室技术专家刘硕发表主题分享，剖析了长上下文AI推理场景下，KV Cache放大“算力、延迟、IOPS”三重瓶颈。针对架构痛点，研判智算基础设施趋势，提出存网融合重构AI推理系统的三大技术方向：通过xPU侧SIMT细粒度直通、多网融合与网存协同、存储侧算子下推，全栈协同联动ODCC开源生态，推动分层异构KV池架构发展，为降低大模型部署门槛与智算产业高质量发展提供清晰的技术路径参考。
刘硕
华为计算网络实验室技术专家
AI推理场景，单请求容量、驻留规模和跨节点流量共同放大KV Cache需求
在AI大模型推理场景中，KV Cache的需求面临着单请求容量、驻留规模和跨节点流量等三重放大效应。随着单请求上下文迈入M（百万）级别，单个请求的KV Cache容量可高达百GB级;当叠加漫长的缓存驻留时间后，集群面临的总体容量将飙升至PB级的天花板。与此同时，由PD传输、记忆与状态迁移以及Prefix复用所引发的跨节点数据流量，正以数十GBps的惊人量级对集群网络带宽发起严峻挑战。
面向异构跨网络的存储架构，算力、延迟与IOPS等三大瓶颈问题导致系统效率下降
在面向异构跨网络的存储架构中，系统效率的提升正面临着算力、延迟与IOPS的三重瓶颈制约。首先是“算力墙”显现，由于xPU-core的IO性能低下且占用过多核心资源，导致算力被严重内耗;其次是“延迟墙”高筑，层层叠加的协议与语义转换，伴随跨网络的长尾效应，极大地拉长了业务响应周期;最后是“IOPS墙”难破，受限于传统软件栈的沉重包袱，底层存储的极致IOPS吞吐能力无法得到有效释放。这三大瓶颈环环相扣，构成了当前架构效率跃升的核心阻碍。
存网融合三大技术方向，重构AI推理系统
1、xPU侧：xPU直通从“被动”到“主动”，再到SIMT细粒度，可实现高性能的存储访问。
初代NIDS为被动模式，IO由CPU发起，NPU仅接收数据，控制链路无法直通。随后演进至NIDS-AICPU、NIDS-AIV，将IO发起能力下沉到NPU内部组件，减少CPU与NPU之间的同步等待，但仍存在一定算力占用瓶颈。最终演进到NIDS-SIMT细粒度直通方案，由xPU内SIMT线程直接发起IO，链路时延达到微秒级，可支撑亿级IOPS，实现更高性能的存储访问。
2、网络侧：通过创新多网融合技术与网存协同机制，大幅度提升推理系统性能。
一方面，通过样本面/参数面多网融合技术，基于华为AI记忆存储与星河AI网络联合评测，相比内存方案，TTFT降低91.7%，TPS提升7.3倍。另一方面，通过网络和存储的协同机制，实现存储流量的差异化调度，也可大大提升存储的IO性能，通过GLM模型实测，相比传统网络方案推理TPS性能可以进一步提升20%;
3、存储侧：算子下推，近存储向量算子加速，可大幅度降低检索时延。
传统通算算子下推存在算子编排难、缺少数据局部感知、收益有限的短板。关于智算算子，通用向量算子下推依托存储侧向量加速引擎就近计算，大幅减少数据搬运，基于通用算力验证，检索时延可降20%;将进一步探索基于LLM的复杂算子下推，借助LLM优化器完成算子编排与数据感知，实现Attention、图检索等复杂算子在近存储侧高效执行。
未来展望
华为计算网络实验室将持续推进存、算、网协同的存网融合技术，完善xPU直通、多网融合、网存协同、算子下推全栈能力，联动ODCC开源生态，推动分层异构KV池架构发展，降低长上下文大模型规模化部署门槛，释放大模型业务价值。
